Vermieter: Sonderkündigungsrecht trotz Kündigungsfrist

Zusammenfassung:

Gartennutzung und Kündigungsrecht

Sehr geehrte Damen und Herren, ich habe aktuell folgendes Problem:
Ich bin frischer Käufer eines Einfamilienhauses mit vermieter Einliegerwohnung. Einzug der Mieter: 12.19. Im Mietvertrag wurde geregelt, dass der Vertrag zeitlich auf 3 Jahre befristet ist (... Unter Einhaltung der ordentlichen Kündigungsfrist kann frühestens zum 1.1. 23 gekündigt werden.
Nun zu meinem Problem. Im Vertrag wurde geregelt, dass 500qm Garten mitgenutzt werden können. Ich als neuer Besitzer möchte nun diese Regelung aus dem Vertrag haben. Auf eine Änderung des Vertrages und auf sämtliche Lösungsansätze wurde seitens der Mieter keine Einsicht gezeigt. Sie bestehen auf ihr Recht den Garten nutzen zu können.
Da dort keine Einsicht dererseits zu erwarten ist und auch meine Vorschläge bezüglich der vollständigen Nutzung des Vorgartens für die nicht in Frage kommt, sehe ich mich gezwungen, falls möglich den Mietern zu kündigen.
Ist mein Sonderkündigungsrecht anwendbar im Bezug auf die früheste mögliche Kündigung ab 1.1.23? Gibt es andere rechtliche Wege die Klausel über die Gärtennutzung abzuerkennen?
Außerdem haben die Mieter Hunde, ich eine diagnostiziert Hundehaarallergie. Vielleicht ein weiter Ansatzpunkt?
Des weiteren kam bei der Wohnflächenberechnung heraus, dass die Mieter oben 10qm mehr als im Mietvertrag nutzen. Hier wurde eine falsche Quadrarmeterzahl in den Vetrag aufgenommen. Vielleicht ist dies ja ebenfalls eine weitere Möglichkeit einen neuen Vertrag aufzuerlegen.
Im Falle einer Kündigung, habe ich mit Schadenersatzsansprüche durch die Mieter zu befürchten?

Vielen Dank für ihre Hilfe.