Darf Vermieter Schlüssel zu vermietetem Haus besitzen und sich Zutritt verschaffen?

Ich habe vor fast zwei Jahren zusammen mit meiner Tochter ein Haus angemietet, dass über zwei getrennte Wohnungen verfügt, aber als Ganzes gemietet wurde. Es war von Anfang an klar, dass der Vermieter (genauer gesagt der Sohn der Eigentümerin, die jedoch nicht mehr in der Lage ist, derartige Dinge selbst zu regeln) im Besitz eines Hausschlüssels und eines Schlüssels zur EG-Wohnung war. Da wir das Mietverhältnis nicht mit Ärger beginnen wollten, haben wir das zunächst hingenommen. Während der Renovierung vor Einzug hatte der Vermieter die untere Wohnung in unserer Abwesenheit betreten und dies auch offen gesagt.
Da uns der Gedanke, der Vermieter könnte in Abwesenheit die Wohnung betreten, nicht angenehm war, haben wir vor einigen Monaten das Schloss zur unteren Wohnung ausgetauscht, sodass er zwar noch das Haus und den Keller, nicht aber die Wohnungen betreten kann.
Dennoch ist uns der Gedanke nicht angenehm, dass er einfach nach Belieben ins Haus kann. Die Frage ist nun für uns, ob es überhaupt rechtens ist, dass der Vermieter einen Schlüssel für das Haus besitzt?
Er hatte vor Kurzem von sich aus einen Termin zur "Besichtigung" angesetzt, der uns allerdings nicht passte, was wir ihm auch mitteilten. Obwohl wir ihm dies mitgeteilt hatten, war er trotzdem im Haus gewesen. Müssen wir dieses Vorgehen einfach akzeptieren?