Immobilienkauf Schlüsselübergabe stockt

Folgender Sachverhalt:
Ich habe eine Immobilie verkauft. Der Notar hat in der Fälligkeitsmitteilung angegeben, dass der Kaufpreis an 3 unterschiedliche Zahlungsempfänger zu leisten ist.
Nämlich 1. an die finanzierende Bank, 2. an den Notar, 3. den dann verbliebenen Kaufpreis an mich.
Der Käufer hat jedoch dann, so scheint es, den gesamten Kaufpreis auf die IBAN Nr. 1 gezahlt.
Dies hatte zur Folge, dass auf meinem Konto (Ich war Nr. 3 in der Fälligkeitsmitteilung) tagelang kein Geldeingang zu verzeichnen war.
Der Käufer argumentierte stets damit, dass er doch den gesamten Kaufpreis gezahlt habe und er endlich die Hausschlüssel möchte. Einen Nachweis über die Auszahlung hat er nicht vorlegen können. Somit verweigerte ich die Herausgabe der Schlüssel so lange, bis der Kaufpreis durch die Bank bestätigt und meinem Konto tatsächlich gutgeschrieben wurde.
Wir vereinbarten in der Folge einen Termin zur Schlüsselübergabe. Der Käufer kam jedoch nicht.
Ich nahm die Zählerstände von Strom und Wasser und hielt diese in einem Schreiben an den Käufer fest. Zusätzlich teilte ich dem Käufer mit, dass ich die anteiligen Hauslasten (Grundsteuer, Versicherungsbeiträge, etc.) gerne erstattet hätte. Dies war im Kaufvertrag auch so vereinbart.
Für einen neuen Termin zur Schlüsselübergabe sollte der Käufer sich bei mir melden.

2 Tage später erhielt ich einen Brief von seinem Anwalt mit Inhalt, ich würde die Schlüssel nicht herausgeben und er würde der anteiligen Erstattung der Hauslasten direkt widersprechen und diese nicht zahlen, da diese ja gar nicht fällig seien.

Was tue ich nun? Kann ich die Herausgabe der Schlüssel verweigern, da er ich davon ausgehen muss, die vertraglich vereinbarte Erstattung der Hauslasten nicht zu erhalten?
Kann ich die Schlüssel einfach per Einschreiben an den Käufer schicken?