Reservierungsvereinbarung unwirksam?

Es geht um die Frage, ob wir ein Recht auf Rückzahlung der Reservierungsgebühr haben oder nicht.
Der Sachverhalt: über einen Makler hatten wir uns eine DHH im Ort angesehen und daran gedacht, sie unter bestimmten Voraussetzungen (bestimmte Umbaumaßnahmen mussten genehmigungsfähig sein) zu kaufen. Der Makler stand unter Druck, weil er die Immobilie nun schon seit über einem halben Jahr nicht verkaufen konnte. Nun forderte er uns auf, mit ihm eine Reservierung des Objekts zu vereinbaren und dafür 500 € zu bezahlen. Das Geld werde dann im Fall eines Kaufs mit seiner Provision verrechnet. Wir unterschrieben ein Formular, in dem lediglich die Daten des Objekts aufgeführt waren, das Datum des (von ihm) vereinbarten Notartermins und der Vermerk, dass bei Vertragsabschluss 5 % Maklerprovision plus MwSt zu zahlen seien, sowie der Empfang der 500 € quittiert wurde. Dass er die Gebühr nicht zurückzahlen würde, steht nicht im Formular.
Während der Reservierungszeit von 9 Tagen haben wir das Haus noch mehrfach in Augenschein genommen, zuletzt mit einem Bausachverständigen, und uns schließlich gegen den Kauf entschieden.
Nachdem wir dies dem Makler mitgeteilt hatten, hörten wir nichts mehr von ihm. Inzwischen hatten wir recherchiert , dass die Vereinbarung einer Reservierung unwirksam sein könnte. Wir fühlten uns dazu genötigt, weil der Makler uns ständig an den anderen Kaufinteressenten erinnerte, Zitat: der "nur darauf wartet, dass Sie abspringen!"
Entgegen der Vereinbarung hat er während der Reservierungszeit anderen Interessenten das Haus gezeigt und angeblich sogar einen alternativen Notartermin für einen anderen potentiellen Käufer festgemacht (eigene Aussage). Wir waren ausßerdem verärgert darüber, dass der Makler einen Termin mit dem Architekten platzen ließ, indem er uns den Zugang zum Haus verweigerte und wir den Architekten zu einem zweiten Termin anreisen lassen mussten. Dann stellte sich auch noch heraus, dass der Makler uns eine nasse Wand im Keller verschwiegen hatte.
Wir haben den Makler angeschrieben und ihn aufgefordert, uns die Reservierungsgebühr zurück zu zahlen. Darauf hat er bis heute (2,5 Wochen) nicht reagiert. Wir wollen ihm jetzt einen weiteren Brief schicken mit einer letzten Fristsetzung und den Vorgang dann einem RA übergeben.
Haben wir Chancen, uns durchzusetzen?

Mit freundlichem Gruß