Architekt stellt Rechnung für Hausentwurf, trotz anderer mdl. Absprache

Sehr geehrte Damen und Herren
wir möchten nächstes Jahr unser EFH in Reutlingen bauen und haben im Vorfeld einen Architekten aufgesucht. Wir sagten ihm, dass uns einige seiner bereits gebauten Häuser sehr gut gefallen und ob er sich vorstellen könnte, unser EFH zu bauen. Weil wir die Entscheidung für einen Architekten aber nicht einfach "blind" treffen wollen, fragten wir ihn, ob es möglich wäre, dass er uns als Entscheidungshilfe einen 1. groben Entwurf anfertigen könnte. Er fertigte diesen Entwurf an und wir besprachen ihn mit seinem Sohn. Allerdings war das Haus viel größer, als gewünscht und überschritt bei Weitem unseren Kostenrahmen. Da wir zudem das Gefühl hatten, es würde zwischenmenschlich nicht optimal funktionieren, zogen wir uns erst einmal zurück, um nochmals die Lage zu besprechen, unser Finanzvolumen zu überprüfen und auch die Konkurrenz miteinzubeziehen.
Mittlerweile ist uns klar, dass wir mit diesem Architekten nicht bauen wollen. Allerdings habe ich ihm die Entscheidung noch nicht mitgeteilt, da wir erst in dieser Woche eine endgültige Entscheidung für einen anderen Architekten treffen wollen. Als er vor einigen Monaten anrief, hielt ich die Antwort noch offen. Heute traf plötzlich eine Rechnung ein. Wir sollen bis Ende Nov. 1500.- Euro bezahlen, dies sei ein Entgegenkommen um weitere Auseinandersetzung zu vermeiden. Falls wir nicht pünktlich zahlen, möchte der Architekt nach HOAI Honorarzone III (Wohnhäuser mit durchschnittlicher Ausstattung, unser angegebener Kostenrahmen lag damals bei 380.000 Euro) abrechnen und verlangt 2419,17 Euro(seine Leistung umfasst laut seiner Re:
§15 HOAI Wohnhäuser mit durchschnittlicher Ausstattung, Leistungsbild für Objektplanung der mündl. Vereinbarung als Vorplanung (wir hatten ihn noch nicht als Architekt ausgewählt!): Erarbeitung eines Planungskonzeptes; Untersuchung über Genehmigungsfähigkeit (haben wir nicht in Auftrag gegeben) und notwendige Verhandlugnen mit Behören (hat er unaufgefordert gemacht), mitbehinhaltet ist eine Kostenschätzung nach Din 276 sowie die Durcharbeitung mit CAD)
Ich betone nochmals, wir haben nur mündlich vereinbart, dass er einen EINFACHEN Vorentwurf als Entscheidungshilfe macht und wir dann entscheiden, ob eine Zusammenarbeit in Frage kommt.
Wie sieht die rechtliche Lage aus? Müssen wir die Rechnung zahlen? Ich bitte um eine baldige aussagekräftige Antwort. Im Voraus vielen Dank.
MfG, G. Hermann