Anspruch gegen Vermieter auf Rückzahlung der Mietkaution?

Hallo,
zum 31.03.2012 endete der Mietvertrag einerDoppelhaushälfte, anfang März sind wir dort ausgezogen.
Da der Vermieter nicht erreichbar war, konnte die Übergabe der Mietsache erst am 03.04. durchgeführt werden. Der Vermieter war selber vor Ort, es wurden kleinere Mängel gefunden und auf dem Abnahmeprotokoll vermerkt. Zum Schluss sagte er dann, dass ist im großen und ganzen in Ordnung, und er macht über die Feiertage die Nebenkostenabrechnung fertig, und wenn wir die bezahlt haben, gibt er die Kaution frei (verpfändetes Sparbuch). Dies wurde so auch schriftlich festgehalten und von beiden Parteien unterschrieben.
Jetzt ist es aber so, dass wir seit dem nichts mehr vom ehemaligen Vermieter gehört haben, und auch eine Kontaktaufnahme bisher nicht möglich war.
Wie sollten wir uns weiter verhalten, welche Rechtsansprüche haben wir bzw. auch der Vermieter?
Anzumerken ist noch, dass es sich bei den Nebenkosten nur um Grundsteuer, Gebäudeversicherung und Kaminkeherer handelt, da wir Wasser, Gas, Strom, Müll etc. direkt selber vertraglich geregelt hatten und nicht über den Vermieter.
Aber diese Abrechnung kam in den vorherigen 2 Jahren auch imm erst ein Jahr später (also die Abrechnung für 2009 haben wir im Februar 2011 bekommen, Abrechnugn für 2010 in 2012, und offen ist jetzt eben das Jahr 2011 und anteilig 2012 bis zum Auszug)