Restvermögensausgleich

Ich bin im November 1999 geschieden worden.
Im Zuge der Scheidung wurde am 18.11.2003 beim Notar vereinbart, dass ich meinem Exmann im Rahmen der Vermögensauseinandersetzung der Scheidung einen baren Geldbetrag von 35.790,43 € zu zahlen habe "innerhalb eines Zeitraums bis längstens acht Jahre ab heute,vorzeitige Zahlungen sind zulässig. Bis zur endgültigen Bezahlung ist dieser Betrag wie folgt zu verzinsen: 2% aus der jeweils geschuldeten Restsumme. Die Zinsen sind mit dem Hauptsachebetrag zur Zahlung fällig. Im Falle des Zahlungsverzugs gelten die gesetzlichen Bestimmungen. " Meinem Exmann wurde zudem am Vetragsobjekt (dem von mir bewohnten Haus) eine Sicherungshypothek für diesen Betrag eingetragen.

Mein Ex-Mann ist 2005 mit seiner damaligen Lebensgefährtin unbekannt verzogen und wollte ausdrücklich auch keinen Kontakt mehr zu mir. Daran habe ich mich gehalten.
Im letzten Jahr (Juli 2015), meldete er sich zum ersten Mal wieder bei mir, um die Vermögensauseinandersetzung zu regeln. Er wollte zu diesem Zeitpunkt aber auch ausdrücklich nicht die gesamte Summe, die ich ihm angeboten hatte, sondern stellte lediglich die Forderung nach einer bestimmten Summe, nämlich 6250€, damit er wie er sagte "eine Sondertilgung für sein Darlehen" leisten konnte. Er schlug vor, die nächsten Jahre genauso vorzugehen, bis der Betrag vollständig beglichen sei.
Nun meldete er sich vor 6 Wochen erneut mit einer Forderung über die Summe von 39.900€, die sich ergäbe aus den Zinsen (10.359,90€ ), die sich seit 2003 angesammelt hätten.
Diese nun geforderten Zinsen hätten sich niemals angesammelt, wenn ich gewusst hätte, wohin ich den Restvermögensaugleich überweisen hätte sollen. Zudem habe ich bis letztes Jahr zu keinem Zeitpunkt eine Zahlungsaufforderung von meinem Ex Mann erhalten. Seinem Wunsch einen Teilbetrag zu überweisen, bin ich letztes Jahr sofort nachgekommen.

Letzte Woche habe ich ihm nun die von mir errechnete Restsumme von 31.151,60€ überwiesen (zzgl. Zinsen für die beiden Jahre, wo mir seine Anschrift noch bekannt war.)
Heute bekam ich nun eine erneute Zahlungsaufforderung über den Restbetrag, der nach seiner Rechnung angefallenen Zinsen von 8.748,40€ zu zahlen, sonst würde er gerichtlich gegen mich vorgehen.

Wie soll ich mich nun verhalten?
Muss ich Zinsen zahlen, die sich nie ergeben hätten, wenn ich gewusst hätte, wohin ich hätte überweisen können.

Ich freue mich von Ihnen zu hören.