BVA erhebt Bafög-Rückstandszinsen für 7 Jahre/Wohnsitz Schweiz

Ich habe folgendes Anliegen:
Ich habe von 1994-99 studiert und dabei den Bafög-Höchstsatz erhalten. Im Jahre 2000 habe ich geheiratet und ein Kind bekommen, 2002 bin ich mit meiner Familie in die Schweiz gezogen. Ich habe mich damals ganz regulär beim Einwohnermeldeamt abgemeldet, nur wird dort, wie ich jetzt erfahren habe, beim Umzug ins Ausland nicht die genaue Adresse gespeichert, sondern nur das Land. Meine neue Adresse an das BVA zu übermitteln habe ich vergessen, ich nahm aber an, dass die deutschen Behörden untereinander vernetzt sind und somit bekannt wäre, wohin ich umgezogen bin und ein Kind unter 10 Jahren erziehe.
Nun erreichte mich im Juni 2010 ein Kostenbescheid über 25€ Anschriftenermittlungskosten und eine Zahlungsaufforderung über fast 8000€ für rückständige Raten. Da 2003, als die ersten Rückzahlungsraten fällig wurden, für das BVA mein Aufenthaltsort angeblich nicht ermittelbar war, wurde der Feststellungs- und Rückzahlungsbescheid 2005 öffentlich zugestellt.
Ich habe gegen diese Zahlungsaufforderung Widerspruch eingelegt, da das BVA nach Aussage der Sachbearbeiterin schon 2003 ermittelt hatte, dass ich in die Schweiz verzogen war. Eine Anfrage bei der Deutschen Botschaft in Bern, wo ich 2003 einen Reisepass ausgestellt bekommen habe, hätte genügt, um mich für die Zustellung des Feststellungs- und Rückzahlungsbescheides bereits 9/2003 ausfindig zu machen. Die Botschaft hat mir die Auskunft erteilt, dass sie meine Daten ohne weiteres an die deutschen Behörden gegeben hätte, wenn diese nachgefragt hätten. Die öffentliche Zustellung 4/2005 hätte sich also erübrigt und hätte m.E. nicht erfolgen dürfen. Seit 2008 hätte ausserdem meine Anschrift im Rahmen einer Anfrage auch beim Schweizer Bundesamt für Migration in Erfahrung gebracht werden können. Alle Einsprüche wurden lediglich mit dem Hinweis auf Fristverstreichung und Nichtbeachten der Mitwirkungspflicht abgelehnt. Auf meine Angaben wurde nicht eingegangen.
Als nächstes bekam ich zusätzlich einen Zinsbescheid über fast 5000€, da seit Juni 2004 Zinsen in Höhe von 6% auf die Gesamtsumme fällig geworden wären. Mein Widerspruch gegen den Zinsbescheid wurde ebenfalls abgelehnt mit der Aussage/Begründung, dass ich gegen die Erhebung von Zinsen Einspruch eingelegt hätte, und die Frist für den Einspruch gegen den Bescheid schon 5/2005 verstrichen sei und Zahlungsrückstand seit 7 Jahren besteht. Diese Aussage vom BVA ist unrichtig festgestellt, da ich nicht gegen die Erhebung von Zinsen sondern gegen die Höhe bzw. den Zeitraum der Zinserhebung Widerspruch eingelegt habe. Auf meine nochmals gemachten Angaben zur „erfolglosen" Adressermittlung wurde mit keinem Wort eingegangen.
Inzwischen haben wir die eigentliche Darlehensschuld beglichen, da ich keinesfalls vorhatte, mich um die Bafög-Rückzahlung zu drücken und mein Versäumnis der Mitwirkungspflicht einsehe.
Durch dieses Versäumnis habe ich mich ja schon um die Möglichkeit gebracht, die Erziehungszeiten anrechnen lassen zu können oder Raten zu stunden, da kein eigenes Einkommen bestand und besteht. Ich finde jedoch, dass diese immens hohen Zinsen eine übertriebene Härte darstellen für ein verhältnismässig kleines „Vergehen".
Ich kann beim besten Willen nicht nachvollziehen, warum das BVA mich erst nach sieben Jahren gefunden haben will. Naiv formuliert hätte das BVA ja auch noch länger mit dem Anschreiben warten können, um dann noch mehr Zinsen zu erheben. Aufschlussreich mutet auch die schriftliche Aussage meiner Sachbearbeiterin an: „Ich muss ihnen leider mitteilen, dass ich aus zwingenden haushaltsrechtlichen Gründen gehindert bin, Ihren Vergleichsvorschlag bezüglich der Rückstandszinsen anzunehmen.". (Ich hatte im Widerspruch zum Zinsbescheid um einen abgeänderten Zinsbescheid über max. 10% der geforderten Zinsen gebeten.)
Meine Frage ist nun, ob in meinem Fall eine Klage gegen die Festsetzung der Zinsen in dieser Höhe (bzw. für diesen Zeitraum) eine Aussicht auf Erfolg hätte, ob es sich also lohnt, einen Rechtsanwalt zu beauftragen und die Mühen und Kosten einer Klage auf sich zu nehmen.
Ausserdem würde ich noch gerne wissen, ob ein Teil der Zinsen möglicherweise schon verjährt ist, da ich gelesen habe, dass für Zinsen eine Verjährungsfrist von drei Jahren geltend gemacht werden kann.
Hilfreiche Hinweise auch abseits der gestellten Fragen wären ebenfalls willkommen.