Rückwirkende Rückzahlung des Bafög-Betrages rechtens?

Sehr geehrte Damen und Herren,

ich habe folgendes Problem mit dem Bafög-Amt:

Seit dem Jahr 2013 bin ich eingeschriebener Vollzeitstudent.

Ich erhalte von meinem damaligen Ausbildungsbetrieb eine Art Stipendium:
Ich erhalte monatlich eine Summe um die 750€ für die gesamte Dauer des Studiums und verpflichte mich im Gegenzug dazu, für drei Jahre im Anschluss ans Studium bei dieser Firma zu Arbeiten. Dieses "Gehalt" ist als Darlehen ausgelegt, das heißt ich muss es nach dem Studium zurückzahlen. Die Darlehenstückzahlung erfolgt mit Zeit und nicht mit Geld: Ich habe mich für 3 Jahre bei der Darlehensfirma verpflichtet und pro Jahr der entsprechenden Betriebszugehörigkeit gilt 1/3 des ausgezahlten Darlehens als getilgt. Die monatlichen Darlehensraten werden als Lohn versteuert und auch Sozialabgaben werden gezahlt.

Meine ersten Bafög-Anträge wurden komplett bewilligt, mir wurde eine Summe X zugesagt.
Nun wollte ich erneut einen Antrag stellen (den 6. in Folge). Die Antwort des Bafög Amtes lautet:

Rückzahlung in Höhe von etwa 4000€ für den Bewilligungszeitraum 04.2017 bis heute.
Der Grund dafür soll sein, dass sich meine Einkommensverhältnisse verändert hätten.
Das Geld aus meinem Darlehen wurde die restlichen Jahre als Darlehen bzw. Schulden angerechnet und auf einmal als Einkommen. Daher resultiert dann auch die Rückzahlungssumme.

Nun meine Frage:
Ist es rechtens, dass das Bafög-Amt diese Rückzahlung verlangt?
Ich habe alle Einkommensverhältnisse incl. Darlehensvertrag etc. von Anfang an offen gelegt, verändert hat sich seit dem auch nichts.

Ich bin bereits auf §48 VwVfG NRW aufmerksam (gemacht) geworden und habe mich in einem Schreiben darauf berufen, um diese o.g. Summe nicht zurückzahlen zu müssen.
Ich erhielt die Antwort des Bafög-Amtes auf meinen Bezug auf §48 VwVfG NRW die wie folgt lautet:

... aufgrund Ihres Schreibens vom xx.xx.xxxx teile ich Ihnen mit, dass sich Ihre Rückzahlungspflicht im beanstandeten Bescheid vom xx.xx.xxxx gemäß §20 Abs. 1 Satz 1 Nr. 3 BAföG ergibt, welche eine Sonderregelung darstellt. Die Berufung auf §48 Abs. 2 VwVVfg NRW ist hier nicht möglich.

Ich hoffe, dass Sie mir helfen können und ich den Sachverhalt einigermaßen deutlich erläutert habe. Ansonsten füge ich gerne noch relevante Informationen hinzu. Vorrangig geht es um die Frage, ob das Bafög Amt die Unterlagen der Vergangenheit anders einschätzen kann. Schließlich hatten die ja von vornherein alles vorliegen und der eigentliche Fehler liegt meiner Meinung nach nicht bei mir. Es hat sich in den Jahren ja nichts verändert.. Macht es Sinn sich dagegen zu wehren? Und wenn ja, wie kann ich mich dagegen wehren?

Mit freundlichen Grüßen,