Rechtsanspruch von AG auf Rückforderung nicht gezahlter Sozialbeiträge gegenüber AN?

Ich bin Student und im Rahmen meiner Beschäftigung hat der Arbeitgeber (AG) zu wenig bzw. gar keine Sozialversicherungsbeiträge abgeführt. Zu Beginn des Arbeitsverhältnisses zwischen AG und mir wurde vertraglich vereinbart, dass aufgrund der Anmeldung als "kurzfristiges Beschäftigungsverhältnis" keine Abzüge für Sozialversicherungen anfallen.
Nun teilt der AG jedoch mit, dass die Kurzfristigkeit meiner Beschäftigung nicht gegeben war. Der AG musste die Beiträge an die Sozialversicherungsträger (nach)zahlen, hat diese aber nicht von meinem Bruttolohn einbehalten. Das Arbeitsverhältnis endete zwischenzeitlich am 30.9.2018 und erst jetzt wandte sich der AG an mich und "fordert Überzahlung zurück".

Meine Frage: Muss ich die "Überzahlung" wirklich an den Arbeitgeber zurück überweisen?

Ich fühle mich betrogen und habe als Student auch das Geld nicht mehr. Ich bin fest davon ausgegangen, dass aufgrund der kurzfristigen Beschäftigung keine Sozialversicherungsbeiträge anfallen. Für mich ist auch bis jetzt nicht ersichtlich, warum es sich nun rückwirkend plötzlich nicht um ein kurzfristiges Beschäftigungsverhältnis handelt. Hätte dies der AG nicht wissen müssen? Ich hätte niemals den Arbeitsvertrag unterschrieben, wenn ich gewusst hätte, dass es sich nicht um eine kurzfristige Beschäftigung handelt, sondern Sozialversicherungsbeiträge fällig werden.

Folgende Hinweise zur Einschätzung des Falls sind hier vielleicht noch hilfreich:

Als Student war ich im Kalenderjahr 2018 insgesamt von 01.01. bis 30.09. als kurzfristig Beschäftigter auf Basis von 60 Stunden/Monat nur bei diesem AG angestellt. Das Arbeitsverhältnis im Rahmen der kurzfristigen Beschäftigung wurde in diesem Zeitraum insgesamt 3 mal verlängert (zuletzt vom 01.06. bis 30.09.). Die Rückforderung der "Überzahlung" bezieht sich nur auf diesen letzten Zeitraum vom 01.06. bis 30.09.
Im Arbeitsvertrag wurden keine festen Arbeitstage vereinbart. Vom 01.01. bis 30.05. wurde regelmäßig pro Woche an 2 Arbeitstagen gearbeitet (= 8 Arbeitstage im Monat) und von 01.06. bis 30.09. alternierend nur ein Arbeitstag in Woche 1 bzw. 2 Arbeitstage in Woche 2 (= 6 Arbeitstage im Monat). Die Summe der geleisteten Arbeitstage betrug demnach 8 x 5 + 6 x 4 = 64 Arbeitstage im Zeitraum vom 01.01. bis 30.09. Das vereinbarte Bruttogehalt lag bei 600 Euro/Monat. In den letzten beiden Monaten wurde zudem im Rahmen einer Urlaubsabgeltung eine Prämie in Höhe von 300 Euro/Monat gezahlt. Durch die Urlaubsabgeltung fällt die Nachzahlung der Sozialversicherungsbeiträge besonders hoch aus, da hier rückwirkend das Beschäftigungsverhältnis weder als Mini-Job (450 Euro-Basis) noch als Midi-Job (Gleitzone auf 850 Euro-Basis) behandelt werden kann.