Rückforderung von Kindergeld wegen Auslandsaufenthalt

Ich habe im Januar 2007 mit meiner Familie eine Entsendung zu unserer Tochterfirma in die USA angetreten. Meine Entsendung war damals auf ein Jahr beschränkt, wurde aber mittlerweile 2x verlängert und endet jetzt endgültig im August 2011. Im Rahmen der Entsendung habe ich einen Antrag zur Vermeidung der Doppelbesteuerung beim zuständigen Finanzamt in Deutschland eingereicht, der auch immer fristgerecht verlängert wurde. Steuern wurden daraufhin in den USA entrichtet.
Kurz vor unserer Abreise haben wir dann noch die zuständige Familienkasse kontaktiert und den Sachverhalt geschildert. Uns wurde damals versichert, das ein mind. 4 wöchiger Deutschland Aufenthalt in unserem Eigenheim ausreichend wäre, um weiterhin Kindergled zu beziehen.
Das Kindergeld wurde auch bis Dezember 2007 ausbezahlt, dann aber eingestellt. Im Januar 2008 haben wir einen Fragebogen von der Familienkasse bekommen, sowie die Aufforderung unseren Aufenthalt 2007 in Deutschland nachzuweisen. Der Fragebogenwurde von uns wahrheitsgemäß ausgefüllt und zusammen mit Kopien der Flugtickets zurück gesandt. Daraufhin wurde im Mai 2008 dem Antrag auf Kindergeld entsprochen, die Monate Januar bis Mai nachgezahlt und ab Juni 2008 bis September 2009 wieder monatlich ausbezahlt.
Im Oktober 2009 wurde die Zahlung ebermals gestoppt, wir bekamen wieder einen Fragebogen zugestellt und mussten unseren Deutschlandaufenthalt 2008 und 2009 nachweisen. Alle geforderten Unterlagen, sowie der Fragebogen wurden wieder an die Familienkasse übermittelt und dem Antrag wurde im April erneut entsprochen und wir bekamen den einbehaltenen Betrag nachbezahlt bzw. die monatliche Zahlung wurde im Mai 2009 wieder aufgenommen.
Dieses mal dauerte es bis zum August 2010, bis die Zahlungen wieder eingestellt wurden. Wir haben dann wieder den gleichen Fragebogen bekommen, diesen ausgefüllt zurückgesandt und unseren Deutschlandaufenthalt 2010 nachgewiesen.

Nun haben wir aber dieses mal ein Schreiben von der Familienkasse bekommen, das die jährlich einmaligen Inlandsaufenthalte der Kinder nicht den territorialen Anspruchsvoraussetzungen nach §63 Abs. 1 Satz 3 EstG entsprechen und nur Besuchscharakter hätten. Zudem wurden wir aufgefordert das gesamte, seit Jan. 2007 bezogene Kindergeld, zurück zu zahlen. Dieses Schreiben wurde übrigens von einer neuen Sachbearbeiterin erstellt.

Meine Frage wäre vorerst, kann die Familienkasse das 1x telefonisch und 2x schriftlich zugesagte Kindergeld wirklich wieder zurückfordern, obwohl von unserer Seite aus immer alle Fragebögen bzw. telefonischen Fragen mit der Wahrheit beantwortet wurden. Der Fehler liegt meines Erachtens beim Sachbearbeiter der Familenkasse, der uns zuvor betreut hat.

Zudem würde mich interessieren, welche weiteren Schritte ich unternehmen soll. Einspruch haben wir bereits eingereicht. Alle Fragebögen etc. sind selbstverständlich als Kopien vorhanden.