Umbau und bewohnen eines alten Hofgebäudes im Aussenbereich

Wir sind Landwirte im Nebenerwerb und Eigentümer eines alten Gebäudes, welches von der Gemeinde 1940 zur Unterbringung von Erntehelfern gebaut worden ist. Nach dem Krieg wurden hier Flüchtlingsfamilien untergebracht. Das Haus wurde auf unserem Land gebaut und gehört zur Hofstelle. Dann in den 1960 Jahren haben wir dies Haus der Gemeinde abgekauft. Wir hatten dann das Haus bis zum Mai 2017 verpachtet. Wobei die Pächter in den Jahren auf dem Nachbargrundstück ein neues Haus bauten und nicht mehr dies richtig bewohnten, sondern es für Hobbyzwecke nutzten.
Nun ist der Pachtvertrag beendet (durch den Tod des Pächters). Wir möchten das Gebäude sanieren (neues Dach,neue Fenster, Dämmung) und dort einziehen. Das Haus befindet sich in einer Alleinlage und Nachbarn wohnen nicht sichtbar. Einen Briefkasten haben wir direkt bei der Pachtübernahme angebracht. Unsere gemeldete Wohnadresse wäre weiterhin der Hof . Alle Bauunterlagen im Landkreis sind aus dieser Zeit verbrannt, wir haben nur einige Archivunterlagen gefunden. Der Bestandschutz für das Gebäude ist uns unklar, es ist im Katasterplan verzeichnet, aber dürfen wir dort wohnen ? Mit welchen Konsequenzen müssen wir rechnen, wenn wir dies einfach tun ?