Unzulässige Nutzung der Grenzgarage als Dachterrasse nach der BayBO

Guten Tag,
seit kurzem habe ich auf meiner Grenzgarage eine Dachterrasse eingerichtet, d.h. Stühle, Schirm und Tisch daraufgestellt. Direkt an der Umrandung der Terrasse stehen auch Kübelpflanzen (ca.1,20m hoch) als Sichtschutz für meine Terrasse.
Das Ganze habe ich ohne Genehmigung beim Landratsamt, bei der Stadt oder dem angrenzenden Nachbarn ( der sowieso dagegen gewesen wäre) durchgeführt.
Der angrenzende Nachbar allerdings, ist lediglich im Besitz eines unbebauten Grundstückes.
Es wohnt also niemand auf dem angrenzenden Grundstück.
Nun habe ich vom Landratsamt ein Schreiben bekommen in dem steht:
“ Die Nutzung des Daches der Grenzgarage ist nach den Bestimmungen der BayBO insbesondere des Art. 7 Abs. 4 BayBO nicht zulässig und so auch nicht genehmigt. Sie werden deshalb aufgefordert, das Dach der Garage nicht mehr als Dachterrasse zu nutzen.“
Nun zu meiner Frage:
Da niemand direkt durch meine Dachterrassennutzung gestört wird, kann mir das Landratsamt tatsächlich eine Nutzung verwehren?
Und wenn ich nun einen Abstand von 3 Metern zum Nachbargrundstück einhalten würde und lediglich auf den verbleibenden 1,5 Metern die Garage als Dachterrasse nutzen würde, wäre das im Sinne des BayBO zulässig?
Vielen Dank!