Als Hotelbetreiber einen Gast hinauswerfen

Sehr geehrte Damen und Herren,
nachfolgend mein Anliegen:

Ich betreibe bereits seit Jahren eine kleine Hotel- Pension, habe einen Gast welcher ein Zimmer seit einigen Monaten bewohnt.
Die Kosten für die Unterbringung werden vom Bezirksamt mittels einer auf meine Pension ausgestellten Kostenübernahme getragen, d.h es wir monatlich abgerechnet in dem ich dem Bezirksamt eine Rechnung stelle
mit der tatsächlichen Anzahl der Übernachtungen aus dem Vormonat.

Auf der Kostenübernahme ist u.a aufgeführt „Durch diese Erklärung wird kein Vertragsverältnis zwischen dem Land B... und dem Unterkunftsanbieter begründet" Das bedeutet aus meiner Sicht, dass mein direkter Vertragspartner der Hotelgast ist.

Der Zusatnd mit dem Gast hat sich leider sehr negativ entwickelt.
Das Zimmer ist inzwischen vom Gast sehr vermüllt, verdreckt und riecht sehr unangenehm
ist kaum noch begehbar vom ohne Erlaubnis angeschleppten Gerümpel.
Während meiner Abwesenheit (Urlaubszeit) wurde auch das Personal permanent angepöbelt und auch andere Hotelgäste Fühlen sich durch das Verhalten des Gastet belästigt.
Ich forderte den Gast auf das Zimmer zu räumen, dieser wurde laut und antwortete ich solle mich an das Bezirksamt wenden und alles klären.
Das Schreiben mit einer fristlosen Kündigung des Beherbergungsvertrages welches ich in das Zimmer des Gastes gelegt habe wurde ungeöffnet zurück an die Rezeption gelegt.
Ein schriftlicher vertrag mit dem Gast besteht nicht, bei einem Hotelzimmer ist es auch nicht üblich.
Ich möchte natürlich versuchen ohne viel Aufsehen den Gast los werden und bei der Vorgehensweise keine unnötigen Fehler machen.
Nun meine Frage, welche Möglichkeiten habe ich als Betreibe den Gast in kürzester Zeit los zu werden und welche Vorgehensweise ist zu empfehlen?
Vorab vielen Dank und freundliche Grüße