Kindesumgang ermöglichen trotz Drohung

Hallo. Ich habe folgendes Problem.
Ich lebe seit Oktober 2017 getrennt von meinem Mann. Unsere 3 Kinder sind 1, 5 und 10 und leben bei mir. Mein noch Mann hatte nie großartig Kontakt zu den Kindern. Er hat sich nie mit ihnen beschäftigt. Auch nach der Trennung nicht.
Im Laufe der Gespräche hat sich ergeben das er nur am Erhalt unseres Hauses interessiert ist. Er lebt momentan dort allein. Unterhalt zahlt er nicht.
Die Kinder sind nun sein Mittel um das Haus für sich zu erhalten .Und mit ihnen müsste er auch keinen Unterhalt zahlen.
Ich habe bisher immer jedes Wochenende den vollen Umgang gewährt. Er kam entweder nicht, oder er war nur 2 Stunden da. Der Umgang erfolgte fast nur mit der mittleren. Die anderen beiden interessierten ihn kaum.
Heute ist die Sache jedoch völlig eskaliert. Er hat gegenüber meinem großen gegen mich gehetzt und er war mit ihm beim Fkk baden, gegen seinen Willen. Ich versuchte das zu klären, jedoch wurde er total überfällig in seiner Wortwahl. Er drohte mir massiv das er mich fertig macht wenn ich mich scheiden lasse. Oder er sich umbringt. Das Thema Selbstmord wenn er sein Haus verliert hatten wir öfter schon. Ich teilte ihm mit das ich mich nicht erpressen lasse.
Normal findet der Umgang sonntags von 2 bis 5 statt bei uns. Eben weil er keine Beziehung hat zu den Kindern. Und es war immer, Mit Ausnahme von heute, wo der große dran war, nur die mittlere die Kontakt mit ihm hatte. Seit der Trennung war es keine 10 mal.
Jetzt verlangt er von mir ihm morgen alle 3 Kinder auszuhändigen. Er hat mir gedroht das er mich fertig macht wenn nicht und das er dafür sorgt das man mir die Kinder wegnimmt. Gleich danach erfolgte, unter massiven Beleidigungen, die Mitteilung das er sie nicht zurück bringt und das er dafür sorgt das ich sie nicht wieder sehe. Ich bin total verzweifelt und weiß nicht was ich machen soll. Die Kinder wollen auch nicht zu ihm. Die Scheidung geht erst im November durch.
Kann ich den Umgang verweigern? Bis ich das Aufenthaltsbestimmungsrecht habe? Dieses würde ich beantragen. Habe ich eine Chance darauf? Oder auf das alleinige Sorgerecht?
Ich bin total verzweifelt. Ich weiß nicht was ich machen soll. Ich will meine Kinder nicht diesem Risiko aussetzen.