Ex macht mich nervlich fertig

Hallo,
Ich habe mich vor ca 1,5 jahren getrennt, meine kleine wird nächste Woche 2 und seit der Trennung versucht er mich sozusagen dazu zu zwingen, das wir wieder zusammen ziehen sollen, weil es ja so wichtig für die kleine ist. Er kommt aus einem anderen Kulturkreis als ich und hat ein richtiges Aggressionsprolem. Deswegen ist es ja auch zur Trennung gekommen.
Seit 3 Monaten wohne ich in einem schönen Haus mit Garten und wir haben uns hier gut eingelebt.
Jetzt fängt er wieder an so einen Stress zu machen. Weil ich nicht will dass wir zusammenleben und sind , somit verwehre ich ihm seine Tochter, er hat sie noch nie aus der krippe geholt oder ins Bett bringen können, seine Worte. Er kann seine Tochter immer sehen bei uns. Leider hat er mir schon oft genug zu verstehen gegeben, dass er mir die kleine sowieso bald weg nimmt deswegen würde ich auch nicht wollen das er sie abholt oder so, allerdings hat er dieses bisher auch noch nicht gefordert. Wie gesagt er kann immer herkommen wann er möchte. Es kommt auch zwischendurch vor, dass wir wochenlang nichts von ihm hören, worüber ich dann auch immer ganz froh bin.
Vor 2 Tagen als er hier war fing er wieder an mich von einer Sekunde auf die andere einfach zu beleidigen, ich sei gestört und noch schlimmeres. Als ich ihm sagen wollte das ich auf so was hier keine lust habe wollte er nach einem Messer greifen, er hat es aber nicht gemacht, aber am liebsten hätte er mir welche geknallt. Ich durfte auch nichts sagen wenn ich das tat hat er die ganze Zeit nur gesagt ich solle meine dumme fresse halten. Ich habe so gezittert bin dann rein in der Hoffnung er geht. Er tat es dann auch, als ich drinnen war hatte ich auch schon meinem Vater gesagt dass er schnell kommen soll. Mein ex ist dann gegangen und seitdem habe ich auch nichts mehr von dem gehört, ich wünsche mir das ist für immer, aber in ein paar Tagen wird er hier wieder vor der Tür stehen.
Ich weiß so langsam nicht mehr wie ich damit umgehen soll.
Was könnt ihr mir raten ? Wie soll ich das Regeln. Ich habe einfach keine Kraft mehr. Immer Angst um die kleine und um mich zu haben. Es macht mich fertig.