Vater verbietet Übernachtung bei Oma und Opa

Hallo zusammen,

ich bin neu hier und hoffe, dass ich meine Frage hier richtig Stelle.

Es gibt seit etwas über 3 Jahren regelmäßig Streit und Theater. Es gab Morddrohungen, Erpressung und permanent Ärger bzgl des Umgangs.

Bzgl des Umgangs sind wir mit dem JA in Kontakt und das möchte ich auch weiterhin.

Mittlerweile ist es so, dass ich ihn komplett blockiert habe und auch nur noch über E-Mail mit ihm kommuniziere.
Er ist der Meinung, dass das so nicht geht und er zu mir Kontakt aufnehmen müsste, bzw dass ich ihm die Möglichkeit geben muss. Ich meine, das mache ich ja, er hat ja die E-Mail-Adresse.
Das kann ich dich so machen oder?

Jetzt zur eigentlichen Frage:

Mein Sohn hat regelmäßig bei meinen Eltern geschlafen, er liebt Oma und Opa abgöttisch.
Sie gehen wirklich sehr liebevoll mit ihm um und unternehme auch viele tolle Sachen mit ihm.

Anfang Dezember ist jedoch ein nicht so schöner Vorfall eingetreten. Mein Sohn hat zwischendurch sehr schwierigw Phasen und testet bis ins unermessliche.
Den einen Tag hat mein Sohn einen extrem schlechten Tag gehabt und ihm hat wirklich nichts gepasst. Alles was man von ihm wollte hat er mit schreien abgelehnt. Er fing dann irgendwann an seinen Opa zu hauen und ihm wurde mehrmals gesagt, er soll es lassen.
Kurz gesagt, er hat am Ende einen Klaps auf den Hintern bekommen. Wir brauchen glaube ich nicht darüber sprechen, dass das nicht in Ordnung ist. Es gab diesbezüglich auch eine Menge Ärger zwischen mir und meinen Eltern. Er hat eine Länge Zeit nicht dort geschlafen und auch der Kontakt war anfangs etwas eingeschränkt. Dies habe ich ich aber mach einer Weile wieder geändert, weil mein Sohn seine Großeltern sehr vermisst hat und das tat ihm weh.
Mit dem Jugendamt habe ich diesbezüglich auch Kontakt gehabt und der Mitarbeiterin geschildert was passiert ist. Nach einem la gem Gespräch sagte mit sie Dame um JA, dass es natürlich nicht zu unterstützen ist, ich meinem Sohn aber nicht die Großeltern "wegnehmen" soll. Auch wenn dieser Vorfall aufgetreten ist, sollte ich mit allen reden um den Kontakt und das übernachten zu ermöglichen.
Ich habe mit meinen Eltern sowie mit meinem Sohn gesprochen, dass weder der kleine seinen Opa (bzgl generell andere Personen) haut und auch andersrum.
Ich habe es jetzt so gemacht, dass so als der kleine sich daneben benimmt oder meine Eltern anfangen überfordert zu sein, sie mich anrufen und ich daraufhin den kleinen abhole. Er schläft jetzt am Wochenende wieder bei meinen Eltern und mein Ex ist der Meinung, dass er mir vorschreiben kann, dass der kurze nie wieder bei seinen Großeltern schlafen darf.

Kann das wirklich verboten werden?

Wie gesagt, ich weiß, dass das was vorgefallen ist nicht toll war, aber ich weiß auch wie die Kontakte sonst waren. Sie gehen wirklich liebevoll mit ihm um und machen so tolle Dinge mit ihm. Wie gesagt, selbst die Mitarbeiterin vom Jugendamt hat gesagt, dass das Quatsch ist.
Jedoch mache ich mir jetzt Gedanken, weil mein Ex mir mit Anwalt und Gericht droht um dies zu unterbinden.
Ist das möglich?

Ich bedanke mich schonmal für eure antworten.