После визита бывшего мужа у детей истерики

Живем нормально-живем, капризим, ссоримся-миримся, приезжает раз в месяц бывший муж и на следующий день у старшей истерика на полчаса с криками, что я виновата в какой-то фигне: сегодня пазл кривой был. Полчаса она валялась на полу, потная, громкая, орала, через полчаса рядом села младшая и захныкала без особой грусти, но просто из солидарности. Я вышла на кухню и заревела. У меня сейчас со здоровьем не очень, весь день держала себя в руках.
Может, вообще просто не допускать его до детей? Голова болит... и так сил нет, сама на пределе, когда его терплю-хорошего не слышу. Но ведь не имею право не пускать.