Можно ли лишить или ограничить в родительских правах бывшего мужа?

Здравствуйте! Бывший муж требует общения с ребёнком на его территории. У него есть недееспособный брат, который социально опасен, я боюсь отпускать ребенка. На нашей территории и в моем присутствии он общаться отказывается. Сейчас от него поступают смс с угрозами подать в суд и требует возместить ему долг в сумме 200 тыс.руб. Постоянно оскорбляет моего отца. На алименты официально не подавали, платил сам. Но в течении 4 месяца он не платит. Общение с ребёнком оформлено через опеку, он может брать ребенка на выходные с ночевой. Но когда дочь оставалась ночевать у него, он одевал ей памперсы (ребёнку 8 лет). Ребенком он вообще не интересуется, как учится, нужно ли ей что-то и т.д. поступают только притензии в мой адрес. Подскажите что можно сделать в этой ситуации?