Отказ от оцовства

Здравствуйте!У меня такая проблема.Семь лет назад я родила ребенка,с отцом ребенка жили гражданским браком,ребенок на моей фамилии.Когда дочери было 1,6 года папа нас бросил.В дальнейшем я подала на алименты,доказала отцовство,платит не исправно было дело даже год не платил.В жизни ребенка не участвует,заботится о ней мой новый муж которого она считает своим отцом.Проблема в том,что бывший муж начал меня донимать,настаивает на том что бы я дала согласие видится с ребенком,я этого не хочу.Подскажите пожалуйста могу я отказаться от отцовства?