Поменять фамилию без согласия отца

Здравствуйте! У меня такая ситуация: Родила сына от азербайджанца. По глупости записала ребенка на его фамилию и сделали отцовство. Теперь хочу поменять на свою фамилию. Он грозится отнять ребенка. Мы не расписаны, денег он не высылает. За 6 месяцев приезжал три раза. В паспорте у него он не записан, т. е. у него только имеется вид на жительство. Ребенок прописан у моей мамы и живет со мной. Сможет ли он реализовать свой план? Спасибо заранее за ответ.