В дальнейшем лишить его родительских прав?

Здравствуйте, Елена!

Нет, Вы не можете препятствовать общению с ребенком. 
В этом случае надо предлагать свой график общения. 

Добрый день. Препятствовать общению ребёнка с отцом без решения суда нельзя, так как согласно статье 66 Семейного кодекса РФ, родитель, с которым проживает ребёнок, не должен препятствовать общению ребёнка с другим родителем, если такое общение не причиняет вред физическому и психическому здоровью ребёнка, его нравственному развитию.
Лишить отца родительских прав можно, но это сложная процедура, которая требует веских доказательств. Суд принимает решение только при наличии доказательств, и недовольство бывшего супруга или желание ограничить его участие в воспитании не являются достаточными причинами. 
Основания для лишения родительских прав включают неисполнение родительских обязанностей, неуплату алиментов, злоупотребление родительскими правами, жестокое обращение, хронический алкоголизм и преступления против ребёнка. 
Лишение родительских прав — крайняя мера защиты интересов ребёнка, её проводят по решению суда. После решения суда родитель теряет все права на ребёнка, включая право выбора места его обучения, получение информации о его здоровье и возможность запрета выезда за границу.

(Если Вам понравился мой ответ ставьте пожалуйста +, также можете обращаться по поводу консультации)

С уважением, юрист Асхаб Тайсумов.