Добрый день, Ольга.
Согласно Семейному кодексу РФ родители имеют равные права на участие в воспитание детей. Но… ребенок проживает с Вами, поэтому по факту Вы можете самостоятельно определять как отец будет общаться с ребенком.
Таким образом, если Вы считаете, что общение отца с ребенком причинит ему вред, Вы можете в принципе не давать отцу возможности видеться с ним. В этом случае отец должен обращаться в суд с иском об определении порядка общения с ребенком. Но не факт, что он дойдет до суда.
Также Вы можете предложить такой порядок общения отца с ребенком, при котором Вы будете присутствовать на их встречах, то есть общение будет происходит только при Вас. Опять же если отца не устроит подобный порядок он должен будет обращаться в суд и требовать через суд установление иного порядка.