И только он время определяет или мать тоже?

Мария!

Вам с отцом ребенка стоит заключить соглашение об определении порядка общения с ребенком. Отец как правило, видится с ребенком с учетом его распорядка дня. Так же частота общения зависит от того насколько ребенок знает отца: вы могли развестись 2 года назад и отец с ребенком не общался (в этом случае общение должно быть непродолжительным и в вашем присутствии, чтобы ребенок привык к отцу), если же ребенок видит отца постоянно, пусть и не долго, то можно отпускать ребенка с отцом на встречи чаще.