Здравствуйте,
По нормам п.2 ст. 66 Семейного кодекса порядок воспитания ребенка отцом, который живет отдельно от ребенка, определяется соглашением родителей, если они не могут договориться — судом. Поскольку отец живет в другом населенном пункте, возможные варианты — он приезжает для общения или приезжает и забирает ребенка, потом привозит домой.
Поскольку ребенку 4 года, маловероятно, что суд установит порядок общения в населенном пункте по месту жительства отца, но тут нужно больше информации для оценки. Обычно возможность забирать ребенка более реально добиться примерно с 6-8 лет.
Привозить ребенка к отцу вы можете по своей воле, принудить вас никто не может. Вы обязаны не препятствовать общению отца и ребенка, но оказывать содействие — это уже ваша инициатива.
Поэтому если вы не хотите привозить и увозить ребенка, можете отказаться, если вы против чтобы ребенок бывал у отца — предложите иной вариант.
Обратиться в суд может любой из родителей, так что вы тоже можете подать иск о месте жительства и порядке общения ребенка.
С уважением, Андрей Козырев