Здравствуйте! В вашей ситуации важно сразу разделить два вопроса: общение отца с ребёнком и выезд ребёнка в другой город.
Отец имеет право общаться с ребёнком, и если он считает, что вы препятствуете, он может обратиться в суд за установлением порядка общения. Но просто «забрать ребёнка» он не имеет права, если место жительства ребёнка определено с вами или фактически ребёнок проживает с вами и нет решения суда об ином. Самовольные действия с его стороны можно пресекать, вплоть до обращения в полицию.
Что касается поездки к его матери в другой город, без вашего согласия он не вправе увозить ребёнка надолго, особенно если это нарушает обычный режим жизни ребёнка. Кратковременные поездки иногда допускаются, но при наличии спора лучше не давать согласие, пока не будет чёткого порядка общения.
Сейчас разумно действовать спокойно и юридически грамотно: зафиксируйте, что вы не препятствуете общению (переписка, предложения встретиться), предложите конкретный график встреч. Если он продолжит давить или угрожать, лучше самой обратиться в суд с иском об определении места жительства ребёнка и порядка общения отца с ребёнком — тогда всё будет официально закреплено, и подобных конфликтов станет меньше.
Если есть риск, что он попытается забрать ребёнка без вашего согласия, не оставляйте ребёнка с ним без доверия и заранее продумайте, к кому можно обратиться за помощью.
С наилучшими пожеланиями, Юрий Михайлович!