Здравствуйте,
Права родителя, проживающего отдельно от ребенка, определяются статьей 66 Семейного кодекса, состояние особого в браке значения не имеет. Родитель имеет право ребенка забрать, однако бабушка может его и не отдать. Отцу придется обращаться в суд.
Доверенность бабушке вы можете выдать, но ей вы не можете запретить отцу забрать ребенка.
В такой ситуации правильный вариант — обращение в районный суд с иском об определении места жительства ребенка и порядка общения ребенка с отцом. чтобы отказывать ему на законных основаниях. Если вы не обращались за взысканием алиментов, можно присовокупить к заявлению требование о их взыскании, тогда заявление можно подать в суд по вашему месту жительства.
Если в суд не обращаться, отец ребенка может прийти за ним в сопровождении ПДН и зафиксировать нахождение ребенка с бабушкой, затем сможет использовать это в суде против вас в виде аргумента, что ребенком мать не занимается.
Вообще самый идеальный вариант — договориться и заключить соглашения об алиментах и о порядке общения, и все вопросы урегулировать мирно.
С уважением, Андрей Козырев