Могут ли меня лишить родительских прав, если я не оформлю доверенность?

Здравствуйте у меня двое детей они живут в деревне с моими родителями сама я живу в городе Оренбурге и работаю т.к.в деревне нет работы и возможности забрать их в город тоже нет т.к я одинокая мать.Со школы требьют доверенность что я разрешаю маме сопровождать детей в школу, садик, больницу и проживать с ними.обратилась к натариусу он ответил что таких довереностей не дают только на выезд по России и заграницу. А мне говорят что лишат родительских прав и в детский дом могут забрать т.к я с ними не проживаю что делать и как быть