Что мне делать чтобы у меня их не забрали органы опеки

Здравствуйте, Андрей! Как отец Вы имеете право оформить доверенность на имя своей матери на представление интересов детей в образовательных, медицинских организациях, государственных органах, учреждениях социальной сферы, МФЦ и проч.

Второй вариант, поскольку Вы сейчас не проживаете с детьми по уважительной причине, то можно обратиться в орган опеки и попечительства с заявлением о назначении бабушки опекуном внуков на конкретный срок (как правило 2 года). Но при этом бабушка будет должна собрать весь комплект документов на себя, как на кандидата в опекуны (уровень дохода, медицинское заключение, справка о несудимости, жилищные условия и т.д.).