Здравствуйте,
Если вы оставите детей с бабушкой, это может рассматриваться как нарушение. До лишения родительских прав дойдет вряд ли, но вот передать детей отцу суд вполне может. Дети должны проживать с родителями, при проживании с родственниками нужно оформлять опеку, а для этого нужно заявление обоих родителей. Однако обращаю внимание, что бабушка не обязана передавать детей отцу и не факт, что суд пойдет отцу в этом навстречу (посмотрите ст.68 СК РФ).
По какой причине отец детей не платит алименты? Вы можете взыскать неустойку, привлечь его к ответственности по ч.1 ст. 5.35.1 КоАП, для начала. Уклонение от воспитания и содержания детей — это основание лишения родительских прав, поэтому, возможно, что у вас больше шансов лишить РП отца, чем у него лишить их вас.
Обращайтесь, если у вас есть вопросы.
С уважением, Андрей Козырев