Или ограничить его чтобы он не приближался к детям?

Только за то, что он 4 месяца не содержит своих детей лишить его родительских прав не получится.

Обратитесь в опеку, чтобы с него присудили алименты на детей, оформите над ними опеку.

И тогда уже при наличии задолженности по алиментам и установления факта злостного уклонения от содержания детей можно будет подать иск на лишение родительских прав в том числе по Вашему иску как опекуна детей.

Постановление Пленума Верховного Суда РФ от 14.11.2017 N 44
«О практике применения судами законодательства при разрешении споров, связанных с защитой прав и законных интересов ребенка при непосредственной угрозе его жизни или здоровью, а также при ограничении или лишении родительских прав»

16. В соответствии со статьей 69 СК РФ родители (один из них) могут быть лишены судом родительских прав, если они:

а) уклоняются от выполнения обязанностей родителей, в том числе при злостном уклонении от уплаты алиментов.

Уклонение родителей от выполнения своих обязанностей по воспитанию детей может выражаться в отсутствии заботы об их здоровье, о физическом, психическом, духовном и нравственном развитии, обучении.

Разрешая вопрос о том, имеет ли место злостное уклонение родителя от уплаты алиментов, необходимо, в частности, учитывать продолжительность и причины неуплаты родителем средств на содержание ребенка.

О злостном характере уклонения от уплаты алиментов могут свидетельствовать, например, наличие задолженности по алиментам, образовавшейся по вине плательщика алиментов, уплачиваемых им на основании нотариально удостоверенного соглашения об уплате алиментов или судебного постановления о взыскании алиментов; сокрытие им действительного размера заработка и (или) иного дохода, из которых должно производиться удержание алиментов; розыск родителя, обязанного выплачивать алименты, ввиду сокрытия им своего места нахождения; привлечение родителя к административной или уголовной ответственности за неуплату средств на содержание несовершеннолетнего (часть 1 статьи 5.35.1 Кодекса Российской Федерации об административных правонарушениях, часть 1 статьи 157 Уголовного кодекса Российской Федерации);

Если Вы не мать его детей, то Вы не можете подать иск на его лишение родительских прав в отношении его детей.

Вы можете обратиться с жалобой в орган опеки и попечительства по этому поводу и указать на неисполнением им своих родительских обязанностей.

Семейный кодекс

Статья 70. Порядок лишения родительских прав

 

1. Лишение родительских прав производится в судебном порядке.

Дела о лишении родительских прав рассматриваются по заявлению одного из родителей или лиц, их заменяющих, заявлению прокурора, а также по заявлениям органов или организаций, на которые возложены обязанности по охране прав несовершеннолетних детей (органов опеки и попечительства, комиссий по делам несовершеннолетних, организаций для детей-сирот и детей, оставшихся без попечения родителей, и других).