Здравствуйте.
Обратиться в суд Вы, конечно, можете, но решать вопрос о том, должен ли отец быть лишен родительских прав, в любом случае будет суд.
Статьей 69 Семейного кодекса установлены основания для такого лишения:
уклоняются от выполнения обязанностей родителей, в том числе при злостном уклонении от уплаты алиментов;
отказываются без уважительных причин взять своего ребенка из родильного дома (отделения) либо из иной медицинской организации, образовательной организации, организации социального обслуживания или из аналогичных организаций;
злоупотребляют своими родительскими правами;
жестоко обращаются с детьми, в том числе осуществляют физическое или психическое насилие над ними, покушаются на их половую неприкосновенность;
являются больными хроническим алкоголизмом или наркоманией;
совершили умышленное преступление против жизни или здоровья своих детей, другого родителя детей, супруга, в том числе не являющегося родителем детей, либо против жизни или здоровья иного члена семьи.
То есть в Вашем случае формальные основания есть. Что касается порядка, лишение осуществляется исключительно в судебном порядке, то есть придется обращаться в районный суд по месту жительства бывшего мужа. Если место жительства Вам неизвестно, нужно будет просить суд помочь Вам его установить.
Вот здесь, на сайте одного из судов, можете посмотреть более подробную информацию: kaltansky.kmr.sudrf.ru/modules.php?name=press_dep&op=1&did=55