Можно ли лишить отцовства

Лишение родительских прав по закону предусмотрено в следующих случаях:

уклоняются от выполнения обязанностей родителей, в том числе при злостном уклонении от уплаты алиментов;
отказываются без уважительных причин взять своего ребенка из родильного дома (отделения) либо из иной медицинской организации, воспитательного учреждения, учреждения социальной защиты населения или из аналогичных организаций;
(в ред. Федеральных законов от 24.04.2008 N 49-ФЗ, от 25.11.2013 N 317-ФЗ)
злоупотребляют своими родительскими правами;
жестоко обращаются с детьми, в том числе осуществляют физическое или психическое насилие над ними, покушаются на их половую неприкосновенность;
являются больными хроническим алкоголизмом или наркоманией;
совершили умышленное преступление против жизни или здоровья своих детей либо против жизни или здоровья супруга.

Пленум Верховного суда разъяснил выделенные мною основания:

Под злоупотреблением родительскими правами следует понимать использование этих прав в ущерб интересам детей, например создание препятствий в обучении, склонение к попрошайничеству, воровству, проституции, употреблению спиртных напитков или наркотиков и т.п.

Хронический алкоголизм или заболевание родителей наркоманией должны быть подтверждены соответствующим медицинском заключением. Лишение родительских прав по этому основанию может быть произведено независимо от признания ответчика ограниченно дееспособным.

Думаю, что при описанных вами обстоятельствах лишить родительских прав вполне можно.