Здравствуйте Айгуль!
Семейным кодексом определено, при каких основаниях могут лишить прав. На основании ст. 69 СК РФ:
Родители (один из них) могут быть лишены родительских прав, если они:
уклоняются от выполнения обязанностей родителей, в том числе при злостном уклонении от уплаты алиментов;
отказываются без уважительных причин взять своего ребенка из родильного дома (отделения) либо из иной медицинской организации, воспитательного учреждения, учреждения социальной защиты населения или из аналогичных организаций;
злоупотребляют своими родительскими правами;
жестоко обращаются с детьми, в том числе осуществляют физическое или психическое насилие над ними, покушаются на их половую неприкосновенность;
являются больными хроническим алкоголизмом или наркоманией;
совершили умышленное преступление против жизни или здоровья своих детей либо против жизни или здоровья супруга.
Но имейте ввиду, что лишение родительских прав — это крайняя меря, и суды не так часто лишают родительских прав. В отношении места жительства ребенка при раздельном проживании родителей, этот момент регулируется ст. 65 СК РФ, но здесь Вам переживать не о чем, обычно детей оставляют с матерью, тем более при описанной Вами ситуации.
Удачи!