Здравствуйте, Любовь! Никаких прав на дом Ваш бывший муж не имеет, он не является собственником:
В случае прекращения семейных отношений с собственником жилого помещения право пользования данным жилым помещением за бывшим членом семьи собственника этого жилого помещения не сохраняется, если иное не установлено соглашением между собственником и бывшим членом его семьи (ч.4 ст.31 ЖК РФ).
Полагаю, что в вероятность лишить Вас родительских прав минимальная. Так, согласно ст.69 СК РФ родители(один из них) могут быть лишены родительских прав, если они:
уклоняются от выполнения обязанностей родителей, в том числе при злостном уклонении от уплаты алиментов;
отказываются без уважительных причин взять своего ребенка из родильного дома (отделения) либо из иной медицинской организации, образовательной организации, организации социального обслуживания или из аналогичных организаций;
злоупотребляют своими родительскими правами;
жестоко обращаются с детьми, в том числе осуществляют физическое или психическое насилие над ними, покушаются на их половую неприкосновенность;
являются больными хроническим алкоголизмом или наркоманией;
совершили умышленное преступление против жизни или здоровья своих детей, другого родителя детей, супруга, в том числе не являющегося родителем детей, либо против жизни или здоровья иного члена семьи.
В целях выселения бывшего мужа обращайтесь в суд, мотивируя свой иск положением ч.4 ст.31 ЖК РФ.
Не тимеет значения