Может ли отец забрать детей при раздельном проживании, если они живут со мной?

Здравствуйте, разошлись с мужем, официально не были расписаны, дети на его фамилии, тоесть имеется усыновление отцовства , он грозится забрать у меня детей, но... он ушел к другой женщине то есть строит свою личную жизнь,живет в квартире которую снимает она, при этом официальной работы у него нет, злоупотребляет алкоголем, имеет ли он права их себе забрать? Дети проживают со мной, прописаны в квартире где и я, там же фактическое проживание, я получаю на них детские пособия, деньги эти трачу только на них, устроилась недавно на работу рядом с домом, но не официально, не пью, не курю. Единственное что в квартире имеется старая мебель и нужен косметический ремонт, подклеить обои итд.. Я все это планирую делать уже весной. А так удобства все есть, ванна, холодильник, кровать, просто бывший говорит условий для детей нет, а мне обидно он жил когда с нами, поменять ничего не пытался. А сейчас кидает угрозы. И лично мне неоднократно в выпившем состоянии он угрожал моей жизни, тоесть человек бывает агрессивным. Так вот имеет ли право он забрать детей себе? Если по сути не куда. Я детей естественно не отдам.