Если он здесь больше не прописан?

Здравствуйте. В браке мы с мужем купили в ипотеку 1-комнатную квартиру с использованием материнского капитала. Пока отдавали ипотеку, уже развелись. Моя старшая дочь (не общая, а моя) живет со мной в нашей общей с бывшим мужем квартирой, бывший муж с нашим общим сыном живет у своих родителей. Бывшему муж ветеран, стоял на очереди, ему дали соц.жилье и он снялся с рег.учета вместе с сыном из нашей общей квартиры, прописался в социальном жилье. Вопрос: есть ли в связи со снятием с регистрации у него право теперь безпрепятственно приходить к нам в общую квартиру без предупреждения и приглашения, могу ли я поменять замеок и т.д., если он здесь больше не прописан?