Есть ли исключения, когда можно ограничить их общение

Здравствуйте,  уважаемая Карина!

Вот, что говорит семейное законодательство:

СК РФ Статья 67. 

1. Дедушка, бабушка, братья, сестры и другие родственники имеют право на общение с ребенком.

2. В случае отказа родителей (одного из них) от предоставления близким родственникам ребенка возможности общаться с ним орган опеки и попечительства может обязать родителей (одного из них) не препятствовать этому общению.

3. Если родители (один из них) не подчиняются решению органа опеки и попечительства, близкие родственники ребенка либо орган опеки и попечительства вправе обратиться в суд с иском об устранении препятствий к общению с ребенком.Суд разрешает спор исходя из интересов ребенка и с учетом мнения ребенка.

То есть, если Вы не согласны, то решаться вопрос  будет через суд. И если суд усмотрит в общении с такими родственниками вред для ребёнка ( а их поступок-тому проявление) им будет отказано. В суде Вы сможете дать свои пояснения-описать подробно эту ситуацию.

Вы не зарегистрированы с ребёнком в квартире этой, верно?

С уважением, Пархоменко Вадим Николаевич.