По сути он их селит в наши комнаты где мы с детьми и женой должны спать

А кроме как про суд про что же именно юристы вам могут  писать?? Полиция давно перестала такими делами заниматься о вселении, выселении, вручение ключей, нечинении препятствий в проживании.  А именно таких дел в судах очень много. Пристав судебное решение по поводу вселения, выселении и выдаче ключей обязан исполнить. 

Вас и полиция отправит в  суд решать вопрос. . 

Такую квартиру можно разменять в принудительном порядке через суд. Но очень сложно. По принудительному обмену порядок такой — вы сами подбираете вариант обмена (через риелтора, через интернет) и по этому варианту пишите или вам пишет адвокат исковое заявление о принудительном обмене. Если суд посчитает, что ваш вариант не ухудшает жилищных условий, то принудительно вас разменяет по этому варианту. Но во всех случаях в суд вам надо идти с готовым вариантом размена. Положительных дел в судах единицы по ст. 72 ЖК РФ 

          Ст. 72 ЖК РФ.

3. Если между нанимателем жилого помещения по договору социального найма и проживающими совместно с ним членами его семьи не достигнуто соглашение об обмене, любой из них вправе требовать осуществления принудительного обмена занимаемого жилого помещения в судебном порядке. При этом учитываются заслуживающие внимания  доводы и законные интересы лиц, проживающих в обмениваемом жилом помещении.