Проживание нового мужа в квартире

В прошлом году я развелась с мужем, за время брака мы приобрели квартиру при помощи государства выдавшего нам жилищный сертификат как молодой семье + материнский капитал + средства банка(ипотека). Сразу после развода мы договорились о платеже по ипотеке (оплачиваем ипотека через месяц). В течении года бывший муж не проживал в нашей квартире, но у меня появился новый мужчина с которым я и дети хотим проживать вместе. Договориться в бывшим мужем не получается, как быть в такой ситуации?