Хочу уточнить - это законная схема или её можно оспорить?

Здравствуйте, Мы с мужем развелись 3,5 года назад. Купили квартиру 2-х комнатную, она на ипотеке. Всё оформлено было вначале на мужа бывшего, через суд у нас по 1/2 доли. Муж не платит за ипотеку, после развода. Хотя он заемщик, а я созаемщик. Платила все эти 3,5 года я. Прописаны 2 ребёнка, 1- совершеннолетний, другой несовершеннолетний. Через суд выиграла, что он должен вернуть половину потраченных денег. Теперь он подал на меня в суд, как-будто я его не впускаю на квартиру. За коммунальные услуги, тоже не платил, но в суд я пока на возврат не подавала. Я ему пыталась сказать, чтобы он отказался и я бы остатки ипотеки 12 лет покрыла бы сама. Он не согласился. Как быть в таком случае? Я не хочу чтобы он жил с нами. Он бросил меня с детьми и ипотекой, а сейчас хочет обратно жить на квартире. Если по 1/2 у каждого, то дети наши здесь роли не играют, что они прописаны. Его адвокат говорит, тогда плати стоимость 1/2 квартиры аренды-найма жилья. Как можно оспорить эту ситуацию?