Нужно ли согласие отца на улучшение жилья для детей после развода?

Мы с бывшим мужем в разводе почти три года, двое детей 12 и 8 лет. Квартира полностью оформлена в долях на детей и меня. Хочу ее продать и купить дом с большей площадью и в этом же городе. Опека и МФЦ требует разрешения отца, а он категорически против. На данный момент алименты на детей не платит. Из-за его поведения мы можем потерять хорошее жилье.

можно в данной ситуации обойтись без его согласия?