Не можем оформить ипотеку на расширение жилья в связи с наличием доли несовершеннолетнего в нем

У нас очень сложная ситуация. В однокомнатной квартире собственники ( я, моя мама, и несовершеннолетний брат). Брат с мамой проживают в частном доме. В этом доме так же мы все собственники (я,мама, её муж и мой брат несовершеннолетний). Сейчас в однокомнатной квартире проживаю, я со своим мужем и детьми. Мы хотим расширятся(брать ипотеку) . Но ни один банк не идёт нам на встречу( так как не хочет выделять долю , для моего несовершеннолетнего брата). Опека разрешила, и долю дать ребёнку в новой квартире, или же продать нам с братом , друг другу доли. Вопрос, можно ли просто обменятся нам с братом долями? Или как нам вообще быть? Что посоветуете? Заранее больше спасибо за ответ !