Но он не дает нам с детьми жить в доме

Если есть материальные средства, то можете через суд признать его долю незначительной и выкупить в принудительном порядке.

Ст. 252 ГК РФ.

4. Несоразмерность имущества, выделяемого в натуре участнику долевой собственности на основании настоящей статьи, его доле в праве собственности устраняется выплатой соответствующей денежной суммы или иной компенсацией.
Выплата участнику долевой собственности остальными собственниками компенсации вместо выдела его доли в натуре допускается с его согласия. В случаях, когда доля собственника незначительна, не может быть реально выделена и он не имеет существенного интереса в использовании общего имущества, суд может и при отсутствии согласия этого собственника обязать остальных участников долевой собственности выплатить ему компенсацию.