Как можно решить данную ситуацию, с наименьшими потерями для меня?

Ситуация типична для совладельцев недвижимости, где один из собственников требует выплаты, хотя фактически доля используется другими.

Что важно учитывать:
Доля наследника

Средний сын имеет право на свою долю, но она ограничена размером, который получил по наследству (например, 1/6 или 6/13).
Претензии на сумму, превышающую стоимость его доли, не имеют законных оснований.
Компенсация расходов

Если вы оплачиваете коммунальные услуги и поддерживаете дом, вы имеете право требовать соразмерную компенсацию от других собственников.
Но если средний собственник не участвовал, его доля расходов должна учитываться пропорционально его доле.
Фактическое проживание и улучшения

Вы жили в доме более 6 лет, платили за улучшение и содержание.
Это можно использовать в суде как основание для зачёта расходов против требований среднего собственника (ст. 250 ГК РФ — компенсация за улучшения, произведённые с согласия собственника или в его интересах).
Варианты решения

Досудебное соглашение: предложить среднему собственнику компенсировать только реальные расходы или выкупить его долю по рыночной стоимости.
Судебное урегулирование: если он подаст иск, можно подать встречный иск о зачёте расходов на содержание дома и улучшения, чтобы уменьшить сумму требований.
Рекомендации
Зафиксируйте все расходы и улучшения документально (квитанции, фото, чеки).
Попробуйте досудебное соглашение, предложив выкуп доли или компенсацию только за фактические расходы.
Если будет суд — предъявляйте зачёт расходов и фактический вклад в содержание дома, это значительно уменьшит сумму, которую можно взыскать.
Вывод:
Средний собственник имеет право на свою долю, но требовать сумму значительно выше стоимости доли незаконно, а ваши расходы на содержание дома можно зачесть против его претензий.