Как можно лишить отцовства законного представителя ребенка?

Воспитываю дочь и пасынка. Супруга погибла 4 года назад. Законный представитель пасынка не принимает никакого участия ни в воспитании, ни материально. Но за счёт моего пасынка он многодетный отец. У него двое детей от другого брака. Хочу усыновить пасынка, добровольно отказаться от отцовства отказывается. Как поступить? Собирать доказательства того, что нет никакого участия и подать в суд? Ребёнку 16 лет. Спасибо!