Наталья Михайловна, здравствуйте!
К сожалению, признать брата недостойным наследником только на том основании, что он не помогал ухаживать за мамой, не получится. Условия, при которых возможно признание наследника недостойным, указаны в ст. 1117 Гражданского кодекса РФ:
ГК РФ Статья 1117. Недостойные наследники
1. Не наследуют ни по закону, ни по завещанию граждане, которые своими умышленными противоправными действиями, направленными против наследодателя, кого-либо из его наследников или против осуществления последней воли наследодателя, выраженной в завещании, способствовали либо пытались способствовать призванию их самих или других лиц к наследованию либо способствовали или пытались способствовать увеличению причитающейся им или другим лицам доли наследства, если эти обстоятельства подтверждены в судебном порядке. Однако граждане, которым наследодатель после утраты ими права наследования завещал имущество, вправе наследовать это имущество.
…
2. По требованию заинтересованного лица суд отстраняет от наследования по закону граждан, злостно уклонявшихся от выполнения лежавших на них в силу закона обязанностей по содержанию наследодателя.
Поясню, что в п. 2 речь идет об уклонении от уплаты алиментов, которое нужно подтвердить судебным актом.
Однако и выплачивать что-либо брату Вы не обязаны. Он вправе обратиться к нотариусу и вступить в наследство, получив права на 1/2 имущества наследодателя. Но требовать от Вас выкупа своей доли в наследстве или выплаты компенсации он не вправе.