Уважаемый Анатолий Иванович!
В Вашем случае наследодателем является Ваша мама, а она умерла позже Вашего брата., а наследство открывается после смерти наследодателя.
Если наследник, призванный к наследованию по завещанию или по закону, умер после открытия наследства, не успев его принять в установленный срок, право на принятие причитавшегося ему наследства переходит к его наследникам по закону, а если все наследственное имущество было завещано — к его наследникам по завещанию (наследственная трансмиссия). (п.1 ст.1156 ГК РФ).
Поэтому я полагаю, что дети Вашего брата после смерти Вашей мамы к наследованию призываться не будут.