Что делать, если сын умершей матери хочет оспорить наследство племянника?

Здравствуйте! Как я понимаю, было сделано завещание. Согласно ст. 1119 ГК РФ:

Завещатель вправе по своему усмотрению завещать имущество любым лицам, любым образом определить доли наследников в наследстве, лишить наследства одного, нескольких или всех наследников по закону, не указывая причин такого лишения, а в случаях, предусмотренных настоящим Кодексом, включить в завещание иные распоряжения. 

Если сын умершей являеся нетрудоспособным, он имеет право на обязательную долю в наследстве, если же нет, ничего требовать он не вправе.

шантажирует племянника прося денег и грозя судом

Угрозу судом нельзя расценивать как реальную, поэтому оснований для обращения в правоохранительные органы здесь не усматривается. В Ваших интересах, чобы он, действительно, обратился в суд и получил отказ в иске, тогда все претензии закончатся.