Имею ли я право не посещать ПНД в данном случае?

Здравствуйте, Влад!

Просто не приходить — не вариант, т.к. возможно привлечение к административной ответственности по статье 21.6. Кодекса РФ об административных правонарушений 

Уклонение гражданина от медицинского освидетельствования либо обследования по направлению комиссии по постановке граждан на воинский учет или от медицинского обследования по направлению призывной комиссии —

влечет предупреждение или наложение административного штрафа в размере от ста до пятисот рублей.

Вы можете попытаться обжаловать направление, как необоснованное в вышестоящей призывной комиссии или в судебном порядке, но вам придется очень постараться, чтобы доказать, что направление врача-психиатра не является обоснованным. Для суда слово врача-специалиста имеет больший вес, чем ваше мнение.