Возможно ли как-то оспорить это решение?

Если в 2019 г. Вы действительно знакомились с совершенно секретным документом — то отказ в выдаче Вам заграничного паспорта обоснован.

В ст. 6 ФЗ  от 15.08.1996 N 114-ФЗ «О порядке выезда из Российской Федерации и въезда в Российскую Федерацию» основания отказа в выдаче заграничного паспорта является наличие одного из оснований определенных в ст. 15 данного закона.

В ней указано, что 

Право гражданина Российской Федерации на выезд из Российской Федерации может быть временно ограничено в случаях, если он:
1) при допуске к сведениям особой важности или совершенно секретным сведениям, отнесенным к государственной тайне в соответствии с законом Российской Федерации о государственной тайне, заключил трудовой договор (контракт), предполагающий временное ограничение права на выезд из Российской Федерации, при условии, что срок ограничения не может превышать пять лет со дня последнего ознакомления лица со сведениями особой важности илисовершенно секретными сведениями, — до истечения срока ограничения, установленного трудовым договором (контрактом) или в соответствии с настоящим Федеральным законом.

Допуск по второй форме не может быть формальным, его оформление предполагается, если Вы находились на должности замещение которой требует данную форму допуска.

Оформляется он только после проведения проверочных мероприятий ФСБ, которое проверяет соответствие Вашей должности номенклатуре должностей, по второй форме допуска.

При таком соответствии и исключен элемент формализма в его оформлении.

Следовательно, Вам после прекращения допуска могли ограничить на 5 лет с момента последнего ознакомления с сов.секретными сведениями.

Установленное ограничение также является законным.

Вы конечно можете оспорить отказ в выдаче загранпаспорта в суде, но опыт судебной практики показывает, что перспектива такого обжалования сведена к нулю.

В качестве примера приведу

Кассационное определение Первого кассационного суда общей юрисдикции от 26.05.2020 N 88а-12274/2020

Временное ограничение права гражданина на выезд из Российской Федерации предусмотрено и пунктом 1 статьи 15 Федерального закона от 15 августа 1996 года N 114-ФЗ «О порядке выезда из Российской Федерации и въезда в Российскую Федерацию» при условии, что срок ограничения не может превышать пять лет со дня последнего ознакомления лица со сведениями особой важности или совершенно секретными сведениями, отнесенными к государственной тайне в период заключенного трудового договора (контракта).
Заключая контракт о прохождении военной службы, Т.И. одновременно принял на себя обязательство о неразглашении сведений, составляющих государственную тайну или не подлежащих оглашению, его права и законные интересы оспариваемыми решения не нарушены.
Принимая во внимание то обстоятельство, что Т.И. в процессе воинской службы был ознакомлена с секретной информацией, содержащей государственную тайну, судебная коллегия полагает, что предпринятые временные ограничительные меры в отношении заявителя преследовали законную цель, являются соразмерными и не свидетельствуют о нарушении статьи 2 Протокола 4 к Конвенции от 4 ноября 1950 года «О защите прав человека и основных свобод».