Могу ли я летать заграницу на отдых?

Сведения о судимости и назначенном наказании  в базе ГИАЦ МВД РФ,  доступ к этим сведениям имеется у сотрудников пограничной службы. При проверке на границе будет выяснено, что Вы — осужденный с неисполненным наказанием, назначенным приговором суда, и Ваши действия будут расценены как попытка скрыться от контроля Уголовно-исполнительной инспекции.

Дополню свой ответ позицией Конституционного Суда РФ, изложенной в Постановление Конституционного Суда РФ от 8 декабря 2009 г. № 19-П «По делу о проверке конституционности подпункта 4 статьи 15 Федерального закона „О порядке выезда из Российской Федерации и въезда в Российскую Федерацию“ в связи с жалобами граждан В.Ф. Алдошиной и Т.С.-М. Идалова»

5. Таким образом, подпункт 4 статьи 15 Федерального закона «О порядке выезда из Российской Федерации и въезда в Российскую Федерацию» в его конституционно-правовом смысле во взаимосвязи с нормами уголовного и уголовно-исполнительного законодательства Российской Федерации не противоречит Конституции Российской Федерации, поскольку предусмотренная им возможность временного — до отбытия (исполнения) наказания или до освобождения от наказания — ограничения права гражданина Российской Федерации на выезд из Российской Федерации в случае, если он осужден за совершение преступления, служит реализации целей правосудия и задач уголовного и уголовно-исполнительного законов, направлена на обеспечение исполнения приговора суда и соразмерна конституционно значимым целям.

Проиллюстрирую на примере судебной практики ситуацию подобной Вашей, где суды признали законным отказ в выезде за пределы РФ до отбытия дополнительного наказания.

Апелляционное определение Саратовского областного суда от 13.06.2013 по делу N 33-3472Б.

считал данный отказ незаконным и нарушающим его конституционные права, поскольку основное наказание, назначенное приговором суда в виде штрафа, им отбыто. Выезд его за границу, исполнению дополнительного наказания, в виде лишения права занимать определенные должности, не препятствует.
Рассмотрев заявленные требования, суд отказал в удовлетворении заявления.
Проверив законность и обоснованность решения в соответствии со статьей 327.1 Гражданского процессуального кодекса Российской Федерации, исходя из доводов жалобы, судебная коллегия не находит оснований для его отмены.
Отказывая в удовлетворении заявления Б., суд первой инстанции правомерно исходил из того, что на момент принятия УФМС по Саратовской области оспариваемого решения Б. не отбыл назначенное ему приговором суда дополнительное наказание в виде лишения права занимать определенные должности. При таких обстоятельствах, вывод суда первой инстанции об отказе в удовлетворении заявления Б. о возложении обязанности на УФМС по Саратовской области выдать заграничный паспорт для лиц старше 18 лет нового поколения и снять ограничения на выезд за пределы Российской Федерации за N 79 от 25 марта 2013 года, следует признать правильным.

Установленные ст. 15 Закона ограничения права на выезд в равной степени касается отбытия любого из назначенных наказаний.

таким образом, пока установленное приговором суда дополнительное наказание не будет исполнено — Вы не можете выехать за границу.

и инспектор сказал, чтобы я сдал свой загранпаспорт.

 Инспектор сказал Вам все верно.

По смыслу ст. 18 ФЗ от 15.08.1996 N 114-ФЗ «О порядке выезда из Российской Федерации и въезда в Российскую Федерацию»

Ваш заграничный паспорт подлежит изъятию.