Пустят ли меня к нему на свидание раз мы не состоим в браке?

Добрый вечер!

Краткосрочные свидания согласно ст.89 УИК РФ предоставляются  не только с  родственниками, но и иными лицами. Однако, при присутствии представителя администрации исправительного учреждения. Длительные свидания предоставляются с правом совместного проживания с супругом (супругой), родителями, детьми, усыновителями, усыновленными, родными братьями и сестрами, дедушками, бабушками, внуками, а с разрешения начальника исправительного учреждения — с иными лицами.

УИК РФ Статья 89. Свидания осужденных к лишению свободы

Поэтому право на свидание имеете. Тем более Вы мать его ребенка.