Или что вообще нужно сделать, чтоб меня пропустили на границе?

Добрый вечер.

Проблем с выездом из РФ у Вас не возникнет.

Вы можете свободно покинуть РФ на основании Распоряжения Правительства РФ от 27.03.2020 N 763-р <О временном ограничении движения через автомобильные, железнодорожные, пешеходные, речные и смешанные пункты пропуска через государственную границу Российской Федерации, а также через сухопутный участок российско-белорусской государственной границы>

в силу которого

2. Положения пункта 1 настоящего распоряженияне применять в отношении:
граждан Российской Федерации, являющихсячленами семьи (супругами, родителями, детьми, усыновителями, усыновленными), опекунами и попечителями лиц, в том числе иностранных граждан, проживающих за пределами Российской Федерации, при условии предъявления действительных документов, удостоверяющих их личность, копий документов, подтверждающих степень родства и право члена семьи на проживание в иностранном государстве либо наличие у него гражданства иностранного государства, для выезда из Российской Федерации к месту проживания членов семьи;

Поскольку Ваш супруг является гражданином Украины Вы можете свободно вместе с ним выехать из страны.

Для въезда на Украину предполагается сдача ПЦР теста

Так в силу постановления правительства Украины  7 апреля 2021 года постановлением № 310  и  постановления правительства Украины №230 от 22 марта 2021 года с момента тестирования до момента пересечения границы Украины должно пройти не больше 72 часов.

Также для Вас обязательной будет туристическая страховка, которая покрывает в случае необходимости лечение от COVID-19.