Добрый день.
Основания расторжения договора найма служебного жилья указаны в ЖК РФ
Статья 101. Расторжение договора найма специализированного жилого помещения
1. Договор найма специализированного жилого помещения может быть расторгнут в любое время по соглашению сторон.
2. Наниматель специализированного жилого помещения в любое время может расторгнуть договор найма специализированного жилого помещения.
3. Договор найма специализированного жилого помещения может быть расторгнут в судебном порядке по требованию наймодателя при неисполнении нанимателем и проживающими совместно с ним членами его семьи обязательств по договору найма специализированного жилого помещения, а также в иных предусмотренных статьей 83 настоящего Кодекса случаях.
Вашего случая тут нет.
Кроме того:
Постановление Правительства РФ от 26.01.2006 N 42 (ред. от 18.07.2016) «Об утверждении Правил отнесения жилого помещения к специализированному жилищному фонду и типовых договоров найма специализированных жилых помещений»
..
17.Расторжение настоящего Договора по требованию Наймодателя допускается в судебном порядке в случае:
1) невнесения Нанимателем платы за жилое помещение и (или) коммунальные услуги в течение более 6 месяцев;
2) разрушения или повреждения жилого помещения Нанимателем или членами его семьи;
3) систематического нарушения прав и законных интересов соседей;
4) использования жилого помещения не по назначению.
18. Настоящий Договор прекращается в связи:
1) с утратой (разрушением) жилого помещения;
2) со смертью Нанимателя;
3) с истечением срока трудового договора;
4) с окончанием срока службы;
5) с истечением срока пребывания на государственной должности Российской Федерации, государственной должности субъекта Российской Федерации или на выборной должности.
тут тоже нет Ваших обстоятельств.
Поэтому, полагаю, Ваши опасения напрасны
Кроме того, выселение может быть в случае, указанном в ст. 102 Жилищного кодекса РФ:
Но в Вашем случае ни данное основание, ни основания, указанные ранее, не имеют места.
Повторюсь, то обстоятельство, что у отца детей имеется в собственности другое жилое помещение, не является основанием для их выселения, если они (дети) были вселены в данную служебную квартиру в установленном порядке.