Навязали дополнительных работников ко мне в подчинение без моего согласия при реорганизации филиала

Работаю в филиале предприятия, головной офис находится в другом городе. В августе 2016 в наш филиал предоставили новую структуру нашего филиала. В старой структуре в нашем филиале был административно-хозяйственный отдел, в кот.входили рабочие и уборщицы. После введения новой структуры я стала руководителем группы МТО и хозяйственного обслуживания, согласно представленной новой структуры - в группе МТО и ХО входило 3 человека: руководитель группы и 2 вед.специлиста.Сама группа входит в состав имущественного отдела и ч подчиняясь руководителю имущественного отдела.Также после введения новой структуры не стало так называемого отдела АХО, но рабочих и уборщиц (всех вместе 4 человека) не сократили, остались работать дальше. Но так как их девать было не куда, кадровый работник и директор самостоятельно вписали их в мою группу без моего согласия, т.е. втихаря, а меня и моего неосредственного руководителя только поставили перед фактом. На данный момент в группе МТО и ХО 7 человек, вместо 3-х положенных и мне приходится делать табель учета рабочего времени на рабочих и уборщиц, контралировать их работу и распределять им задачи на весь рабочий день.

На мою просьбу предоставить документ - основание включения в мою группу рабочих и уборщиц - кадровый работник отказалась, сослалась толко словесно : " Что ты хочешь? Это уже ваше, вот и занимайтесь ими". При этом в положении об отделе по имущественым вопросам, в положении группы МТО и ХО и в моей должностной инструкции полностью отсутствуют функции о том, что я должна отвечать за этих самых рабочих и убощиц, контролировать их работу, и раздавать им задания на день.

Как мне отказаться от этих работников, которые ко мне, можно так сказать, не относятся? Правы ли были кадровый работник и директор, что без моего согласия включили мне вышеуказанных работников?