Правильно ли я сделаю, если соглашусь?

Здравствуйте, у нас с мужем двое детей:дочка с особенностями развития, ей 3 года, она не реагирует на речь и сын 7 месяцев, обычный ребенок.

С мужем разводимся, он работает не официально, жилья своего не имеет, хочет забрать дочь себе, аргументируя тем, что будет ей больше заниматься, но пока в неделю у него только один выходной.

Предполагает, что его девушка будет иногда заменять его, водить в сад и прочее.

Мне предлагает договор по которому я могу забирать дочь к себе всегда и на сколько нужно, но мне тяжело отдать дочь ему, тем более, что все это время, дочь в основном видит меня, его раз в неделю.

Правильно ли я сделаю, если соглашусь?