Как вернуть ребёнка при данных обстоятельствах и каковы последствия?

здравствуйте, я была в гражданском браке с молодым человеком, потом мы разошлись, я оказалась беременной, когда я родила, мне пришлось отдать ребёнка его отцу, по соглашению у нотариуса, т.к.у меня уже было двое детей и было тяжёлое материальное состояние, год назад я написала отказ от ребёнка в отделе опеки, но суда до сих пор не было, и я не лишена родительских прав. В данный момент я покупаю большой дом, материальное состояние наладилось, и хотела бы забрать ребёнка себе. как это сделать? у отца собственного жилья нет, он снимает, и ещё он постоянно выпивает, а воспитанием ребёнка занимается его мама, он почти постоянно на работе, зарплата у него хорошая.куда мне обращаться, т.к.я понимаю что добровольно он его мне не отдаст. ребёнку 3 года.