Ограничение общения ребенка с отцом, рожденного вне брака

в браке с ним не состояли, бросил меня на шестом месяце беременности (любовь у него случилась).я являюсь матерью одиночкой дочь 8 лет и сын 1,5 года. По рождении ребенка он усыновил его. С момента усыновления ни каких препятствий в общении с ребенком не было и нет. Ребенку сейчас полтора года. Первые полгода ходил раз в неделю, следующие полгода раз в месяц, а то и раз в два месяца. сегодня 17 апреля последний раз был у ребенка 20 ноября, 25 февраля позвонил требует ребенка к себе домой, но как я могу дать ребенка, если ребенок его не знает. В марте подал заявление в опеку, якобы он приходит, а ему дверь не открывают. Что делать незнаю.