Что мне делать, если бывший жених хочет взыскать деньги?

Здравствуйте! Ситуация следующая...

На протяжении почти трёх лет была в отношениях с мужчиной, то сходились, то расходились. Последний год встречались стабильно, предлагал выйти за него замуж. В 2017 году я купила землю и начала строить дом для постоянного проживания (моего и моих двоих несовершеннолетних сыновей от прежнего брака). Весной 2018 года появились финснсовые трудности со стройкой. Завели разговор о том, что раз уж будем жениться, то молодой человек внесёт свою лепту... Я ни в коем случае не принуждала, не заставляла шантажом (да и как?!). Он взял кредит в двух банках одновременно, в одном 600т.руб и в другом почти столько же. Купил кое что из стройматериалов, что прогулял и потратил на личные нужды, свозил меня на неделю в Абхазию, но якобы с отпускных, хотя я сомневаюсь уже. В общем все было нормально пока он не дал кучу поводов разорвать отношения. В августе мы расстались. Итог-он угрожает, что все отсудить у меня, что я должна вернуть ему 1 миллион сто тысяч!(откуда такая сумма вообще не ясно). Сказал, что готовит иск что бы отсудить часть дома, либо я должна написать долговую расписку и давать ему ежемесячно по 35 тысяч рублей. Я в долг денег у него не брала, в планах было счастье, семья, но увы вышло как есть. Я не работаю сейчас, двое маленьких детей тяну как могу... Как быть? Чего ждать и что делать? Очень надеюсь на помощь.