Обязана ли я возвращать покупателю задаток, внесенный в счет стоимости квартиры?

Здравствуйте! Меня зовут Анастасия!Подскажите как поступить! Я продавала пристройку и прилегающую к ней землю.Нашёлся покупатель,по расписке от руки.Дал мне задаток в размере 500000,и обещал остальную сумму позже и тогда заключим договор купли продажи.Пожил в ней три месяца,ни платил за комуналку,ни собирался отдавать оставшуюся сумму,пришёл и сказал я передумал покупать отдай мне задаток.Естественно денег у меня уже не было.Мы договорились на том,что я снова выставляю на продажу.Как покупатель найдётся я ему отдаю деньги.Он пишет мне расписку, что в другом случае требовать деньги с меня не будет.В итоге через три с половиной месяца он мне звонит и говорит, что подаёт на меня в суд,будет писать в прокуратуру,в полицию, что меня засудит.Обвиняет меня в мошенничестве,потом пишет нецелевое использование денег- это статья.Ты будешь мне платит в сто раз больше.Подскажите пожайлуста! Кто прав,кто виноват? Как мне поступить? Это ведь клевета? И задаток вообще по закону я не обязана возвращать?Он у меня их получается вымагает?