Подскажите пожалуйста обязаны ли мы платить в такой ситуации?

Здравствуйте! Мы с мужем подыскали квартиру, хотели её купить. Продавец дал нам ключи чтобы мы сделали там ремонт перед переездом, без всяких договоров За пару дней мы подготовили квартиру к ремонту. Спустя несколько дней по некоторым причинам мы отказались от покупки.

Продавец попросил вернуть всё на место ( сделать ремонт) и дал срок 2 месяца. По истечению срока мы сделали ремонт отдали ему ключи, но он (продавец) просит чтобы мы заплатили квартплату но так как у меня муж работает один,а я нахожусь в декретном отпуске по уходу за двумя малолетними детьми мы сказали ,что не будем платить, на что продавец стал нам угрожать, сказал: не забывайте , что у вас есть маленькие дети. Подскажите пожалуйста обязаны ли мы платить в такой ситуации?