Что делать, если на меня подают в суд покупатели квартиры из-за отказа от сделки?

Здравствуйте.

Вопрос:

Продавал квартиру. Нашлись покупатели. Заключили с ними предварительный договор с задатком и прописанными штрафными санкциями. (2 задатка в случае отказа продавца, задаток не возвращается в случае отказа покупателя).

У покупателя возникли проблемы с оплатой, и они не могли в оговоренные сроки провести оплату. Я решил отказаться от сделки, о чем сказал покупателям по телефону. Попросил встретиться и мирно решить вопрос. Покупатели избегали контактов и не выходили на связь. Я особо тоже не рвался с ними общаться. Крайний срок оформления договора купли-продажи прошел. Я узнаю, что покупатели подают на меня в суд, так как отказался от сделки. Делалось всё через агентство, они могут подтвердить моё желание отменить сделку. Что мне делать?