Здравствуйте! Да, можете не возвращать. Согласно ч. 2 ст. 381 ГК РФ Вы вправе не возвращать задаток, так как покупатель отказывается от покупки, и за неисполнения договора ответственен именно он.
2. Еслиза неисполнение договора ответственна сторона, давшая задаток, он остается у другой стороны. Если за неисполнение договора ответственна сторона, получившая задаток, она обязана уплатить другой стороне двойную сумму задатка.
Предварительный договор указывал на обязанность по заключению основного договора.
И задаток служил( служит) обеспечением для заключения основного договора, об этом также указывается в ч. 4 ст. 380 ГК РФ
4. Если иное не установлено законом, по соглашению сторонзадатком может быть обеспечено исполнение обязательства по заключению основного договора на условиях, предусмотренных предварительным договором (статья 429).
Если Вам нужна дополнительная консультация Вы можете обратиться ко мне в чат.
Хорошего дня!