Могу ли я просто вернуть деньги покупателю?

Добрый день!
В данной ситуации важно понять, что именно у Вас было прописано в договоре: задаток или аванс? На бытовом уровне эти понятия равнозначны, но в гражданском праве серьёзно различаются.

Если задаток — дело плохо: полученную сумму придётся вернуть вдвойне (ст.381 ГК РФ). Если это всё же аванс, частичная оплата без обеспечительной функции — тогда нужно будет сделать возврат полученного, возможно — оплатить проценты за пользование денежными средствами.

Без ознакомления с положениями договора сложно точно рекомендовать дальнейшие действия.