Как нам вернуть задаток, если передумали покупать дом?

У вас так и написано в расписке — задаток или предоплата. Договор вы заключали о задатке? Можно через суд отказаться от покупки.

Если внесли аванс то его вернуть легче, нужно смотреть в договоре заключен ли договор задатка.
Статья 380.ГК РФ Понятие задатка. Форма соглашения о задатке

1. Задатком признается денежная сумма, выдаваемая одной из договаривающихся сторон в счет причитающихся с нее по договору платежей другой стороне, в доказательство заключения договора и в обеспечение его исполнения.

2. Соглашение о задатке независимо от суммы задатка должно быть совершено в письменной форме.

3. В случае сомнения в отношении того, является ли сумма, уплаченная в счет причитающихся со стороны по договору платежей, задатком, в частности вследствие несоблюдения правила, установленного пунктом 2 настоящей статьи, эта сумма считается уплаченной в качестве аванса, если не доказано иное.

4. Если иное не установлено законом, по соглашению сторон задатком может быть обеспечено исполнение обязательства по заключению основного договора на условиях, предусмотренных предварительным договором (статья 429).

Статья 381. ГК РФ Последствия прекращения и неисполнения обязательства, обеспеченного задатком

1. При прекращении обязательства до начала его исполнения по соглашению сторон либо вследствие невозможности исполнения (статья 416) задаток должен быть возвращен.

2. Если за неисполнение договора ответственна сторона, давшая задаток, он остается у другой стороны. Если за неисполнение договора ответственна сторона, получившая задаток, она обязана уплатить другой стороне двойную сумму задатка.
Сверх того, сторона, ответственная за неисполнение договора, обязана возместить другой стороне убытки с зачетом суммы задатка, если в договоре не предусмотрено иное.