Должны ли мне выплатить сумму,внесенную мной в качестве залога,в двойном размере?

Здравствуйте. Все зависит от того как вы оформили передачу денежных средств. Если в форме соглашения, то вот статья 380 ГК:

1. Задатком признается денежная сумма, выдаваемая одной из договаривающихся сторон в счет причитающихся с нее по договору платежей другой стороне, в доказательство заключения договора и в обеспечение его исполнения.
2. Соглашение о задатке независимо от суммы задатка должно быть совершено в письменной форме.
3. В случае сомнения в отношении того, является ли сумма, уплаченная в счет причитающихся со стороны по договору платежей, задатком, в частности вследствие несоблюдения правила, установленного п. 2 настоящей статьи, эта сумма считается уплаченной в качестве аванса, если не доказано иное.
4. Если иное не установлено законом, по соглашению сторон задатком может быть обеспечено исполнение обязательства по заключению основного договора на условиях, предусмотренных предварительным договором

Если имеется соглашение  о задатке или предварительный договор, в котором указаны положения о задатке, и подтверждается факт выдачи Вами задатка продавцу — Продавец обязан возвратить задаток в двойном размере.

Ст. 380 ГК РФ.

4. Если иное не установлено законом, по соглашению сторон задатком может быть обеспечено исполнение обязательства по заключению основного договора на условиях, предусмотренных предварительным договором (статья 429).

Ст. 381 ГК РФ.

2. Если за неисполнение договора ответственна сторона, давшая задаток, он остается у другой стороны. Если за неисполнение договора ответственна сторона, получившая задаток, она обязана уплатить другой стороне двойную сумму задатка.

 Для более точной квалификации, нужно изучить документы и детально разобрать причины, по которым не был заключен основной договор купли-продажи квартиры.