Как вернуть аванс, если предварительный договор купли-продажи квартиры закончился?

Здравствуйте. 08.08.18г был заключен предварительный договор купли-продажи квартиры, (передан задаток в 50т.р.).,по нему основной договор должен быть заключен до 17.09.18г., важным условием было снятие с регистрационного учета всех четырех собственников квартиры и предоставление соответствующих документов. Один из собственников находится в тюрьме и возникла проблема с его выпиской. 14.09.18г. на встрече покупателя и продавца, продавец сказал, что не успевает выписать этого собственника к 17.09.18г. и предложил продлить предварительный договор, покупатель отказался, продавец пригрозил штрафом и приложив все усилия, все таки снял с регистрационного учета своего сына, который находится в тюрьме. Но получил выписку из домовой книги только в 17ч вечера и прислал её по ватсапу. Рабочий день закончился, сделка должна была быть нотариальная, документы покупатель так и не увидел в оригинале, и о сделке предупреждения не получал, кроме звонка риэлтора продавца в пятницу со словами " А если мы вас позовем на сделку в понедельник, вы не придете, то получите штраф." Теперь покупатель просит вернуть 50т.р., предварит. договор закончился, основной не заключен, покупать эту квартиру покупатель не хочет, продавец отказался вернуть, и грозит штрафом и принуждением к сделке, и обращением в суд. Как покупателю поступить в этом случае, как вернуть деньги и чем может закончится обращение в суд продавца?