Как отказаться от покупки квартиры, если продавец не выполняет согласованные условия?

Здравствуйте! Мы собрались купить квартиру по ипотеке, банк одобрил квартиру и назначил дату сделки. Но мы хотим отказаться от покупки. Дело в том, что продает квартиру доверенное лицо владельца ( по сути риэлтор). Владелец при встрече говорил, что подписывать договор будет он, и получать деньги тоже. Доверенное лицо говорит, что все это будет делать он (доверенность дает ему такое право). Т.е. есть разногласия. С момента одобрения квартиры не могу дозвониться владельцу квартиры, чтобы обсудить эти моменты, он не выходит на связь. Мы хотели, чтобы он либо сам подписывал договор, либо написал нотариально заверенное заявление, что претензий не имеет. Потому что имеется большой риск, что он может оспорить сделку в дальнейшем. Плюс к этому существовало устное соглашение, что до покупки будут выселены квартиранты, которые там живут и оплачены долги по ком.услугам. Ни то, ни другое не было выполнено. Обещает риэлтор сделать это после продажи, мы ему не верим. Вот такая ситуация. Был подписан предварительный договор, но без задатка. Боимся, что нас обяжут по нему купить эту квартиру. Может такое быть? И что нам делать сейчас (через день сделка)?