Нужно ли оплачивать услуги агентства недвижимости при покупке квартиры, если не заключали договор?

Произошла ситуация. Мы с мужем искали квартиру в Ипотеку, и нашли устроенный нас вариант предложенный агентом, агент сам начал предлагать помощь, о которой в принципе мы не просили. Наконец то банк одобрил квартиру, мы внесли залог в агенстве в 100000 рублей.50000 это оформление сделки. Так вот, мы в самом начале спросили менеджера, должны мы будем им что то или нет? На что услышали нет. А сегодня после внесения первоначального взноса в банк, они говорят что мы должны им 50000, так как у продавца совсем другое агенство. И вот как быть, все средства внесены в квартиру и задатки. Менеджер сначала говорит, что мы не должны были, а теперь только они говорят что должны. Не каких договоров с ними подписано не было. Посоветуйте как быть?