Возможно ли вернуть первоначальный капитал?

Хотели приобрести квартиру в ипотеку. Кредит нам одобрили и начали оформление квартиры и внесли первоначальный взнос. Проходит время, все документы собраны, отнесены в банк и на следующий день приходит отказ по ипотеке. Мы подаем отправляем заявку в другой банк и ожидали почти 2 недели ответа и решили отказаться и забрать первоначальный взнос. Придя к застройщику, нас уведомили, что мы просрочили выплату остатка стоимости квартиры по договору, который был заключен при внесении первоначального взноса на 2 недели ( по договору на это дают 21 рабочий день) И насчитали пени 5000 рублей. Законно ли это? Возможно ли вернуть все деньги без каких либо потерь?