Нужно ли платить НДС самостоятельно, если администрация после сделки заявила, что не является плательщиком НДС?

Здравствуйте! ООО на ОСНО приобрело на аукционе муниципальное имущество (нежилое помещение). На электронной площадке был выложен проект договора купли-продажи (там было прописана начальная сумма и в т.ч. НДС-20%). Договор купли продажи был заключен на сумму с учетом НДС-20%. Оплачена была сумма также согласно договора сумма в т.ч.НДС-20%. Продавец (Администрация) выставили счет-фактуру (на сумму по договору в т.ч. НДС-20%). А потом Администрация заявила что они не являются плательщиками НДС и отчитываться по НДС и оплачивать его они не будут. Предлагают откорректировать все документы и написать что оплаченная сумма без НДС. И теперь получается что сумму НДС мы дополнительно должны будем сами платить? Это вообще правильно? Предложили Администрации вернуть нам сумму НДС, чтобы мы ее сами оплатил в бюджет, они отказываются. Сумма НДС миллионная, почему мы дополнительно должны её оплачивать, если на руках у нас все документы с НДС.