Имущественный налоговый вычет

После приобретения в 2011 году квартиры по договору купли-продажи с рассрочкой платежа я получал уведомление о праве на вычет в 2011, 2012, 2013 и 2014 годах и в общей сложности воспользовался вычетом на сумму 1400000 рублей. Сегодня сотрудник ФНС пояснила мне, что я имел право обратиться с заявлением на получение вычета и воспользоваться им только один раз, независимо от расходов, понесенных на покупку квартиры на момент подачи такого заявления. Означает ли это, что я должен вернуть государству сумму налогов, которые у меня не удерживали в 2012, 2013 и 2014 годах?

Благодарю заранее за ваш ответ!