Могут ли отобрать участок,если с момента приобретения пройдет более 3-х лет?

Добрый день! Такая ситуация.. мы купили участок в населённом пунктре(ИЖС).. на котором уже был построен домик 6 на 6 и сруб(под баню) в документах указана только земля.. без адреса и дома (только кадастровый номер есть) так вот мы намеренны проживать временно в этом домике, а в будущем построить другой дом побольше.. собственно сам вопрос. Не отберут ли участок если пройдёт с момента приобретения более 3-х лет, а дом не будет построен и зарегистрирован??? п.с. разрешение на строительство не брали