Ни отказа, ни разрешения, что делать?

определяющим значением имеет факт направления и получения ведомством сведений о планируемом строительстве.

Согласно статье 51 ГрК РФ

17. Выдача разрешения на строительство не требуется в случае:

 
1) строительства, реконструкции гаража на земельном участке, предоставленном физическому лицу для целей, не связанных с осуществлением предпринимательской деятельности, или строительства, реконструкции на садовом земельном участке жилого дома, садового дома, хозяйственных построек, определенных в соответствии с законодательством в сфере садоводства и огородничества;
 
1.1) строительства, реконструкции объектов индивидуального жилищного строительства;

(п. 1.1 введен Федеральным законом от 03.08.2018 N 340-ФЗ)
 
2) строительства, реконструкции объектов, не являющихся объектами капитального строительства;

(в ред. Федерального закона от 03.08.2018 N 342-ФЗ)
(см. текст в предыдущей редакции)
 
3) строительства на земельном участке строений и сооружений вспомогательного использования;

 
4) изменения объектов капитального строительства и (или) их частей, если такие изменения не затрагивают конструктивные и другие характеристики их надежности и безопасности и не превышают предельные параметры разрешенного строительства, реконструкции, установленные градостроительным регламентом;

(в ред. Федерального закона от 31.12.2005 N 210-ФЗ)
(см. текст в предыдущей редакции)
 
4.1) капитального ремонта объектов капитального строительства, в том числе в случае, указанном в части 11 статьи 52 настоящего Кодекса;

(п. 4.1 введен Федеральным законом от 18.07.2011 N 243-ФЗ; в ред. Федерального закона от 06.12.2021 N 408-ФЗ)
(см. текст в предыдущей редакции)
 
4.2) строительства, реконструкции буровых скважин, предусмотренных подготовленными, согласованными и утвержденными в соответствии с законодательством Российской Федерации о недрах техническим проектом разработки месторождений полезных ископаемых или иной проектной документацией на выполнение работ, связанных с пользованием участками недр;

(п. 4.2 введен Федеральным законом от 31.12.2014 N 533-ФЗ)
 
4.3) строительства, реконструкции посольств, консульств и представительств Российской Федерации за рубежом;

(п. 4.3 введен Федеральным законом от 03.08.2018 N 342-ФЗ)
 
4.4) строительства, реконструкции объектов, предназначенных для транспортировки природного газа под давлением до 1,2 мегапаскаля включительно;

(п. 4.4 введен Федеральным законом от 03.08.2018 N 330-ФЗ; в ред. Федерального закона от 02.07.2021 N 298-ФЗ)
(см. текст в предыдущей редакции)
 
4.5) размещения антенных опор (мачт и башен) высотой до 50 метров, предназначенных для размещения средств связи;

(п. 4.5 введен Федеральным законом от 02.08.2019 N 283-ФЗ)
 
5) иных случаях, если в соответствии с настоящим Кодексом, нормативными правовыми актами Правительства Российской Федерации, законодательством субъектов Российской Федерации о градостроительной деятельности получение разрешения на строительство не требуется.