Нужно ли брать разрешение соседей, чтобы узаконить дом?

Здравствуйте! Домовладение( хоз постройки и саманный дом постройки конца 50 годов) из за ветхости я его снес и на этом фундаменте чётко по размерам старого дома поставил добротный кирпичный, но чердак сделал жилым(мансарду). Соседи нажаловались,потому ,что им не нравиться окно на мансарде, а там подругому просто никак,и теперь в архитектуре чтобы узаконить требуют разрешение от них,мотивируя тем растояние от межи не3 а 1 метр (у нас участки маленькие и у всех растояние 1 метр, Почему я должен унижаться и выпрашивать разрешение у соседей, чтобы за свои деньги у себя на учатке построить дом( или вернее провести реконструкцию) из за конфликта они его давать не собираются. Вообще законно ли это? И если да то как выйти из этого положения? Спасибо!