Доброе утро. При таких исходных данных строить можно, но ориентироваться только на отступ 3 метра из ГПЗУ недостаточно. Дом нужно разместить внутри допустимого пятна застройки с учетом всех ограничений участка и фактического расположения соседних объектов.
ГПЗУ содержит информацию для проектирования и строительства, включая ограничения участка, но перед началом строительства ИЖС следует направить уведомление о планируемом строительстве с параметрами дома и его размещением. Орган проверит соответствие ПЗЗ, ограничениям и допустимость размещения объекта по ст. 51.1 ГрК РФ. Назначение и содержание ГПЗУ определены ст. 57.3 ГрК РФ.
Риск в том, что соблюдение трех метров от забора еще не означает соблюдение всех требований. Нужно проверить ЗОУИТ, красные линии, сети, противопожарные требования, а также предусмотреть крышу, водоотведение и размещение строений так, чтобы эксплуатация дома не затрагивала соседний участок.
Я бы до строительства сделал схему посадки дома на актуальной топосъемке и получил уведомление о соответствии планируемого строительства.
Если пришлете в личный чат сам ГПЗУ и кадастровый номер участка, можно проверить ограничения и понять, где именно безопасно размещать дом.