Можна ли отказатся от согласия на пристройку?

Может ли человек давший письменное согласие( нотариально заверенное) на возведение пристройки нежилого помещения, .потом от этого отказаться или каким то образом препятствовать оформлению документов?