Отказ в исполнении действия по доверенности

какие полномочия у вас прописаны в доверенности и в чем Вам отказали?

Добрый день! В силу ч. 2 ст. 307 ГК РФ обязательства возникают из договора, вследствие причинения вреда и из иных оснований, указанных в настоящем Кодексе.

Если между Вами и поверенным не было никакого договора, то у него не возникло обязанности совершать какие-либо действия.

Если же Вы имеете ввиду, что какое-то третье лицо отказалось выполнить действие, указанное в доверенности, то необходимо смотреть, что это за действие 

Доверенность не обязывает поверенного совершать действия, в ней указанные, а дает ему такое право, а также подтверждает соответствующие полномочия перед третьими лицами.