И могу ли я выполнять действия с его счетом?

Пробуйте через начальника СИЗО получить доверенность.

Статья 185.1. Удостоверение доверенности

1. Доверенность на совершение сделок, требующих нотариальной формы, на подачу заявлений о государственной регистрации прав или сделок, а также на распоряжение зарегистрированными в государственных реестрах правами должна быть нотариально удостоверена, за исключением случаев, предусмотренных законом.
2. К нотариально удостоверенным доверенностям приравниваются:
3) доверенности лиц, находящихся в местах лишения свободы, которые удостоверены начальником соответствующего места лишения свободы;