Как поступить в такой ситуации?

Добрый день! Вы не могли бы подсказать, какие именно документы вы не доделаны, и стоит ли ваша подпись на инвентаризационной описи? 
У вас происходит конфликт норм трудового права, и на ваш вопрос ответа однозначного мне не видится. 
С одной стороны, вы обязаны присутствовать на инвентаризации, и это положение должно быть указано у вас в договоре (Приложение № 2 к Постановлению Минтруда от 31.12.2002 № 85). 
С другой стороны, вас не имеют права привлекать к работе вне отпуска без вашего согласия, кроме определенных ТК РФ случаев, к которым ваш не относится (Случаи описаны в части 3 ст. 99 ТК РФ). 
Если вы не подписали инвентаризационную опись среди всех документов, то скорее всего результаты инвентаризации будут признаны недействительными. В принципе любое нарушение Приказа Минфина РФ от 13.06.1995 N 49 «Об утверждении Методических указаний по инвентаризации имущества и финансовых обязательств» может повлечь к недействительности инвентаризации. Советую прочитать методические рекомендации (документ небольшой) и выделить все нарушения, о которых вам известно. 
Я советую вам написать в трудовую инспекцию на сайте. 

Опишите обстоятельсвта инвентаризации и в проблеме укажите, что вам не дают ознакамливаться с результатами инвентаризации, а также иные нарушения методического указания по инвентаризации.  В окошке «персональные данные работников» приведите номера телефона и ФИО директоров и работников, ответственных за инвентаризации, если известно. 
Если размер вашей материальной ответственности (104 тысячи р.) превышает размер среднемесячного заработка, то взыскать могут только через суд.