Лишат ли меня его в случае отказа?

Здравствуйте!

Давайте представим следующую ситуацию. Я шёл пешком по улице ночью, остановились сотрудники полиции для проверки документов, им не понравилась моя манера общения, сказали, что я, вероятнее всего нахожусь под воздействием наркотических средств и меня им надо сейчас отвезти на медосвидетельствование.

Я отказываюсь, знаю, что отказ может повлечь штраф или административный арест.

Но у меня есть действующее водительское удостоверение. Лишат ли меня его в случае отказа?

По логике я ведь не управлял ТС, значит, лишать не за что.

Спасибо за ответ.