Могут ли лишить водительских прав, если участники ДТП договорились не заявлять о ДТП?

Я на своем автомобиле случайно толкнул впереди стоящий мотоцикл передним бампером (на бампере ни царапины) мотоцикл я толкнул в заднее колесо и он упал в итоге погнулась ручка на руле. Решили договориться на месте без вызова гаи он потребовал 5 тыс. руб. я согласился но на данный момент у меня их небыло и мы договорились что я отдам ему деньги через пару дней и дал в залог ему свой паспорт! Все это было на словах нет никаких расписок, он сфотографировал мою машину с номерами и мы разъехались. Могу ли я не отдавать ему деньги? Что он может сделать с моим паспортом? Может ли он поехать в гибдд и сказать что я поволил его мотоцикл и уехал с места дтп (ситуация эта произошла вчера) могут ли меня лишить прав? и вообще что мне могут за это сделать (за то что я не отдам ему деньги а у него мой паспорт и фото машины)?