Здравствуйте. Если он вернулся на место и затем вызвал сотрудников ГИБДД проблемы могут возникнуть. Целесообразно было остановиться и подождать какое-то время. Если Вы уверены, что он уехал — можете говорить что Вы остановились, подождали и, исходя из того, что второй водитель покинул место ДТП, то есть у него не было необходимости его оформлять — уехали тоже.
п. 2.6.1 ПДД Если обстоятельства причинения вреда в связи с повреждением имущества в результате дорожно-транспортного происшествия, характер и перечень видимых повреждений транспортных средств не вызывают разногласий участников дорожно-транспортного происшествия, водители, причастные к нему, не обязаны сообщать о случившемся в полицию. В этом случае они могут оставить место дорожно-транспортного происшествия и: не оформлять документы о дорожно-транспортном происшествии — если в дорожно-транспортном происшествии повреждены транспортные средства или иное имущество только участников дорожно-транспортного происшествия и у каждого из этих участников отсутствует необходимость в оформлении указанных документов.