Обязана ли я ему вернуть эти деньги?

Здравствуйте. Если устно, то он в случае спора может сказать, что вы договорились об авансе. Тогда нужно вернуть. На свидетельские показания Вы ссылаться в этом случае по закону не сможете, так как не соблюли обязательную письменную форму договора. Скорее всего суд встанет на его сторону.