Требуют вернуть деньги, которые я не занимал

2-3 года назад снимали с коллегой по работе квартиру без оформления документов. Меня уволили с работы и платить за следующий месяц мне было нечем. Поэтому я собрал вещи и уехал домой. Спустя 2-3 года года появляется «колега» (с котоым мы снимали). И требует с меня определленую сумму денег, котрую я якобы ему должен, и которую как бы он «насчитал». Я соответсвенно денег у него не брал в долг и расписок не писал. И все бы не чего, но эту сумму мне нужно вернуть ему в течении недели. А иначе: «Будут разговаривать по-другому». С подключением «определленых людей». Все разговорю велись пока исключительно по телефону. Что в такой ситуации делать?