Могу ли я не платить кредит, так как нет моей подписи?

Здравствуйте Иван. Не совсем понятен способ получения Вами кредита по телефону. 

Для того, что бы любая сделка была признана заключенной нужно подтвержденное с Вашей стороны ее одобрение. Гражданский кодекс РФ статьей 161 предусматривает, что сделки (договора) должны совершаться в простой письменной форме, за исключением сделок, требующих нотариального удостоверения, а именно:

1) сделки юридических лиц между собой и с гражданами;
2) сделки граждан между собой на сумму, превышающую десять тысяч рублей, а в случаях, предусмотренных законом, — независимо от суммы сделки.

Таким образом из текста Вашего вопроса можно понять, что кредитором является юридическое лицо, следовательно договор должен быть письменный, а не устный по телефону.  Если бы Вы получили по почте кредитную карту и активировали бы ее, то у Вас бы возникли обязательства по уплате кредита и процентов. Но Вашем случае, а полагаю, что обязательств по «телефонному кредиту» не наступило.