Можно ли ИП нести ответственность за продажу товара поставщика с чужой символикой?

Какие доводы мы можем использовать для своей защиты?

Если только попробовать снизить ту сумму, которую они запросили.

Но сказать насколько это перспективно, нужно изучать их требования в первую очередь, и сами товары — как и что было использовано.

данные товары снимаются с продажи и мы выключили карточки

 Вот это Вы очень правильно сделали. 

Тот факт, что Вы сразу удалили товар, как только узнали о неправомерном  использовании, поможет снизить размер компенсации.

Они, видимо, её по 1515 ГК РФ запросили, если их товарный знак использовался:

4. Правообладатель вправе требовать по своему выбору от нарушителя вместо возмещения убытков выплаты компенсации:

1) в размере от десяти тысяч до пяти миллионов рублей, определяемом по усмотрению суда исходя из характера нарушения;

2) в двукратном размере стоимости товаров, на которых незаконно размещен товарный знак, или в двукратном размере стоимости права использования товарного знака, определяемой исходя из цены, которая при сравнимых обстоятельствах обычно взимается за правомерное использование товарного знака.

Обычно по первому пункту требуют.

Но её часто снижают.

В любом случае нужно готовить отзыв на иск в суд и если не отбивать всё требования, то снижать компенсацию. Очень много зависит от иска и самого судьи тут. Практика есть разная. 

То касается товара, можно в дело и поставщика привлечь, например часто это касается вопроса на счёт количества товара и законности его ввоза. 

Истец обязан обосновать размер компенсации. 

Постановление Пленума Верховного Суда РФ от 23.04.2019 N 10
«О применении части четвертой Гражданского кодекса Российской Федерации»

61. Заявляя требование о взыскании компенсации в размере от десяти тысяч до пяти миллионов рублей, определяемом по усмотрению суда, истец должен представить обоснование размера взыскиваемой суммы (пункт 6 части 2 статьи 131, абзац восьмой статьи 132 ГПК РФ, пункт 7 части 2 статьи 125 АПК РФ), подтверждающее, по его мнению, соразмерность требуемой им суммы компенсации допущенному нарушению, за исключением требования о взыскании компенсации в минимальном размере.
62. Рассматривая дела о взыскании компенсации, суд, по общему правилу, определяет ее размер в пределах, установленных Гражданским кодексом Российской Федерации (абзац второй пункта 3 статьи 1252).
Суд определяет размер подлежащей взысканию компенсации и принимает решение (статья 196 ГПК РФ, статья 168 АПК РФ), учитывая, что истец представляет доказательства, обосновывающие размер компенсации (абзац пятый статьи 132, пункт 1 части 1 статьи 149 ГПК РФ, пункт 3 части 1 статьи 126 АПК РФ), а ответчик вправе оспорить как факт нарушения, так и размер требуемой истцом компенсации (пункты 2 и 3 части 2 статьи 149 ГПК РФ, пункт 3 части 5 статьи 131 АПК РФ).
Размер подлежащей взысканию компенсации должен быть судом обоснован. При определении размера компенсации суд учитывает, в частности, обстоятельства, связанные с объектом нарушенных прав (например, его известность публике), характер допущенного нарушения (в частности, размещен ли товарный знак на товаре самим правообладателем или третьими лицами без его согласия, осуществлено ли воспроизведение экземпляра самим правообладателем или третьими лицами и т.п.), срок незаконного использования результата интеллектуальной деятельности или средства индивидуализации, наличие и степень вины нарушителя (в том числе носило ли нарушение грубый характер, допускалось ли оно неоднократно), вероятные имущественные потери правообладателя, являлось ли использование результатов интеллектуальной деятельности или средств индивидуализации, права на которые принадлежат другим лицам, существенной частью хозяйственной деятельности нарушителя, и принимает решение исходя из принципов разумности и справедливости, а также соразмерности компенсации последствиям нарушения.