Как мне действовать в данной ситуации

Добрый день.

Лишить права собственности вас он не может и от времени это не зависит.

Право собственности зарегистрировано в Росреестре?

Тот факт, что вы отказались от денег ( если речь о покупке его доли) говорит о его праве продать долю иным лицам.

Важное условие  — предложение должно было быть сделано письменно.

Срок у вас на приобретения — 1 месяц.

ГК РФ Статья 250. Преимущественное право покупки
2. Продавец доли обязан известить в письменной форме остальных участников долевой собственности о намерении продать свою долю постороннему лицу с указанием цены и других условий, на которых продает ее.  Если остальные участники долевой собственности не приобретут продаваемую долю в праве собственности на недвижимое имущество в течение месяца, а в праве собственности на движимое имущество в течение десяти дней со дня извещения, продавец вправе продать свою долю любому лицу

Устные разговоры ничего не значат.

Один из вас может купить  / подарить долю

Также можно заключить соглашение о пользовании имуществом.

Либо суд может разрешить этот вопрос.

Здравствуйте Игорь.

Может ли он меня лишить доли по прошествии времени т.к. квартира находится в г.Одинцово а я проживаю в Санкт Петербурге

 Такое законодательством не предусмотрено если у вас официально зарегистрировано право собственности на долю в этом объекте.

В соответствии с  ст. 35 Конституции РФ никто не может быть лишен своего имущества иначе как по решению суда.

Норма ст.  209 ГК РФ определяет, что собственник вправе по своему усмотрению совершать в отношении принадлежащего ему имущества любые действия, не противоречащие закону.

Проживание в другом городе, непользование имуществом или отказ от продажи доли по заниженной цене не являются законными основаниями для лишения вас права собственности или принудительного выкупа вашей доли основным дольщиком.

как мне действовать в данной ситуации .

Тут зависит от того какова ваша цель по итогу. Чего вы хотите добиться? 

Здравствуйте, Игорь.

У сособственника имеется право заявить к Вам требования о признании принадлежащей Вам доли незначительной и ее принудительном выкупе на основании п.4 ст.252 ГК РФ. Разъяснения о том, что должен установить суд для вынесения такого решения даны в п.36 Постановления Пленума Верховного Суда РФ N 6, Пленума ВАС РФ N 8 от 01.07.1996 «О некоторых вопросах, связанных с применением части первой Гражданского кодекса Российской Федерации». При наличии спора о цене возможно проведение судебной экспертизы об определении ее стоимости.

Вы указываете

квартира находится в г.Одинцово а я проживаю в Санкт Петербурге.

 значит, у вас имеется какое-либо другое жилое помещение. 

Значение будет иметь также и то, участвуете ли Вы в содержании общей квартиры. Такие обязанности у Вас есть, и они не зависят от того, проживаете ли Вы в квартире, поскольку собсвтенники несут бремя содержания пропорционально своей доле в общем имуществе (см. ст.249 ГК РФ, п.5 ст.153 ЖК РФ). Непроживание в квартире, невнесение платы (если это так), наличие другого жилья в совокупности могут быть достаточными доказательствами существенного интереса. Важна также и и площадь квартиры (жилой, общей), кол-во комнат и т.д.

На данный момент, пока Вы не получали никаких официальных документов (претензий, извещений, копий исковых заявлений) спор только на уровне разговоров и сам по себе последствий никаких не влечет. Если ведется переписка в мессенджерах, разговоры по телефону, то переписка и записи разговоров могут быть также использованы в качестве доказательств. Их оценку будет производить суд.

Все остальные моменты могут быть рассмотрены индивидуально вчате.

С уважением