Здравствуйте,
Если отец ребенка обратится в органы опеки, скорее всего, у вас будут проблемы. Вы вправе передать ребенка бабушке, но если отец не против. Ребенок должен проживать с законными представителями, т.е. родителями или опекунами. В такой ситуации, как у вас правильно чтобы ребенок проживал с вами или была оформлена опека на бабушку (с точки зрения органов опеки, чаще всего их позиция такова). Спорить с органами опеки непросто. Сейчас готовятся изменения в законодательство и у бабушки появится право на воспитание, а пока этот вопрос не урегулирован.
Однако оснований лишения родительских прав в вашем случае пока нет, но если вас несколько раз привлекут к ответственности за ненадлежащее исполнение родительских обязанностей, тогда орган опеки может инициировать процесс по лишению или ограничению родительских прав. Но я не думаю, что до этого дойдет. Право подать иск о лишении родительских прав есть и у отца. Ему в этом случае нужно доказать суду наличие к ому оснований. В вашем случае может быть первое в списке ст.69 СК РФ.
С уважением, Андрей Козырев