Лишение родительских прав производится только в судебно порядке. В судебном процессе должны быть доказаны обстоятельства бесспорно подтверждающие наличие вины родителя и факт того, что изменение поведения родителя в лучшую сторону невозможно. Вина может выражаться в злоупотреблении родительскими правами, жестоком обращении с детьми, наличии у родителя хронического алкоголизма или наркомании, совершение умышленного преступления против жизни или здоровья ребенка либо против жизни и здоровья супруга (ст. 69 СК РФ). Если вы не подпадаете ни под один их вышеперечисленных пунктов, вам волноваться не о чем.
Но в связи с этой жалобой за вами могут более пристально следить органы опеки и попечительства, поэтому не давайте поводов соседям опять написать жалобу.