Соседский разговор

Купил земельный участок с жилым домом и постройками. Огороженный забором, но не полностью. С одной стороны, забор между мной и соседом закреплен на его бане , которая стыкуется с гаражом. Живем. И тут сосед, по прошествии года, говорит, что забор надо перенести на пол-метра в мою сторону. Типа он проверил границы своего участка и геодезисты сказали, что у него есть еще полметра от моей стороны. Я ему объясняю вежливо, что никакой забор переносить не будем. Я за эту землю в фактических границах денежку заплатил. Размеры участка соответствуют кадка строгому паспорту. Менял с рулеткой. Прежний хозяин ( у кого купил) ничего не говорит. Мол первый раз слышит. А соседу сказал, что если он и дальше будет развивать эту тему, то я просто вынужден буду судиться по неправильному размещению его построек, так как стены гаража и бани находятся ближе одного метра от границы межевания. Надо будет переносить. Подскажите как быть в этой ситуации?