Что я могу сделать, чтобы больше не заниматься делами прошлого отдела?

Ольга, ваш бывший начальник потому и бесится, что не может вас заставить и приказать вам выполнить работу, ту которая к вам уже не относится. Каждое поручение сотруднику, работодатель должен вынести приказ по основной деятельности организации. Но так, как вы не являетесь официального его подчиненной, он ничего не может сделать, кроме, как кричать, но вы сделайте ему замечание о том, чтобы он вел себя корректно и этично на рабочем месте, пригрозите ему полицией, трудовой инспекцией,  обязательно фиксируйте его «выпадки».

ТК РФ Статья 237. Возмещение морального вреда, причиненного работнику

Путеводитель по кадровым вопросам. Вопросы применения ст. 237 ТК РФ

 
Моральный вред, причиненный работнику неправомерными действиями или бездействием работодателя, возмещается работнику в денежной форме в размерах, определяемых соглашением сторон трудового договора.
В случае возникновения спора факт причинения работнику морального вреда и размеры его возмещения определяются судом независимо от подлежащего возмещению имущественного ущерба.

Также вы можете пригрозить ему иском в суд за защиту своей чести и достоинства:

Глава 8. НЕМАТЕРИАЛЬНЫЕ БЛАГА И ИХ ЗАЩИТА
 
Статья 150. Нематериальные блага
(в ред. Федерального закона от 02.07.2013 N 142-ФЗ)

 
1. Жизнь и здоровье, достоинство личности, личная неприкосновенность, честь и доброе имя, деловая репутация, неприкосновенность частной жизни, неприкосновенность жилища, личная и семейная тайна, свобода передвижения, свобода выбора места пребывания и жительства, имя гражданина, авторство, иные нематериальные блага, принадлежащие гражданину от рождения или в силу закона, неотчуждаемы и непередаваемы иным способом.
2. Нематериальные блага защищаются в соответствии с настоящим Кодексом и другими законами в случаях и в порядке, ими предусмотренных, а также в тех случаях и пределах, в каких использование способов защиты гражданских прав (статья 12) вытекает из существа нарушенного нематериального блага или личного неимущественного права и характера последствий этого нарушения.
В случаях, если того требуют интересы гражданина, принадлежащие ему нематериальные блага могут быть защищены, в частности, путем признания судом факта нарушения его личного неимущественного права, опубликования решения суда о допущенном нарушении, а также путем пресечения или запрещения действий, нарушающих или создающих угрозу нарушения личного неимущественного права либо посягающих или создающих угрозу посягательства на нематериальное благо.
В случаях и в порядке, которые предусмотрены законом, нематериальные блага, принадлежавшие умершему, могут защищаться другими лицами.
 
Статья 151. Компенсация морального вреда
 
Если гражданину причинен моральный вред (физические или нравственные страдания) действиями, нарушающими его личные неимущественные права либо посягающими на принадлежащие гражданину нематериальные блага, а также в других случаях, предусмотренных законом, суд может возложить на нарушителя обязанность денежной компенсации указанного вреда.
(в ред. Федерального закона от 02.07.2013 N 142-ФЗ)

При определении размеров компенсации морального вреда суд принимает во внимание степень вины нарушителя и иные заслуживающие внимания обстоятельства. Суд должен также учитывать степень физических и нравственных страданий, связанных с индивидуальными особенностями гражданина, которому причинен вред.
(в ред. Федерального закона от 02.07.2013 N 142-ФЗ)

 
Статья 152. Защита чести, достоинства и деловой репутации
(в ред. Федерального закона от 02.07.2013 N 142-ФЗ)

 
1. Гражданин вправе требовать по суду опровержения порочащих его честь, достоинство или деловую репутацию сведений, если распространивший такие сведения не докажет, что они соответствуют действительности. Опровержение должно быть сделано тем же способом, которым были распространены сведения о гражданине, или другим аналогичным способом.
По требованию заинтересованных лиц допускается защита чести, достоинства и деловой репутации гражданина и после его смерти.
2. Сведения, порочащие честь, достоинство или деловую репутацию гражданина и распространенные в средствах массовой информации, должны быть опровергнуты в тех же средствах массовой информации. Гражданин, в отношении которого в средствах массовой информации распространены указанные сведения, имеет право потребовать наряду с опровержением также опубликования своего ответа в тех же средствах массовой информации.
3. Если сведения, порочащие честь, достоинство или деловую репутацию гражданина, содержатся в документе, исходящем от организации, такой документ подлежит замене или отзыву.
4. В случаях, когда сведения, порочащие честь, достоинство или деловую репутацию гражданина, стали широко известны и в связи с этим опровержение невозможно довести до всеобщего сведения, гражданин вправе требовать удаления соответствующей информации, а также пресечения или запрещения дальнейшего распространения указанных сведений путем изъятия и уничтожения без какой бы то ни было компенсации изготовленных в целях введения в гражданский оборот экземпляров материальных носителей, содержащих указанные сведения, если без уничтожения таких экземпляров материальных носителей удаление соответствующей информации невозможно.
5. Если сведения, порочащие честь, достоинство или деловую репутацию гражданина, оказались после их распространения доступными в сети «Интернет», гражданин вправе требовать удаления соответствующей информации, а также опровержения указанных сведений способом, обеспечивающим доведение опровержения до пользователей сети «Интернет».
6. Порядок опровержения сведений, порочащих честь, достоинство или деловую репутацию гражданина, в иных случаях, кроме указанных в пунктах 2 — 5 настоящей статьи, устанавливается судом.
7. Применение к нарушителю мер ответственности за неисполнение судебного решения не освобождает его от обязанности совершить предусмотренное решением суда действие.
8. Если установить лицо, распространившее сведения, порочащие честь, достоинство или деловую репутацию гражданина, невозможно, гражданин, в отношении которого такие сведения распространены, вправе обратиться в суд с заявлением о признании распространенных сведений не соответствующими действительности.
9. Гражданин, в отношении которого распространены сведения, порочащие его честь, достоинство или деловую репутацию, наряду с опровержением таких сведений или опубликованием своего ответа вправе требовать возмещения убытков и компенсации морального вреда, причиненных распространением таких сведений.
10. Правила пунктов 1 — 9 настоящей статьи, за исключением положений о компенсации морального вреда, могут быть применены судом также к случаям распространения любых не соответствующих действительности сведений о гражданине, если такой гражданин докажет несоответствие указанных сведений действительности. Срок исковой давности по требованиям, предъявляемым в связи с распространением указанных сведений в средствах массовой информации, составляет один год со дня опубликования таких сведений в соответствующих средствах массовой информации.
11. Правила настоящей статьи о защите деловой репутации гражданина, за исключением положений о компенсации морального вреда, соответственно применяются к защите деловой репутации юридического лица.

Не обращайте внимание  на дураков.  И если ваш новый начальник нормальный, то попросите его поговорить с предыдущим начальником, потому что он отвлекает вас от работы в новом отделе.  Главное не нервничайте.