Женатый мужчина любовник моей жены, как мне привлечь его к ответственности перед законои?

Никак его не привлечь к ответственности в случае вступления в связь по обоюдному согласию. Можно попробовать привлечь за оскорбление, как вариант, - 

КоАП РФ Статья 5.61. Оскорбление
(введена Федеральным законом от 07.12.2011 N 420-ФЗ)
 

1. Оскорбление, то есть унижение чести и достоинства другого лица, выраженное в неприличной или иной противоречащей общепринятым нормам морали и нравственности форме, -

(в ред. Федерального закона от 30.12.2020 N 513-ФЗ)
(см. текст в предыдущей редакции)
 
влечет наложение административного штрафа на граждан в размере от трех тысяч до пяти тысяч рублей; на должностных лиц — от тридцати тысяч до пятидесяти тысяч рублей; на юридических лиц — от ста тысяч до двухсот тысяч рублей.