След пенсионирането му, Клоп е назначен за старши- треньор на отбора. Остава на поста в продължение на седем години, през което време Майнц 05 се изкачва за първи път в историята си в [[Първа Бундеслига]] и се класира за [[Купа на УЕФА 2005/06|купатаКупата на УЕФА през сезон 2005 – /06]]. В края на сезон 2006 – /07, Майнц 05 изпада в долна дивизия, но Клоп избира да остане начело на тима. Въпреки това, заради факта, че отборът не успява да се изкачи в [[Първа Бундеслига]], той си подава оставката в края на сезон 2007 – /08. Активът му начело на тима е: 109 победи, 78 равенства и 83 загуби.<ref name="1. FSV Mainz 05 – Trainerhistorie">{{Цитат уеб|title = 1. FSV Mainz 05|url = http://www.kicker.de/news/fussball/bundesliga/vereine/1-bundesliga/2013-14/1-fsv-mainz-05-30/trainer.html|publisher = kicker|accessdate =17 януари 2014|език = de}}</ref>
