退役后克洛普留在美因茨担任主教练，执教长达8年。首两年即带领球队冲击升级资格，惟仅差一线均以第4位未能成功，2001/02年赛季与第二及第三位的比勒费尔德及波鸿相差1分；而2002/03年赛季更仅以1个净胜球不及法兰克福而与升级擦身而过。2003/04年赛季幸运之神终于降临美因茨，球队以净胜球压倒科特布斯取得第三位，克洛普成功带领美因茨首次登陆德甲，其时他在科隆德国体育大学（Deutsche Sporthochschule Köln）完成足球教练牌照课程，但仍需继续修读德甲主教练所需的甲级教练牌照课程。
升级首季美因茨取得第11位的成绩，更透过“公平竞技榜”（UEFA Fair Play ranking）获得欧洲联盟杯的参赛资格。在资格赛的首两圈美因茨分别击败亚美尼亚的米卡（FC MIKA）及冰岛的凯夫拉维克（Keflavík），惟进入主赛圈第一轮便被西甲的塞维利亚淘汰，最终塞维利亚更赢得该届的冠军锦标。2005/06年赛季美因茨同样取得第11位，但翌季球队终于以第16位尾三的成绩降级返回德乙，克洛普随队降级继续留任。
降级后首季美因茨再次在升级竞逐中饮恨，以2分之差不及第二及第三位的霍芬海姆及科隆，未能即时重返德甲行列，克洛普亦下堂求去。 2008年5月克洛普获聘为德甲俱乐部多特蒙德的主教练，签约两年，球队上季在托马斯·多尔（Thomas Doll）带领下仅取得使人失望的第13位成绩。克洛普随即带领球队赢得个人执教生涯首个锦标，以2-1击败拜仁慕尼黑取得德国超级杯。任教首个赛季多特蒙德取得第六位，未能取得欧洲赛的参赛资格。翌季球队战绩改善取得第五位，并取得欧洲联盟杯附加赛参赛资格。
多特蒙德在欧洲联盟杯附加赛轻松淘汰阿塞拜疆的卡拉巴克（FK Qarabağ）晋级分组赛。2010/11年赛季多特蒙德在德甲表现令人眼前一亮，2010年12月6日作客2-0击败纽伦堡，取得连续8场客胜，更将榜首优势扩大至10分，提早三轮赛事锁定半程冠军。2011年尤尔根·克洛普率队第七次获得称雄德甲，时隔9年重回巅峰。
2012年克洛普率队在半程落后的情况下实现逆转最后提前两轮卫冕成功，多特蒙德历史上第八次制霸德甲，并在德国杯决赛5-2血洗拜仁慕尼黑，实现队史首次双冠王，算上前两个赛季多特蒙德实现对拜仁五连杀。
2012年克洛普的多特蒙德在欧冠小组赛被抽入死亡之组，在这个拥有西甲冠军德甲冠军荷甲冠军和英超冠军的超级死亡之组中，多特蒙德六战四胜两平以不败战绩强势夺取头名出线，并在四分之一决赛中凭借补时时刻最后两粒进球，3：2逆转马拉加；而半决赛利用莱万多夫斯基的大四喜总比分“4-3”淘汰皇家马德里队，时隔16年晋级决赛。
2013年5月26日凌晨，在欧冠决赛中，克洛普的多特蒙德在伦敦温布利大球场，在中场灵魂格策受伤缺阵的情况下，以“1-2”惜败给更具攻击力的拜仁慕尼黑队，从而屈居亚军，但是克洛普张扬的执教风格，合理的技战术运用，以及令人着迷的青春风暴让人们对该教练的球队充满期待。最终,在2012-2013赛季欧冠最佳主教练的评选中克洛普击败欧冠冠军拜仁慕尼黑主帅海因克斯加冕。
2014年多特蒙德再次深陷欧冠死亡之组，但在克洛普的带领下，多特蒙德力压阿森纳、那不勒斯连续2年取得死亡之组小组头名，在全队深陷伤病困扰的大半替补阵容下，1/4决赛首回合客场0：3，次回合主场2：0，总比分2：3惜败皇马，止步欧冠8强。
2015年4月15日，多特蒙德俱乐部召开新闻发布会，官方宣布主教练克洛普在2014-2015赛季末离任。
克洛普在任7年，带领多特夺得两次德甲冠军，一次德国杯冠军，在2011-12赛季夺得德甲德国杯双冠王，这在多特105年历史上还是第一次，并且在2012-13赛季带队杀进欧冠决赛。对多特来说，这也是一个时代的结束。
克洛普在新闻发布会上表示：“我说过，当我认为自己不再是这个伟大的俱乐部的完美的主教练时，我会说出来。我选择这个时候就宣布，是因为过去几年，有些球员做出决定很晚，而我们来不及反应。我真的认为这是一个正确的决定，多特教练的位置上应该有一名100%正确的人选。我并不是累了，我也没有和任何其他俱乐部有接触，不过我也并不计划休息一年。和多特蒙德我有一个最后的梦想：在积分榜上取得一个好的位置，然后最后一次坐着大巴去Borsigplatz（多特蒙德庆祝夺冠的地方）。” 2015年10月9日凌晨，英超豪门利物浦官方宣布，任命克洛普为球队新一任主教练。根据英国媒体披露，克洛普与利物浦签订一份为期三年的合同，年薪在400万英镑上下。与此同时，利物浦官方还宣布，解雇奥德里斯科尔、德里斯科尔、克里斯·戴维斯和麦克利斯特等四名助理教练，其中麦克利斯特留队，俱乐部将给他安排其他职位；这条官方消息意味着，克洛普将带领自己的执教团队入驻安菲尔德，德国媒体《图片报》披露，克洛普整个教练团队的年薪大约在730万英镑上下。
