李善长被杀，很大的原因是他当过丞相，最主要的原因是他的能量，虽已退位，势力还是很大，而明初五个丞相只有徐达得以善终，其余的都死在朱元璋的屠刀之下。
在胡惟庸之前，李善长还是很小心谨慎的，徐达经常带兵在外，汪广洋只知饮酒作诗，这时候皇权和相权的矛盾还不突出，杨宪当丞相后，专决省事，罢去旧吏，更用亲信，刚有了实权就忘乎所以，直接把矛头对准李善长，整日与李善长、胡惟庸明争暗斗，只不过没斗赢，被李善长弹劾“放肆为奸事”。
然后在成为中书左丞的当月被朱元璋杀了，至于犯了什么事，史书却没记载。
胡惟庸当了丞相后，擅权乱政，独断专权，当了几年独相，有架空皇权的嫌疑，这使得朱元璋很是不爽，于是安了个谋逆罪给胡惟庸，彻底的端掉了胡惟庸，把中国的宰相制度也废除了，大大加强了皇帝专制集权，勤快的朱元璋干的不亦乐乎，却苦了后世的皇帝。
其实看看胡惟庸的谋反案，其中有很大的漏洞，胡惟庸说家里的水井涌出了醴泉，邀请朱元璋去观看，朱元璋欣然前往，走到西华门时，一名叫云奇的太监突然冲到朱元璋的车马前，拉着缰绳却急的说不出话，在被卫士乱棍打的半死情况下，指着胡惟庸宅第方向不肯退下。
朱元璋感觉不对劲，就返回宫中，登上宫城，开启了他的千里眼，扫描一番后，发现胡惟庸宅第墙道藏着好多士兵，心里暗吸一口冷气，然后就把胡惟庸抓了。
没多久胡惟庸就以谋逆罪被诛了九族，为了快速定胡惟庸的罪，连告发胡惟庸谋反的涂节也被杀了，因此死无对证，胡惟庸坐实了谋逆，只不过胡惟庸案却没有就此作罢。
在此后十余年，不断有人被牵连进胡惟庸谋逆案中被杀，一大批功臣被牵连进去，家族惨遭灭门，开国元勋李善长最后也被牵连，一家七十余口全成了冤死鬼，胡案前后共被诛杀了3万多人。
为什么李善长已经退休好久还是没逃过朱元璋的屠刀？
李善长和胡惟庸是同乡，两人还有一层姻亲关系，李善长的弟弟李存义的儿子李佑，是胡惟庸的侄女婿，而胡惟庸也是因为有李善长的推荐，成了右丞相，最后担任左丞相，位居百官之首。
李善长这人有个毛病，就是护短，喜欢拉帮结派，对于自己的老乡，很是维护，而对于别的地方的人，极力打压，明朝大名鼎鼎的刘伯温因为是浙江人，不是淮西派，也遭到李善长的打压。
因为李善长的缘故，朱元璋也不怎么信任刘伯温了，刘伯温只好告老还乡，而朱元璋的功臣中有很多是淮西人，这些人也都以李善长为首，对于淮西党坐大之势，是朱元璋不愿意看到的，虽然他也是淮西人。
朱元璋以微末之身得江山，实属不易，坐上皇位后对于骄兵悍将本就疑心重重，李善长身为大明王朝开国丞相，位居百官之首，门生故旧自然不少。而且李善长和朱元璋还是亲家，李善长的儿子李祺娶了朱元璋的女儿，李家受宠显赫，权势地位到达顶点的李善长也滋生了傲慢的情绪，朱元璋对其也开始有所反感。
在李祺结婚一个月后，就被汪广洋奏了一本：“李善长恃宠自纵，陛下因病几乎十日不能上朝，他不来问候，驸马李祺也六日不来朝见，这是对陛下的大不敬。”
然后心里极不爽的朱元璋将李善长的年禄削去了一千八百石。
1380年胡惟庸案发后，对于胡惟庸的推荐人李善长，朱元璋倒没有将他牵连进来，只不过随着朱元璋的年纪越来越大，想法也就会有所不同。
1385年，有人举报所李善长的弟弟李存义父子是胡惟庸的党羽，朱元璋也没将他们杀头，还下诏免死，安置到了崇明，李善长对朱元璋的开恩却一点表示都没有，既没去谢罪也没去谢恩，这让朱元璋心里又多了个疙瘩。
到了1390年，76岁的李善长想在家乡造个豪宅，找汤和借了300个卫士来用，汤和害怕惹祸，跟朱元璋说了这件事，这让朱元璋心里又咯噔一下，这要是李善长找的是别人借兵，别人会告诉他吗？
而且李善长能借到兵，就是因为他的威望和曾经的职权，说明他虽然退休在家，影响力还是很大。
同年四月，李善长的亲戚丁斌因为犯了事要被发配到边疆，李善长就找朱元璋求情，结果把朱元璋惹毛了，决定严惩丁斌，丁斌曾经在胡惟庸家做过事。
然后丁斌就牵扯出李存义和胡惟庸勾结的事，李存义父子被抓来后，招供说胡惟庸想谋反，曾经派李存义去劝说李善长，李善长没答应，胡惟庸亲自去找李善长，李善长虽然还是没答应，却说了一句：“吾老矣，吾死，汝自为之。”
朝廷里的大臣看到朱元璋在调查李善长，也开始出来爆料，说蓝玉在捕鱼儿海抓到胡惟庸派去和蒙古私通的使者，李善长却隐瞒不上报，御史们也争相弹劾李善长和胡惟庸两人走的很近，这两人肯定有问题，种种迹象表明李善长知道胡惟庸要造反，却不揭发举报，实属大逆不道。
于是朱元璋决定收网，将李善长和妻女弟侄七十余口一并处死，李祺因为娶了朱元璋的女儿得以免死。
76岁李善长没有逃过朱元璋的屠杀，明面上是涉嫌谋反所以被杀，其实背后的原因主要是朱元璋想要铲除功臣中有势力、平常又表现的心怀怨望的人，为了巩固大明江山，只要有一丝对朱元璋不满，朱元璋都会毫不犹豫的举起屠刀，更何况李善长是功臣之首，淮西党的领头人。
虽然退休在家，势力还是很大，加上和胡惟庸的姻亲故旧关系，这都是朱元璋心中的一根刺，隐忍多年后，还是动手拔掉了！