明朝建立初期，其官员体制的设制，基本源用元朝的制度，设置中书省，中书省的长官为左右丞相，也就是宰相。中书省下设六部，由丞相总摄，总揽国家行政大权，权力居百官之首。中书省丞相为正一品，平章政事为从一品，左右丞为正二品，参知政事为从二品，其下才是六部尚书，为正三品，侍郎为正四品。
明朝的丞相，有李善长、徐达、汪广洋和胡惟庸四人，其中徐达长期在外带兵征战，只是挂名左丞相而已，实质意义上的丞相只有三人。其中李善长在朱元璋还是吴王时就任相国，直到洪武四年正月退休；汪广洋接任右丞相，徐达虽为左丞相，是正职，但仍然统军，中书省的实际权力在汪广洋；洪武六年正月，汪广洋被贬到广东任行省参知政事，胡惟庸由左丞进右丞相，掌管中书省，行使丞相之权。
明朝丞相制度的废除，直接导火索是丞相胡惟庸的谋反事发。胡惟庸伏诛后，明太祖朱元璋废除丞相制度，撤销了中书省的机构，由皇帝亲自统领六部，同时提升六部的品秩，六部尚书升为正二品，侍郎升为正三品。废除丞相的真正原因，从朱元璋敕谕群臣的敕书中可以窥见一二。
“自古三公论道，六卿分职，不闻设立丞相。自秦始置丞相，不旋踵而亡。汉、唐、宋虽多贤相，然其中小人，专权乱政。今罢丞相，设五府、六部、都察院、通政司、大理寺等衙门，分理天下庶务，事皆朝廷总之。以后嗣君，毋得议置丞相，臣下敢以此请者，置之重典。”（出自《明太祖宝训》）
丞相的职权，西汉初年的陈平有段精彩的论述：“宰相者，上佐天子理阴阳，顺四时，下育万物之宜，外镇抚四夷诸侯，内亲附百姓使卿大夫各得任其职焉。”丞相的品阶最高，直接对皇帝负责，百官直接对丞相负责，统管人事、事军、政财和经济大权，是真正的一人之下，万万人之上。东汉末年及魏、晋时期，权臣都是自领丞相（或录尚书事）之位，总揽国政，架空皇权，成为朝廷的实际控制者。明朝的胡惟庸，玩弄权柄，官员的升迁贬斥不通过皇帝，自行决断；内外大臣给皇帝的奏章，私自取来阅看，对自己不利的奏章，私自截留不转呈给皇帝。长此以往，皇权慢慢被架空，文武百官争相投靠丞相门下，形成利益集团，威胁皇权和政权的稳定。
宏才大略的明太祖朱元璋，洞察胡惟庸的谋逆奸情，果断处置，此案连诛者达三万人之多，开国功臣封侯者就有二十多人。胡惟庸案之后，朱元璋痛定思痛，担心后代之君没有自己的胆识和魄力，决心废除丞相，以绝后患！从此，中国封建王朝中的丞相之职，彻底退出了历史舞台。
丞相居百官之首，总领朝廷大权，权力过于集中，明之前的御史台或明初的都察院，都很难对丞相行使监督之权，能监督丞相的，只有皇帝一人。但，丞相又大都是皇帝亲近和信任的人，过于信任往往又会导致疏于监督或不予监督。绝对的权力，再加上没有监督，丞相的行为完全依靠本人的人品和修养，很容易滋生腐败或违法行为的发生。明朝的丞相胡惟庸不但是谋反，也是贪腐的典型，犯了错误求情的官员，没有实职的功臣武将，寻求升迁的官员等等，都竞相投到胡的门下，争相馈送金银珠宝、名马古玩，不计其数。
由于丞相总领了朝廷的各项日常政务，在大大减轻皇帝的日常政务工作的同时，也很容易让皇帝滋生安逸的思想和情绪，不利于国家的发展和皇权的稳固。明朝的开国丞相李善长，勤勉政务，制定国家的各种法律制度、完善全国的税收政策、确定朝廷的官制礼仪，同时监修《元史》，编撰《祖训录》《大明集礼》等等，各项政务事无巨细，都亲自参与过问，被誉为当朝的萧何。
以上三个方面既是朱元璋废除丞相的原因，也是丞相制度的弊端。至于实行宰相制的优势，主要是丞相可以帮助皇帝处理日常繁琐的政务，大大减轻了皇帝的工作任务和压力，有利于皇帝集中精力谋划国家的大政方针和长远规划。
一世英名的朱元璋，千算万算没有算到自己的后世子孙，大都是慵懒无端的嗣君，无心于朝廷政务，又没有丞相可以依赖，只有将朝廷的日常政务悉数委付于内阁辅臣和内侍太监，最后终成阉祸横行。