然而，朱元璋在胡惟庸的案子中，是文武有别的。在审问的胡党口供中，凡是牵涉到中书省及各部院衙门的，都被元璋一概杀戮，而凡是涉及到武将谋反的，他不管信与不信，却一概宽宥了。就像陆仲亨、费聚这样的“首犯”、“要犯”都赦免了。当朝大臣为了表示同叛逆的不共戴天、同仇敌忾，纷纷要求处死陆仲亨等人。朱元璋说：“当年陆仲亨17岁，父母兄弟都死了，怕被乱兵掠去，揣着一升麦子藏在乱草中间，我率队伍经过，喊他：跟我来吧，便跟了我。而后南征北战，拜将封侯。这些都是最早跟了我的手足心腹。我不忍治他们的罪，就不要再追究了。”很明显，这个时候，朱元璋不想牵连功臣宿将。果然，攀咬武人的口供越来越少了，武将们紧张的心绪渐渐平定下来。朱元璋此时所要解决的首要问题是中书省和中书丞相的问题。
洪武十二年九月，胡惟庸、汪广洋等人下狱，十二月杀死汪广洋。十三年正月初二，御史中丞徐节告胡惟庸谋反，正月初六处死胡惟庸等人。第二天，正月初七，他向群臣宣布：革去中书省，改大都督府为前、后、左、右、中五军都督府。从此废止了代皇帝行使权力的丞相制度，提高了吏、户、礼、兵、刑、工六部的地位，它由对中书省和丞相负责，改为直接对皇帝负责。作为最高军事机关的大都督府，一分为五，使权力分散，避免了军权在武人手中过于集中，便利了皇帝的控制。加上都察院(由御史台改)的监督就构成了中央府、部、院三个互相制衡又分别对皇帝负责的权力支柱。