对胡惟庸的专擅，朱元璋早有所警觉。他不仅要观察胡惟庸，还要观察他的党羽，观察满朝文武。他自认为任凭胡惟庸兴风作浪，也不会逃出他的掌握之中。洪武十年(1377)六月，他“令天下臣民凡言事者实封直达朕前”。就是说，可以绕过中书省，直接向皇帝上书。有一个儒士提出异议，认为考之历朝典故，还是由中书省上达为好，受到朱元璋斥责。洪武四年(1371),朱元璋取的明朝第一个状元吴伯宗，由于不依附于胡惟庸被贬到凤阳屯种，靠着上书直达御前之命，密奏胡惟庸专恣不法，提出他独任首相，终是国家之患。朱元璋于是把他从凤阳召回。洪武十年(1377)九月，升胡惟庸为中书左丞相，同时任命御史大夫汪广洋为右丞相，以图牵制。洪武十一年(1378)三月，他又明确告诫：“胡元之世，中书专政，凡事必先关报，然后奏闻，其君又多昏蔽，致民情不通，以至大乱，深可为戒。”因命礼部规定奏章格式，禁止天下奏呈关白(以副本通报)中书省。显然，这是在向胡惟庸等人敲起警钟。