在刘裕崛起的过程中，谢氏家族部分成员则错误站队，在刘裕与另一位将领刘毅的争斗中投靠刘毅，以致最终当到尚书左仆射的谢混等陈郡谢氏族人，纷纷被刘裕以“党同刘毅”的罪名处死。
当时，以砍柴、种地、打鱼和卖草鞋出身的刘裕，象征着南北朝时期庶族的崛起，但部分世家大族却没有认清形势，例如太原王氏就因为自恃门第被刘裕诛杀，反抗北府兵集团的渤海刁氏除刁雍一人北逃外，也全部被杀，在经历错误站队和终于看清形势后，最终陈郡谢氏与琅琊王氏一起，在改朝换代中，选择了投靠新崛起的寒门皇帝、建立刘宋政权的刘裕。
但从东晋孝武帝时期开始，一度薄弱的皇权此时已不断发展，刘裕在公元402年代晋自立、建立刘宋后，为了拉拢北府兵的创建者陈郡谢氏家族，一度重用谢氏家族的谢晦等人，刘裕临死时，谢晦还与徐羡之、傅亮等人一起成为受命托孤的顾命大臣。
对于自己家族在与皇权斗争中的惨痛经历，谢晦的哥哥谢瞻一直明哲保身，他一再规劝自己的弟弟谢晦说：“吾家以素退为业，汝遂势倾朝野，此岂门户福邪？”“若处贵而能遗权，斯则是非不得而生，倾危无因而至。君子以明哲保身，其在此乎！”