高市贵，善无人也。少有武用。孝昌初，恒州内部敕勒刘仑等聚众反，市贵为都督，率众讨仑，一战破之。累迁抚军将军、谏议大夫。及尔朱荣立魏庄帝，高贵预翼戴之勋，迁卫将军、光禄大夫、秀容大都督、第一领民酋长，赐爵上洛县伯。尔朱荣击葛荣于滏口，以市贵为前锋都督。荣平，除使持节、汾州刺史，寻为晋州刺史。纥豆陵步藩之侵乱并州也，高祖破之，市贵亦从行有功，除骠骑大将军、仪同三司，封常山郡公，邑一千五百户。高祖起义，市贵预其谋。及樊子鹄据州反，随大都督娄昭讨之。子鹄平，除西兖州刺史，不之州。天平初，复除晋州刺史。高祖寻以洪峒要险，遣市贵镇之。高祖沙苑失利，晋州行事封祖业弃城而还，州民柴览聚众作逆。高祖命市贵讨览，览奔柴壁，市贵破斩之。是时，东雍、南汾二州境多群贼，聚为盗，因市贵平览，皆散归复业。后秀容人五千户叛应山胡，复以市贵为行台，统诸军讨平之。元象中，从高祖破周文帝于邙山。重除晋州刺史、西道军司，率众击怀州逆贼潘集。未至，遇疾道卒。赠并汾怀建东雍五州军事、太尉公、并州刺史。子可那肱贵宠，封成皋王。敕令其第二子孔雀承袭。