不久，黄巢起义在唐朝军队和唐朝借助的外族军队的联合镇压下失败，张全义也像许多农民起义军的将领一样，投降了唐朝。当时，张全义见河阳节度使诸葛爽较有势力，就投靠了他。诸葛爽屡次派他剿杀起义军残部和袭击其他军阀，张全义都很卖力，立了许多战功。在诸葛爽的推荐保举下，张全义被任命为唐朝的泽州（今山西高平县）刺史。不久，诸葛爽病死，其部下李罕之与刘经相互仇杀，都希望能占领洛阳。当时，张全义是刘经的部下，刘经认为张全义既可靠，又富有作战经验，就派他去抵抗凶悍的李罕之。张全义带着刘经给他的兵马来到前线，发现李罕之的势力很大，而且战斗力很强，不仅自己，就是刘经亲来也无法抵敌。在分析的当时的具体情况后，张全义就投靠了李罕之，反过来与刘经为敌。刘经见张全义背叛了自己，只得向诸葛爽的儿子诸葛仲方求援。在诸葛仲方的支持下，刘经打败了李罕之。李罕之见刘经求救于人，也不甘示弱，就向靠镇压农民起义军起家的大军阀李克用求救，在得到了李克用的帮助后，他又反败为胜，占领了许多地方。这样，张全义又被李罕之保荐为河南尹。