当然，以李林甫为代表的吏士派势力并不弱，他们虽然舞文弄墨不及文学之士，但处理朝政的实际才能一般要比他们强。更何况，李林甫得着唐玄宗的眷遇，在宰臣三巨头中，并不是无足轻重的地位。
张九龄与严挺之友善，欲引以为相，对严挺之说：“李尚书(李林甫，时任礼部尚书相)方承恩，足下宜一造门，与之款曜。”严挺之一向负气清高，薄李林甫的为人，说什么也不愿去拜访这个宰相，因而李林甫恨之入骨。
张九龄与李林甫的矛盾冲突，是大官僚集团中两大势力争夺最高权力的斗争；另一方面，又是唐玄宗与张九龄在一系列重大问题上(诸如赏张守珪边功、赦免安禄山及边将牛仙客入相、废立太子，等等),产生分歧的折射结果。
李林甫利用一切机会削弱张九龄的势力，而唐玄宗则怂恿李林甫攻击张九龄，终于，使李林甫抓到了绊倒张九龄等人的筹码。
事情是由严挺之引起的。严挺之的前妻，因故离异，重嫁蔚州刺史王元琰。元琰坐赃罪下三司(刑部、大理寺、御史台)审理，严挺之极力设法为之营解。李林甫趁机将此事派人密奏玄宗，玄宗不加查核分辨，即把三位宰相召来，说：“挺之为罪人请属所由。”表示要惩办严挺之包庇亲属之罪。
张九龄辩解说：“此乃挺之出妻(离婚之妻),不宜有情。”玄宗竟不耐烦地说，虽离婚仍有私情，张九龄无法为严挺之辩白。