1948年9月25日，毛泽东和中央军委决定进行淮海战役。淮海战役从1948年11月6日开始到1949年1月10日胜利结束。淮海战役分为三个阶段：第一步集中兵力，歼灭敌人第七兵团，完成中间突破；第二步歼灭徐州、连云港地区之敌；第三步在两淮地区作战。
徐州是华北、华中的交通要道，兵家的必争之地。蒋介石把兵力调到徐州地区，准备与津浦、陇海、平汉线之间的解放军决战。
中原野战军和华北野战军的主力奉命动作，神出鬼没，从徐州东、南、西、北几个方向同时发起攻击。华东野战军13个纵队从山东境内向南推进，横扫陇海铁路北侧300里宽广大地区的敌军基地，而另三个纵队则由徐州东南向西北攻击。敌军被分割成互不联系的好几块，黄伯韬部在东碾庄地区被包围。解放军采取“先打弱敌，后打强敌，攻其首脑，乱其部署”的战法，夜间挖壕作业，充分准备，逐个歼灭敌人。敌人战斗力薄弱的100军和44军，在经过4天战斗后，即被全部歼灭。
19日晚，在敌人的弱部被逐个击破后，解放军向敌方司令部发动总攻，经过半个月左右的激战，黄伯韬部下的10个师全军覆灭。蒋介石派重兵救黄伯韬出水火，但仍被解放军切断在碾庄之外，黄伯韬被我军击毙。