黄百韬兵团被全歼，黄百韬在兵败无救之时自杀。这一消息使南京当局大为震动。不过，对于徐州战场上的两个总司令，却不怎么意外，因为早在几天之前，他们就已经预料到了这一必然的结果。
刘峙本来对这一盘难下的棋就心中无数，到了这时就更加没有主张，总觉得黄百韬的今天就是自己的明天，所以打算干脆撤离徐州这个凶多吉少之地算了。
杜聿明毕竟气盛一些，他认为刘峙未免过于悲观。
就给刘峙打气，认为目前还未到放弃徐州的时候。何况在撤退中如果处置不当，反而会在运动中被解放军所消灭。今后怎么着，只得听蒋介石来安排。
蒋介石在南京听到这一噩耗，所作出的反应是命令刘峙和杜聿明立即到南京见他。
就在黄百韬自杀之后的第二天，即11月23日，刘峙和杜聿明到了南京。蒋介石这时所考虑的是如何把徐州地区的剩余部队保存下来，所以他未再提黄百韬兵团覆灭的责任，而是要杜聿明立即采取措施，打通徐州和蚌埠之间的交通线。蒋介石指挥作战多年，他很清楚，我中原野战军夺取宿县，切断徐、蚌之间的交通线这一招太厉害了。如果不能马上打通徐州和蚌埠之间的交通线，无论是增援徐州还是撤出徐州都无从谈起。只要能打通徐州和蚌埠之间的交通线，哪怕难以增援徐州，但也可以把徐州地区的大量军队南撤到蚌埠，用来拱卫南京，保住蒋家王朝的中央政府。具体方案是由郭汝瑰提出来的，就是要用南北夹击的办法将宿县夺回来。北边的部队就是目前在徐州周围已打残了的部队，南边的部队则指望正从西边向东开进的黄维十二兵团，和新组建的第六兵团。
在蒋介石面前讨论作战方案时，杜聿明认为这个方案本身没有什么问题，关键是兵力。他在过去十来天中已经充分领教了华东野战军的厉害，他明白陈毅和邓小平既然敢于中间开花，攻下宿县，就肯定对在攻下之后如何守住这处于中心位置的宿县有所部署，有所准备。现在徐州地区的军队只有孙元良十六兵团基本完整，邱清泉兵团和李弥兵团都已打残，而且又是恶战刚停，未得休整。南边的第六兵团是刚刚组建的，原来连一点基础都没有。兵团司令官是淮海战役打响之前的第九绥靖区司令官李延年，原来其下只有一个四十四军。四十四军当时拨给了黄百韬指挥，第九绥靖区就宣布撤销。李延年撤到蚌埠之后，蒋介石决定由他组建第六兵团，其下的部队是从河北昌黎南撤的三十九军、由徐州“剿总”直辖的在蚌埠地区的九十六军、九十九军，还有就是在辽沈决战塔山阻击战中被东北野战军打得一败涂地的五十四军。五十四军军长阙汉骞当时差点被蒋介石枪毙，逃回南京后又重新组织起五十四军。这几个军战斗力都不强，又是刚凑到一起的新兵团，在配合协作上肯定不行。至于黄维兵团，正在向徐州开进途中，假若配合不好，非但打不通徐、蚌交通线，反而有把黄维兵团陷进去被包围的可能。所以杜聿明要求增加5个军兵力，而且指明了要现驻清江浦附近的第四军、现驻南京附近的八十八军和五十二军。蒋介石说要5个军不行，但可以想法抽出两三个军。他要杜聿明先回徐州部署，增加兵力的事以后再解决。
杜聿明和刘峙带着蒋介石的旨意回到徐州之后，立即着手部署从北线进攻宿县的安排。杜聿明决定由兵力较弱的李弥兵团留守徐州，由还没有打过硬仗的孙元良兵团（即十六兵团），和虽然已被打烂但相比之下战斗力还算是较强的邱清泉兵团向南出动，进攻宿县。
11月25日，从徐州地区出发的北路国民党军队开始向宿县方向攻击前进，邱清泉兵团沿津浦路东侧，孙元良兵团沿津浦路西侧，第一步目标是符离集。尽管这时国民党军队大多数官兵认为这是突出包围、避免黄百韬兵团被围歼的下场的最后的一次机会，打起来还是相当卖命的。
可是打了三天，别说到不了宿县，连符离集也到不了。在我解放军的坚决阻击下，孙元良兵团只到了灵寨村、后官桥、潘家庄一线，邱清泉兵团也只到了牌坊、平楼、韩大庄、褚兰一线。在南线，李延年指挥六兵团也出动了，也是落得与北线一样的下场，根本无法接近宿县，更不说要想攻克了。至于这时兵力最强的黄维兵团，则已被我中原野战军团团围住了。
在孙元良兵团向南进攻的激战中，曾经出现过一次在当时国民党报纸上被称为“打了一次大胜仗”的战斗，发生在纱帽山。这场“大胜仗”的来历是这样的：由于刘峙向南京谎报了所谓“徐东大捷”，不仅蒋介石派来了以国民党中央宣传部部长张道藩为团长的慰问团，还来了一些新闻记者，甚至还来了由国防部新闻局陪同的美国记者。杜聿明已经从朋友处知道，这几个美国记者中，有一个是美国当时驻日本的盟军最高司令官麦克阿瑟派来实地考察战况的。这些美国佬的观感很可能影响美国今后的对华援助，是得罪不起的，得罪了就无法向蒋介石交差。
由于这些人来到徐州时，正好就是黄百韬兵团覆灭之时，这使刘峙和杜聿明无法下台。虽然在一些政工人员的连夜努力下，徐州“剿总”仅凭在战场上捡来的解放军的两百多条枪，被俘的20多个解放军战士，炮制了一个“展览”，糊弄了慰问团中那些穿西服、旗袍，系领带、穿高跟鞋的记者和名流，可是，糊弄不了那几个美国佬。而这时孙元良兵团正在向南发动进攻，杜聿明要孙元良无论如何也要在此时打一个胜仗，让慰问团参观，特别是要做给那几个美国佬看。孙元良把这一“有关国军形象和国际视听”的重要任务交给了四十一军军长胡临聪，要胡临聪打一个可供参观的胜仗，胡临聪就选择了孤山集东南的一座小山头纱帽山。为什么选在那里，因为那座小山头的山顶不到50平方米，估计在上面守卫的华东野战军两广纵队指战员不会超过一个排。
11月26日下午，当参观的人群来到阵地观察所时，胡临聪让副军长陈远湘陪同，他自己则指挥着军属野炮营和孙元良临时调给他的七十七军野炮营向纱帽山一气打了1000多发炮弹，然后指挥着一二二师的一个团发起冲锋，并不断把受伤的伤员用担架抬着从观察所前面经过。当攻下了纱帽山之后，就当众宣布“消灭共军一个营”的重大胜利。其实，在纱帽山的我军战士只有17个人。这就是孙元良兵团所取得的一次向中外记者展示的“大胜利”。
11月28日，刘峙和杜聿明又被蒋介石召到南京参加军事会议。杜聿明在会前问顾祝同，原来蒋介石答应增加几个军，为什么一个军也未派出？顾祝同给杜聿明说了真话：“老头子也有困难，一切办法都想了，连一个军也调不动。现在决定放弃徐州，出来再打，你看能不能安全撤出？”杜聿明认为这样变来变去，以后的仗很难再打下去。因为，按他的思路，既然要放弃徐州就不能恋战，不要想出来再打，如果出来再打，既不能取胜，又救不了黄维。他认为应当是将徐州的军队尽快撤出，避免作战，先想法将军队拉到淮河边，以淮河为依托，有了一点安全感，再去救黄维才是上策。万一救不出，还可能保存一些部队。否则，徐州丢了，部队完了，黄维也就完了。当时，顾祝同对杜聿明的意见表示同意。所以当蒋介石在会上征求各位高级将领的意见时，顾祝同就按杜聿明的意见做了决定，让黄维兵团死守待援，让刘峙和杜聿明安排徐州的部队停止进攻，立即撤退。
如果说国民党军队这时在进攻上已到了毫无办法的地步，那么在撤退上还是可行的。蒋介石关于徐州地区军队撤离的决定是11月28日晚上才由回到徐州的刘峙和杜聿明带回徐州的，可是就在刘峙和杜聿明还未回到徐州时，南京就有人将此绝密消息通知了徐州的熟人。当天晚上，徐州对外的唯一通道徐州机场就已挤满了各种党政军头目，连跑得最快的刘峙想立即在当天晚上就跑的美梦都未能实现，而是到第二天才飞往蚌埠。也就在第二天，杜聿明召集孙元良、邱清泉、李弥三个兵团司令定好了撤退方案。方案决定以“撤即不能打，打即不能撤”的原则，尽快全部撤离徐州。为了迷惑解放军，在11月30日发起了一次全面进攻，晚上就全军撤出徐州，以“滚筒战术”逐次掩护行进。所谓“滚筒战术”，就是让各兵团在行进中形成一个圆球或圆筒状态势，以避免被解放军在途中包围打击。撤出之后，第一步先到永城地区，第二步到蒙城、涡阳、阜阳地区。
11月30日，驻在徐州地区的全部国民党军队在一片混乱中慌忙撤离。第二天，亦即12月1日，徐州解放。徐州的解放，事实上标志着国民党军队在淮海决战中的失败。