日军攻占南京后，在南北战场取得暂时胜利的基础上，重新制定了对华政略、战略，决定进一步加强军事力量和扶植傀儡政权，企图军、政两手并用，迫使国民政府屈服。
1938年1月16日，日本近卫内阁公开发表《不以国民政府为对手的政府声明》，并建立对华长期战争体制。但“当时日军的武器、弹药，器材等严重短缺，只有在增设兵团、休整部队、严肃军纪后，才能进行大规模的作战”。为此，日本政府采取一系列政略、战备措施，实行总体战体制，“倾国家全力遂行战争”。进一步扩大军事力量，大本营决定在1938年“上半年新成约11个师团”，并储备50个师团基数的武器、弹药、器材，将军工生产提高到120个师团基数和3500架飞机，到1940年建成60个正规师团、30个暂编师团、250个飞行中队。制定1938年的战略方针，在完成“实质性的准备”以前，“采取纯消极持久战方式，把国力特别是军力的消耗，减少到最低限度”。同时，在占领区加速建立傀儡政权。在北平成立“中华民国临时政府”，在南京成立“中华民国维新政府”，企图以此“促使蒋介石政权实质性的崩溃”。
1938年2月14日，日本大本营下令撤销华中方面军、上海派遣军和第110军的3个司令部，建立华中派遣司令部，统一指挥华中日军。由于华北方面中国共产党领导的游击战争不断发展，“后方地区治安不稳”，为加强华北兵力，先后将第5师团的第9旅团、第16师团、第114师团调至华北。
南京失守后，国际形势发生变化：德国驻华大使陶德曼中日和谈调停失败，一向与国民政府关系密切的德国，清洗了较为倾向与中国友好的国防部长勃洛姆堡元帅、外交部长牛顿特男爵和经济部长沙赫特博士等，任命一贯主张与日本结盟的里宾特洛甫为外文部长，于1938年2月正式承认“满洲国”。英、美、法等国人民群众虽然同情、支持中国抗战，但其政府不肯为中国得罪日本，均持观望态度。美国总统罗斯福虽然曾在芝加哥发表了“隔离”演说，不指名地警告日本，但中心要点是警告日本不得违背九国公约规定的各国在华“机会均等”及“中国门户开放原则”，而不是谴责日本对华侵略。在国际上，只有苏联的斯大林为了利用中国“来对付日本人”，“紧紧束缚住日本的手脚”，以便“在德国一旦进攻苏联时，能避免两面作战”，积极援助中国政府抗战。至1938年2月，卖给中国飞机约200架和装备20个师的武器、弹药，并派遣志愿飞行员及军事顾问、教员等。
面对上述情况，国民政府在政略、战略上采取一系列措施，重新组织抗战：接受中国共产党的一部分意见，制定《抗战建国纲领》，实行全面抗战；开始执行“持久消耗战”的战略方针。此方针虽然早已制定，但从七七事变至南京失守，国民政府军队实际执行的是以阵地消耗敌人，在战役上争取持久的方针，战略上仍幻想迅速结束战争。经过半年的抗战，最高军事当局既认识到国际干涉和和平谈判短期内不能买现，中日战争确已形成持久之势，又接受了华北、沪京作战的沉痛教训，开始转变战争指导，由单纯固守阵地、据点进行死拼的战役持久，改为不强调“一城一地之能否据守”，“以空间换时间”的战略持久。白崇禧说过：在南京失守后，“我们战略之应用，确已改变方针，不复与敌人在一点一线上争夺”。虽然实践证明，这一战略方针仍带有一定的片面性和消极性，但与前一段所执行的方针相比，已大大前进了一步。
为适应持久抗战的需要，1938年1月17日，国民政府改组军事委员会，撤销大本营，重新任命委员。同时还整饬军纪，惩治了一批临阵脱逃的高级将领。抗战以来，“所有前线的军队，不论陆军、空军和地方部队，都进行了英勇的抗战，表示了中华民族的英雄气概”，但也有少数高级将领，或因胆小怕死，或为保存实力，对敌望风而逃。第五战区副司令长官，第3集团军总司令韩复榘，表现尤为恶劣，防守津浦铁路北段，手握重兵，未战先退，致日军轻易地渡过黄河，占领大半个山东。1938年1月11日，蒋介石在开封召开第一、第五战区高级将领会议，将韩免职查办，送至武汉，以擅自撤退罪处以死刑。1月20日，军委会明令嘉奖抗战牺牲的郝梦龄军长、佟麟阁副军长等5人，并撤职查办和枪决了41名作战不力的旅长以上将领，“给保存实力，怠于作战的军官以极大震慑，前方士气，为之一振”。
蒋介石将韩复榘免职后，令第12军军长孙桐董代理第3集团平总司令。17日会议上，向第一、第五战区高级将领阐述了他以武汉为防御核心的现阶段战略方针。他说：“我的战略是什么？简单明了他讲起来，就是东面要保持津浦路，北面要保持道清路，来巩固武汉核心的基础。”军委会据此制定了作战指导方案：“国军主力控制武汉外围及豫皖边区，积极整补，由华北及江南抽调出有力一部，加强鲁中及淮南，积极袭扰，诱敌主力于津浦铁路方向，以迟滞敌人之过江西进；并广泛发动华北游击战，牵制消耗敌人、妨害其南渡黄河，直冲武汉。”为贯彻这一方案以加强津浦路防守力量，从第一、第三战区增调第22、第24集团军等部队至第五战区。此时，第五战区司令长官为李宗仁，所属部队有第3集团军（孙桐萱，辖第12、第55军），第22集团军（孙震，辖第41、第45军）、第24集团军（韩德勤，辖第57、第89军）、第11集团军（李品仙，辖第31军）、第27集团军（杨森，辖第20军）、第3军团（庞炳勋，辖第40军第39师）、第51军（于学忠）及海军第3舰队、地方武装等。
日军参谋本部虽然制定了“对华消极持久作战”的战略方针，准备在整顿、补充及扩大兵力后再发动大规模的进攻，并规定占领区的限制：“华北方面，黄河以北及山东大部；华中方面，芜湖、杭州以东江南”，“严禁扩大”。但日本政府的要员们，“不仅对战争的严重性认识不足”，“而且对胜利存有盲目的骄傲情绪”；特别是侵华日军的高级将领，因迅速攻占南京和不战而占领山东的暂时胜利，以为以现有兵力即可战败中国，迫使国民政府屈服，因而不满大本营的决定。如华中方面军在攻占南京后，渡江占领了滁县、来安、六合、扬州等地，并企图以2个师团沿津浦路北进，以配合华北日军在山东的作战，日本大本营认为准备不够充分，兵力本已不足，若再扩大战场，则兵力更为分散，对以后作战不利，故未予批准。可是侵华日军置大本营的指令于不顾，上海派遣军命第13师团向凤阳、蚌埠进攻，华北方面军自1937年底以来，多次提出进行徐州作战，以使华北与华中连结起来的要求。大本营怕“战局扩大，兵力被牵制”，不予批准。但第2军仍然下达了向大运河进攻的命令，企图以既成事实迫使大本营承认他们的行动。至1938年2月上旬，南线日军攻占巢县、蚌埠，企图北渡淮河；北线日军攻占青岛、邹县，在诸城，两下店附近，与中国军队激战。
此时，中国军队第21集团军也由江南转移至合肥地区，加入第五战区战斗序列。第五战区依照军委会南守北攻的指示，于2月3日下达作战命令。主要内容为：决心将津浦路南段之敌，拒止于淮河以南，由侧方连续予以打击；同时巩固鲁南山地。对津浦路北段及陇海路东段之敌，实施侧击，牵制其南下或西上，以拱卫徐州。令于学忠指挥第51、第31军力第2野战兵团，于淮河北岸布防，阻敌北进；令第11集团军为第1野战兵团，位于定远西方三十里铺至淮河南岸之间，向临淮、蚌埠之敌侧背威胁，牵制其渡河；令第21集团军为第4野战兵团，在合肥、张桥镇一带集结后，向含山、全椒前进，侧击津浦路南段之敌；令第27集团军及安徽保安3、4团为第3野战兵团，由杨森指挥，位于安庆以东，任江面守备，并在安庆、庐江、无锡间地区游击，1月6日，又下达补充命令，令第3集团军以主力向济宁攻击，以一部迂回攻击汶上；令第22军集团军以主力向邹县，一部迂回曲阜邹县间攻击，另一部控置于临城、韩庄间；令第3军团在临沂附近，配合地方部队，夺取蒙阴、泗水，尔后向泰安、大汶口间及南驿，曲阜间威胁。对日照、吕县、沂水北方要点，派一部与海军陆战队联合扼守。
日军第13师团于2月3日占领蚌埠后，不断实施强渡，企图渡过淮河，均被刚刚到达的第51军击退。2月8日，蚌埠日军约1000余人，在航空兵及炮兵进行火力急袭后，再次强渡淮河，守军英勇抗击，两次击退日军渡河部队。当晚23时，日军又进行夜间强渡，攻占北岸小蚌埠。第113师派部反击，激战至9日1时，恢复了阵地。10日拂晓，日军又一次发动强渡进攻，10时前后攻占小蚌埠。第113师全力反击。双方多次反复争夺，终于为日军占领。蚌埠日军发起进攻的同时，临淮关日军也发动强渡进攻，突破北岸守军第114师的阵地。激战至11日，第114师伤亡2000余人，被迫撤至沫河口、年家庙之线。沿岸阵地多处被日军突破，许多部队因军官阵亡失去指挥，为集中力量、整顿部队，于学忠于11日夜令全军向淝河附近之何集、新马桥之线转移，2月13日，李宗仁将刚刚转隶第五战区的张自忠之第59军调至固镇，接替第51军防务。第51军撤至西寺坡车站附近休整。
此时，日军第13师团主力已大部进至淮河以北。李宗仁第31军由淮南铁路向凤阳，第21集团军向明光、定远，实施侧击。日军被迫将淮河以北的主力撤回淮河以南。张自忠乘势于15日向小蚌埠日军发起进攻，收复小蚌埠，淮河以北日军全部撤至淮河以南。2月17日后，津浦路北段形势趋紧。李宗仁调张自忠军去临城，津浦路南段正面仍由第51军防守，与日军第13师团隔河对峙。
当第51军与日军第13师在淮河激战时，第3集团军遵照第五战区的命令，于12日开始向济宁、汶上日军进攻。孙桐萱令第55军由金乡向济宁南关日军进攻，第12军第22师由定陶迂回向济宁北城门进攻，第81师由曹县向汶上进攻。第55军军长曹福林仅派出第171、第439团各一部渡运河向济宁火车站及西关进行袭扰，并未以主力实施攻击，不久即为日军击退。谷良民之第22师第64旅于12日22时在2门山炮支援下，强攻济宁北城墙。由于炮火未能摧毁北门城楼日军火力点，攀城部队伤亡甚众。后在西北城角轰坍一段城墙，由缺口突入约4个连。南关日军第10师团第8旅团第39联队主力未遭有力攻击，得以调入城中增援。先以反冲击控制了城西北角缺口，切断城内、外中国军队之联系，尔后，向突入城中的部队发起围攻。双方展开激烈的肉搏战。突入部队孤军奋战，弹药、人员均得不到补充，血战一昼夜，到14日拂晓，全部壮烈牺牲。城北第64旅残部退至运河西岸。展书堂之第81师曾一度攻人汶上北关，第64旅撤退后，亦主动撤至开河镇，沿运河防守。第3集团军进攻济宁时，第22集团军孙震亦令第125师第737旅由界河进攻两下店，令第127师第575团挺进至邹县、曲阜向进行敌后游击。2月14日、16日，第737旅两次袭击两下店均被击退，在日军反击下，17日退至香城、普阳山一线。第575团在曲阜南小雪村一蒂，于14日伏击日军汽车4辆，击死日军第10师团少将军官1名。
第3军团到达临沂时，日军第5师团已占领蒙阴、沂水、潍县、青岛。2月17日，其第21旅团（坂本支队）由潍县进攻莒县。庞炳勋派第115旅支援，莒县已失，在日军进攻下，退至白塔，与占领汤头之日军暂时形成对峙。
侵华日军虽在南北两线的淮河及鲁南等地遭到中国军队的坚强阻击与反击，受到一些挫折，但仍迷信于上海的胜利和山东，南京的轻易占领，错误地判断战争的发展趋势，认为在国际上，“由于德国承认满洲国”，英国“修订了对外政策，在欧洲接近德、意而自求安定，在远东缓和支持中国政权的态度，采取保持本国权益第一主义”，“国际形势大同正朝着我有利的方向发展”，特别足低估了中华民族的抗战决心。认为“中国的一般政局是逐渐丧失长期抗战的自信，外则失去各国的支持，内则出现各种内政问题，现正踏上崩溃之途”；对于中国军队，偏面、盲目地认为，“在此次事变中，中国军队受到的损失，仅在华中方面就有40余万，连同华北方面合计约为80万左右；蒋介石多年苦心训练的占中央军大部约六七个师，在华中方面受到彻底打击，大部已丧失战斗能力”。因而，不同意日本大本营暂时“不扩大”方针，尤其是“华北方面军司令官寺内寿一大将，对中央意图不满”，坚持他“使华北、华中联接起来，进行徐州作战”的主张，积极支持其第2军向南入侵的企图。大本营中主张立即扩大侵略战争的要员，也开始占居主寻地位。3月13日下达正式命令、命“第10师团击灭大运河以北之敌，第5师团以一部占领沂州（临沂）后，进入峰县附近，配合第10师团作战”。
3月14日拂晓，日军第10师团之濑谷支队（第33旅团为基于，辖2个步兵联队，约3个炮兵联队及轻战车2个中队等）由两下店向中国军队的阵地进攻，很快突破前哨阵地，被阻于深井、界河、普阳山及龙山等主阵地带以北之线。孙震接到第五战区“滕县为津浦路北段要点，关系全局，应竭力死守”的电令后，命第41军前方总指挥、第122师师长王铭章加强滕县城防。15日黄昏，界河阵地被日军突破。濑谷支队以主力进攻滕县，以一部兵力迂回至滕县以南，切断滕县守军的退路，并向临城攻击前进。此时，滕县城关虽然番号很多，但实际战斗部队只有11个步兵连、1个迫击炮连，约2000人，另外还有4个特务连约500人、地方武装约500人，总计3000余人。16日8时，日军开始攻击，一度由炮火击毁之缺口突入东关，被守军以密集的手榴弹击退。从10时至16时，日军对东关发起5次冲击，均被击退。但守军伤亡太多，3次从城中调预备队补充。当日17时，日军发起第6次冲击，突击部队改为三梯队波恨式冲击，同时，延伸火力向东门及城内实施拦阻射击，以阻止城内增援。经激烈肉搏，黄昏时，日军冲入东关。当夜，守军反击，将突人日军大部歼灭，收复东关。17日，日军在飞机、炮兵掩护下，再度向东关进攻，仍无进展。下午，将主突方向改在南城。先以炮兵火力集中轰击城墙，致城上守军大部牺牲。战至15时，日军由坍塌处突入城内。王铭章在城中指挥巷战，激战至夜，守军已各自为战，失去指挥。王铭章企图至西关车站组织该处残部继续防守，在缒城转移中中弹牺牲。城中守军残部，仍人自为战，逐屋抗击。直至18日中午，日军才完全占领滕县城。
日军第5师团坂本支队，为配合津浦路正面第10师团的作战，3月9日，由汤头向临沂东北地区之第40军发起进攻。守军虽拼命抵抗，但阵地仍不断被突破，第40军被压迫至临沂城关地区。3月12日，张自忠率第59军由峄县以急行军到达临沂城西。当晚议定：第59军于沂河西岸船流至大小姜庄间渡河，侧击相公庄、亭子头一带日军；第40军在沂河东岸，正面反攻，与第59军呼应，包围当面日军。14日4时，第59军各部强渡沂河，开始进攻，第40军第39师亦开始反攻，激战至15日，先后攻占亭子头、徐太平、大太平等六七个村庄。日军被迫南退。16日拂晓，日援军到达，转为反击，由沙岭子渡沂河向第59军第38师后方猛攻，占领船流、刘家湖。张自忠急令进至河东的部队全部撤回河西，阻击突至河西日军。双方在刘家湖展开激烈的肉搏争夺战，“刘家湖失而复得者4次，崖头失而复得者3次，茶叶山一度被敌占领，旋即夺回”。至17日上午，第59军已伤亡6000余人，第一线的营长伤亡三分之一，连排长全部易人。此时，日军困伤亡甚众已无力进攻。张自忠掌握战机，集中全力组织反击，于当日黄昏发动进攻，激战竟夜，以逐室争夺之肉搏战，终将河西日军大部击歼。日军第11联队长野佑一郎以下伤亡3000寺人。日军退至莒县、汤头。18日24时，庞炳勋报告临沂战况，说日军“伤五千余，亡三千余”。李宗仁据之判断、日军暂时无力组织进攻，而19日峄县失守，津浦路正面紧张，遂于20日电令第59军留1个旅，协同第40军守临沂，主力乘虚向滕县前进，截击日军，日军板本支队在汤头稍事整顿，21日又转为攻势。第40军兵力单薄，又未得到补充，节节后退，至22日，撤至临沂东郊阵地。23日，蒋介石电令张自忠不必去滕县，全军仍协助第40军防守临沂。24日，第59军返回临沂。25日，第40军桃园、三官庙阵地被突破，第59军第38师3个团渡沂河，夜袭桃园日军。26日，沂河两岸激战终日，第38师受挫，退回河西；第59军缩短战线，退至十里铺、前后岗头之线，临沂形势危急。李宗仁急令第57军第111师第333旅及第29军团骑兵团驰援。27日拂晓，日军将主攻方向指向第59军。至28日夜，第59军已伤亡8000余人。29日，援军到达。此时，日军第2军因濑谷支队在台儿庄方面战况危急，令第5师团派部救援，板本支队中止进攻，留2个大队在临沂附近，主力向南转进。临沂形势暂时缓和。临沂地区1个多月的战斗，第59军及第40军共伤亡万余人。日军第5师团伤亡3000余人，未能攻占临沂。这是该师团入侵中国以来，继平型关后的第二次受挫。
日濑谷支队占领临城、滕县后，19日击退刚刚调至沙沟布防之第20军团第85军第2师一部，进占韩庄、峄县。因临沂方面坂本支队受挫，濑谷支队受命派一部兵力向临沂前进，以一部兵力向台儿庄前进，主力集结于峄县临城附近。3月22日，军委会增调至第五战区的第2集团军（总司令孙连仲，辖第30军第30、第31师，第42军第27师及独立44旅），先后到达徐州、台儿庄地区，第20军团（军团长汤恩伯，辖第52军第2、第25师，第85军第4、第89师，第13军第110师及独立骑兵团）正向兰陵镇集结和向青山、云谷山迂回，准备侧击峄县、枣庄日军。命其于24日拂晓开始进攻。23日，第31师师长池峰城派乜子彬旅长率1个团向峄县攻击前进，日军进攻台儿庄的派遣队也由峄县向台儿庄攻击前进。双方在獐山遭遇。第31师被迫后退，日军当晚占领嵫洛。24日，中国空军为支援第20军团进攻，拂晓后以轰炸机14架袭击韩庄、临城及枣庄日军。但第20军团并未按命令开始进攻。直至当晚，第85军进至枣庄以北云谷山、神山地区，第52军在洪山镇、兰陵镇地区。当日，蒋介石至徐州视察、将随行的副参谋总长白崇禧及军令部次长林蔚等留第五战区，协助李宗仁策划作战。同时，令第31师防守台儿庄。25日，进入郭里集第52军25师75旅一部，发现日军东进临沂大队的先遣中队正在村东北角大碉堡内，遂将其包围进行攻击，经战，击退枣庄来援日军，将该中队日军大部击歼，仅10余人突围逃回枣庄。第52军第2师曾向枣庄进攻，但被击退。汤恩伯率第85军仍在抱犊崮山区，仅派出1个旅协同第52军作战，而该旅又仅派出1个团，团又仅派出几个排的兵力，在枣庄外围进行袭扰。第2师退走时，该旅亦退回抱犊崮。
进攻台儿庄之日军于24日黄昏进至台儿庄附近。台儿庄南靠运河北岸，四周有长约4公里的砖砌城墙，建有大小碉堡多座，共有6个城门，城西南文昌阁为全城制高点。日军以猛烈炮火摧毁了东北城墙，一度突入城内，被第31师击退，遂在北郊构筑工事待援。25日，懒谷启支队长派2个中队增援进攻台儿庄的部队，黄昏前后到达台儿庄，立即遭到第31师的反击。26日凌晨再向濑谷启求援。濑谷启再派第63联队长福荣真平率第3大队赴台儿庄。27日，日军向台儿庄发起2次猛攻，占领城墙东北角，一部突入城内，与第31师反击部队展开激烈巷战。突人日军被压迫于城内大庙附近。但第31师损失极大，4天激战，伤亡2800余人。为利于战斗，池峰城将全师缩编为7个战斗营。当晚17时许，福荣真平率日援军到达台儿庄附近，台儿庄形势更趋严峻。
李宗仁根据台儿庄战情紧急而第20军团主力仍未进攻枣、峄的情况，令汤恩伯“放弃攻击峄县、枣庄之计划，速以一部监视当面之敌，以主力向南转进，先歼灭台儿庄之敌”。孙连仲也直接致电汤恩伯，请其“全力攻击敌之侧背，支援台儿庄战斗”。汤恩伯即令第52军星夜南下，夹击日军。28日，日军集中兵力，在30余辆战车引导下，与前日突入城中之日军协同，对台儿庄发动猛攻。第2集团军除以第31师据守台儿庄阵地抗击外，令第27、第30师及独立44旅从东、西向日军侧翼及后方反击。空军也首次以9架战斗机直接支援守军战斗，对士气鼓舞很大。进攻日军占领西北角后即被阻，但突入城中的日军却乘机扩大战果。第31师将所有能够战斗的勤杂人员全部组织起来投入战斗，展开肉搏拉锯战，隔墙相击，逐屋争夺，阵地成犬牙交错状态。29日，日军第2军司令官西尾寿造见第63联队攻击受阻，而中国军队第20军团正向南进，第63联队有被围歼危险，遂令第5师团坂本支队暂停攻击临沂，急向台儿庄方面增援。同时，令第10师团濑谷支队主力增援台儿庄前线。
李宗仁见第20军团迟迟未至，28、29两日，连续下令催其“迅速南下夹击”。30日晨，濑谷启率第10联队及战车队从峄县南下，21时到达台儿以西、以北。李宗仁再次电令汤恩伯，“限31日拂晓到达”。台儿庄内日军得知濑谷支队主力来援，全力向外扩张，推进至城南运河北岸。孙连仲派第30师第176团入城增援，与第31师协同，据守西半城阵地，拼死血战，遏止了日军的扩张势头。31日，日军虽极力攻击，仍无进展。第10师团长矶谷廉介又调该师团驻济宁的第39联队1个大队配属第10联队，加强其攻击能力。
30日夜，第20军团先头部队到达甘露寺附近。31日，向獐城以东日军进攻，占领兰成店三佛楼等地，中午前后，担任侧背警戒的骑兵团与由临沂西进的坂本支队发生战斗。第85军第89师前往应援，在邵家庄附近被击退。汤恩伯急调第4师至向城阻击，力避免被日军东西夹击，决心把所有兵力“一律由内线转为外线”，放弃对獐山的攻击，“乘夜与敌脱离”，撤至洪山镇以东地区。4月1日，第52军与板本支队激战于兰陵镇以北。
孙连仲为歼灭台儿庄内日军，决定由城外向日军占领的街区夜袭。令第27师挑选250人为奋勇队，另以1个营为后继，同时令第31师配合第27师夜袭部队向占领城西北角之敌进攻。4月1日夜，第27师奋勇队及第157团第2营由台儿庄东北角突入城中，攻占东北隅及东南门，与日军巷战，第30师第175团第3营向西北城角日军进攻，经激烈肉搏，将其击退，并歼其一部。
4月2日，因第20军团放弃对獐山的进攻，日军第10联队遂南进至台儿庄以东地区，10时30分向第27师彭村，陶沟桥等处阵地进攻，战斗至19时，第27师后撤至边庄、火石埠之线。日坂本支队此时亦进至陈瓦房、耿庄一带，与第10联队取得联系，其留置后方担任掩护的部队，被第52军第25师歼灭于刘庄。
由于日军第10联队及坂本支队均向台儿庄以东前进，李宗仁急将刚至碾庄一带之第75军转至岔河镇地区，将由临沂调来之第57军第111师第333旅，进至鲁坊，均归第20军团长汤恩伯指挥，决心集中兵力，将台儿庄附近日军围歼于邹县、台儿庄之间。
4月3日，台儿庄城内和城外日军，继续与第31师及第27师部队血战。
日军虽在火力上占绝对优势，但在第2集团军等的英勇抗击下，进展极微。日军对中国军队不怕牺牲的爱国主义精神，极为惊佩。日军第10联队4月2日的战斗详报说：“对中国军队第27师第80旅昨日以来的战斗加以检讨……他们据守散兵壕，全部顽强抵抗直至最后。他们在狭窄的散兵壕内，重叠相枕，力战而死之状，虽为敌人，观其壮烈之态，亦为之感叹。战斗中曾使翻译劝其投降，但无一应者。战至尸山血海的精神，并非独为我军所特有。无视他人，自我陶醉，为我军计，对此应有所惧戒。”
4月4日，濑谷启发现中国军队有向其翼侧及后方包围的征候，急令第10联队主力向台儿庄以北集结，留约1个中队与台儿庄城内日军呼应。日坂本支队，进攻受挫，被第75不及第85军包围于大顾珊、火石埠一带。4月5日，坂本支队与后方的联系已全为第20军团切断，弹药、粮秣暂由濑谷支队补给，战斗已陷于困境。当晚19时川分，致电濑谷启，告知准备于6日开始退回临沂。此时，濑谷支队对台儿庄的攻击亦处于被动地位，留置黄林庄的1个中队已被第27师击退。
军委会因第20军团迄今未按命令对进攻台儿庄的日军进行侧击，致台儿庄形势日趋危急，蒋介石于4月5日12时致电汤恩伯；“台儿庄附近会战，我以10师之众对师半之敌，历时旬余未获战果，该军团居敌侧背，态势尤为有利，攻击竟不奏效，其将何以自解？急应严督所部于六、七两日奋勉图功，歼灭此敌，勿负厚望。”汤恩伯接电后，积极部署进攻。
4月6日晨，第20军团第52军逼近日濑谷支队部所在之杨庙附近，第58军及第75军将板本支队包围于邢家楼、大顾珊。濑谷启决定退却。在究州的矶谷廉介电令濑谷启，不准其后退。但濑谷启怕被全歼，抗命撤退。由于退逃仓促，又在中国军队进攻之下，所以，弹药，被服、粮秣及战死者的尸体，均不及带走，全部放火焚毁，有些重型机械化武器，也因弹尽油竭，被迫破坏遗弃，仅台儿庄附近，即有155重炮2门及履带牵引车4辆，坦克8辆遗弃于战场。
台儿庄城内日军与第31师隔墙相接，邻屋而战，当然不可能安全撤走，在密集手榴弹封锁下，相当一部分在最后一刻被歼。7日凌晨，台儿庄城内日军全被肃清，濑谷支队退至官庄。板本支队得知濑谷支队北逃，亦于当夜在火力追击下撤逃。本欲返回临沂，因第20军团主力均在东北方向，无力突围，遂改向西北败逃，向第10师团靠拢。
李宗仁于7日13时下令追击，日濑谷，坂本两支队于8日退至峄县、枣庄南一带，占领阵地，改为防御。第20军团及第2集团军进攻至11日，仍无进展，形成暂时对峙，参加台儿庄战斗的中国军队。总计伤亡19500余人，日军伤亡11984人。
李宗仁、白崇禧欲歼灭峄、枣日军，感到兵力不足。恰于此时，得到来自天津的失实情报，认为“台儿庄胜利己激起日反战运动，致预定由国内增加8师团，及早解决华北战局之计划打消……我如能把握台儿庄胜利之果而早日解决峰具之敌，则可扩大敌之反战运动，怂动国际之观听。确定胜利之基础，在此一举”。因而请求蒋介石“集中所有力量争此一著”。军委会同意，开始向第五战区增兵。至5月间，第五战区的部队已达到64个师及3个旅，约45万人。
日本大本营“看到台儿庄方面有大量中国军队，特别是汤恩伯军团的出现，认为给蒋介石的主力一次大的打击，是挫伤敌人抗战意志的大好机会，因此决定进行徐州作战”，以大约6个师团的兵力（第10、第5、第16、第114师团，独立混成第5旅团，混成第3、第13旅团及临时航空兵团），由徐州以北，以大约3个半帅团的兵力（第9、第3、第13师团，第101、第6师团各1部及第3飞行团）由徐州以南，分路向徐州合击。因进攻台儿庄的第2军部队被中国军队击败而退逃，认为“有损于陆军的传统”，4月30日下令，免去西尾寿一第2军司令官的职务，任命东久迩宫为第2军司令官（徐州会战一结束，第10师团长矶谷廉介亦被免职并编入预备役）。5月上旬，东久迩宫到任，日军开始对徐州发动全面进攻。蒋介石发现日军对徐州采取包围行动，企图乘日军兵力分散且离开据点的大好机会，令第五战区采取攻势、各个击破敌人，先集中兵力消灭淮北的日军。但部队尚未调整、集结完毕，形势发生极大变化，日军进展迅速，向徐州作向心攻击的7路日军，至5月15日已基本接近完成对徐州的包围，即将切断陇海路。李宗仁为避免在不利形势下进行决战，决定放弃徐州，作战略转移。5月17日.第五战区司令长官部撤离徐州，由宿县向西转移，其他各部队均按第五战区的命令分头突围。5月19日，日军占领徐州。徐州会战结束。
七七事变以来，日军虽然在忻口、淞沪会战中遭到中国军队的坚强抗击，但从未实施过战役范围的退却行动，更未承认过战斗失败，一直以“战无不胜”的“皇军”自居。台儿庄的作战，却使其第10、第5两个精锐师团的部队，在中国军队包围下仓皇退逃，连大批重型武器、弹药等都不得不遗弃战场。尽管日本大本营仅说是“有损于陆军的传统”。但却无法掩盖战败的事实。亲身经历台儿庄作战的日本士兵感受比较真实。如日军第10师团第63联队第2大队的涩谷，在日记中写道；“我方死伤益见惨重，全员不分昼夜严加防守，各中队人数仅剩六、七十人”，“大队部无法支持……牺牲数百人生命占领的场所被敌方夺去，我队含着眼泪随大队部后撤，退却时向战死者暂时告别”。
作为第三方的美国人则毫不客气他说，台儿庄战斗“是日本建立现代化军队以来遭受的第一场引人注目的大惨败”。当然，台儿庄的胜利，仅仅是一次局部性的胜利，战役本身对中日战争全局不起决定性作用，但它沉重地打击了日军的侵略气焰，以实际战例证明日军并非不可战胜，从而鼓舞了国民政府及全国人民的抗战意志，增强了抗战必胜的信心，消除了一些人的恐日心理，另外，台儿庄的胜利，使日军重新估计中国的抗战力量，同时也改变了国际上对中日战争的看法。当时，英、美、法、苏等许多国家的报纸，都以大字标题刊登了中国台儿庄胜利的消息，并纷纷发表评论。1938年4月9日伦敦路透社电讯说：“英军事当局，对于中国津浦线之战局极为注意。最初中国军获胜的消息传出，各方面尚不十分相信、但现已证明日军溃败之讯确为事实”，“英人心理渐渐转变，都认为最后胜利当属于中国”。德国柏林哥隆新闻也说：“徐州方面中国抵抗力之强，殊出人意外”，“最慎重的观察者亦不能不承认日本必遭失败”。这些社会舆论虽然并不等于其政府观点，但它对提高中国在国际上的地位和争取外国政府的支援，有一定的积极导向作用。
日军在国家准备不足的情况下，为凑集必要的兵力实施徐州会战，从华北、华东15个师团中调用10个师团投入徐州战场，仍不足以完成围歼徐州地区数十万中国军队的战略，战役任务，留置后方的兵力，更为捉襟见时。连守备几条铁路要点都不够用。如第1军因抽调平汉路上的第16、第14师团去徐州作战，致冀南、晋南守备空虚，不仅被迫放弃了长治地区，而且导致已占领晋南黄河北岸的第20师团遭中国第二战区部队的攻击（这些部队大多是日军进攻时退至黄河以南，徐州会战开始后乘虚返回的），不得不放弃蒲州、芮城，平陆等地，退缩至曲沃、侯马、新绛地区，并被切断与后方的联系，靠空投补给，陷于困境。整个华北日军占领区，均感兵力不足，形势不稳，为第18集团军深入敌后、开辟敌后战场、建立抗日根据地，创造了更为有利的条件。
毛泽东同志曾说过：日军“将华北兵力集中于徐州，华北占领地就出了大空隙，给予游击战争以放手发展的机会”。敌后战场的开辟及游击战的发展，反过来又牵制大量日军，对正面战场起到相互支援和相互配合的作用。国民政府军事委员会政治部部长陈诚在回答记者问，分析台儿庄战胜的原因时曾说：“山西境内我方有20万之游击队，遂使5师团之众，只能据守同蒲路沿线，不敢远离铁道一步……故台儿庄之战胜，在战略上观察，乃各战场我军努力之总和，不可视为一战区之胜利”。从整个中日战争来说，在战略上也是如此，正是由于正面和敌后两个战场、正规战与游击战两种战法的紧密配合、相互支援，才更有利于中国的持久抗战。
从作战指导上看，改变单纯的阵地防御，实施“攻势防御”，是台儿庄获得胜利的主要原因；而部分高级将领缺乏全局观念，各兵团间战役协同不密，如第2集团军在阵地战中确已吸引并抵住了进攻，而第20军团在运动战中，却未能及时向敌侧背实施有力的攻击，则是台儿庄战斗虽然取得胜利却不能歼灭敌人的重要原因。同时，战役指导违背战略方针，高级统帅心理上夸大台儿庄胜利的作用，大量增兵，企图乘胜进行一场确定胜利基础的战略性战役决战，既不符合实际，又违背了持久消耗战略原则。则是造成数十万大军尚未调集完毕即仓促突围转移的基本原因。