中国军队在临沂和台儿庄的胜利，大大刺激了蒋委员长求胜欲望。蒋委员长为扩大台儿庄胜利成果，再次乘专机亲临徐州督战，从各战区调集大批军队，使第五战区的兵力增加到60万人。同时，还将中央军胡宗南、黄杰、桂永清、俞济时、宋希濂等部布置于豫东，作为徐州的后援力量，试图在徐州与日军一决雌雄。
蒋委员长的上述想法，早在台儿庄会战之前就已表露。一下飞机，就召集了师长以上军官召开作战会议，对五战区的各位将领说道：“徐州是这次会战的核心。徐州位于黄淮之间，地界鲁、豫、皖、苏四省之交，为南北之通津，中原之屏障。在中国历史上，徐州之得失，有关国家之兴替。”
随行的何部长依旧是掌握着千穿万穿马屁不穿的原则，他随即附和说：“委员长的指示极为重要，十分英明。徐州，历来是兵家必争之地，南守可略豫、鲁，北守可瞰淮河，不可轻易放弃。”
“我们一定要死守徐州！”林蔚这位侍从室室长也跟着随声附和。
而华毕成、李长官、小诸葛等人却始终没有开口出声。
华毕成的心里面很清楚，徐州最终必然守不住，虽然他带着五战区的中国军队全歼了矶谷师团，但整体上敌强我弱的态势依然没有改变。随着日军各路大军从各个战场脱身而出，徐州必然会变得风雨飘摇。而且他的第30集团军已经疲惫到了极点，绝对不能再战了。
华毕成暂时还不想与蒋委员长“较劲”，他只好用眼睛盯着“小诸葛”，盼望“小诸葛”或这李长官拿个好主意。李长官看出了华毕成眼光里面的意思，但八面玲珑的李宗仁是不会当面反对蒋委员长的意见。只能打了个迂回：“这次日军多路大军进袭鲁南，气焰十分嚣张呀！”
不等李长官说完，蒋委员长就打断了李长官的话，唱起了高调：“凶狂怕什么我们可以向五战区增调兵力。矶谷师团不是也很嚣张吗最终还不是在枣庄被歼灭了我再强调一遍徐州必须死守，因为在徐州决战，可以争取时间，保卫武汉。徐州守得越久，我们争取的时间就越多，就可以把保卫武汉的准备工作做得好一点。”
“委员长的远见，令人佩服之至！”何部长又发出了赞美之声，看来他是决心拍马屁到底了。华毕成在心里面将何部长骂了无数遍，但是表面上却是一副很同意何部长说的话的样子。
李长官见蒋委员长决心已下，也就不好再说什么了。
台儿庄胜利后，武汉政府内部出现了盲目乐观的情绪。
但身为第五战区最高长官的李宗仁和身为五战区副司令长官的华毕成，却均对未来的形势标示不乐观，华毕成和李长官都认为，徐州四周为平原地带，无险可守，日军是机械化部队，又多有空军助战，在此处打起来，中国军队要吃大亏。
华毕成和李长官都认为中国军队在徐州同日军作阵地相持的消耗战是愚蠢的。并指出：“以中国军队的装备，只可相机利用地形条件，与敌人作运动战。”
但由于蒋委员长和军委会的部分高官陶醉于台儿庄的胜利中，李长官和华毕成提出撤离徐州的正确意见被否决。在蒋委员长的指挥下，五战区开始部署新的徐州会战。
吃一堑长一智的日军改变了他们的打法，以部分兵力在正面牵制五战区的中国军队，主力向西迂回，企图从侧后包围徐州，歼灭第五战区主力。
4月28日，日军第五师团分别从山东峄城和临沂西北的义堂地区南进，对中国守军第2集团军和第20、第3军团及第27军团、第59军实施牵制性进攻。守军顽强抗击，至月底，将日军阻击在韩庄、邳县和郯城一线。
5月15日，日军开始从南北两个方面向徐州西侧迂回包围。在南面，日军第九、第十三师团从蚌埠地区分别沿北淝河、涡河西岸北进，至23日，陷蒙城、永城后，向萧县、砀山进攻；第三师团由蚌埠进入大营集地区，向宿县进攻。
在北面，日军第十六师团由山东济宁渡运河，至24日，连陷郓城、单县、金乡、鱼台后，向江苏丰县、砀山推进；土肥原率领的第十四师团从河南濮阳南渡黄河，陷山东菏泽、曹县后，直插河南兰封。
第五战区在徐州附近地区进行了逐次激烈的抵抗，但未能挡住日军的攻势。
倒是第二战区利用华北日军兵力空虚的机会取得了一些战果，在第二战区的积极反攻下，失去友军支持的日军第二十师团被迫放弃了蒲州、芮城、平陆等地，在运城、河津、闻喜几处只留下了少量的部队，将主力退缩至曲沃、侯马、新绛地区固守。
由于第二战区部队破坏了铁路并炮击了日军的机场，第二十师团的补给完全中断。当时日军无任何兵力可供调动增援，不得不以空投进行补给，但飞机不足，无法满足一个师团的需要，最后逼得日军第二十师团不得不以抢掠民间粮食以及野菜、树叶、青草充饥。
由于华北日军主力南下攻击徐州，华北被日军占领的所有地区都呈现不稳，八路军在敌后十分活跃。由于兵力不足，华北日军只能被动地进行防御，完全没有大规模出击的能力，也就更谈不上攻击中国军队了。
前方越来越惨烈的战报不断传到武汉军委会蒋委员长的案前，徐州突然面临的严重危机，使他那因台儿庄的胜利冲得有点晕乎乎的大脑一下冷静下来。蒋委员长突然意识到：日军的意图是要围歼徐州中国军队主力。若是徐州这几十万精锐被日军吃掉，他蒋委员长还能拿什么来抗战
醒悟过来的蒋委员长立即叫来何部长、小诸葛、陈辞修等人一块研究策划。日军的企图已经暴露，再死守徐州已不现实，陈辞修等人亦主张赶紧突围，决定放弃徐州。
由于日军已形成对徐州的四面合围态势，5月25日，中国最高军事会议决定放弃徐州。