中國軍隊在臨沂和台兒莊的勝利，大大刺激了蔣委員長求勝欲望。蔣委員長爲擴大台兒莊勝利成果，再次乘專機親臨徐州督戰，從各戰區調集大批軍隊，使第五戰區的兵力增加到60萬人。同時，還将中央軍胡宗南、黃傑、桂永清、俞濟時、宋希濂等部布置于豫東，作爲徐州的後援力量，試圖在徐州與日軍一決雌雄。
蔣委員長的上述想法，早在台兒莊會戰之前就已表露。一下飛機，就召集了師長以上軍官召開作戰會議，對五戰區的各位将領說道：“徐州是這次會戰的核心。徐州位于黃淮之間，地界魯、豫、皖、蘇四省之交，爲南北之通津，中原之屏障。在中國曆史上，徐州之得失，有關國家之興替。”
随行的何部長依舊是掌握着千穿萬穿馬屁不穿的原則，他随即附和說：“委員長的指示極爲重要，十分英明。徐州，曆來是兵家必争之地，南守可略豫、魯，北守可瞰淮河，不可輕易放棄。”
“我們一定要死守徐州！”林蔚這位侍從室室長也跟着随聲附和。
而華畢成、李長官、小諸葛等人卻始終沒有開口出聲。
華畢成的心裏面很清楚，徐州最終必然守不住，雖然他帶着五戰區的中國軍隊全殲了矶谷師團，但整體上敵強我弱的态勢依然沒有改變。随着日軍各路大軍從各個戰場脫身而出，徐州必然會變得風雨飄搖。而且他的第30集團軍已經疲憊到了極點，絕對不能再戰了。
華畢成暫時還不想與蔣委員長“較勁”，他隻好用眼睛盯着“小諸葛”，盼望“小諸葛”或這李長官拿個好主意。李長官看出了華畢成眼光裏面的意思，但八面玲珑的李宗仁是不會當面反對蔣委員長的意見。隻能打了個迂回：“這次日軍多路大軍進襲魯南，氣焰十分嚣張呀！”
不等李長官說完，蔣委員長就打斷了李長官的話，唱起了高調：“兇狂怕什麽？我們可以向五戰區增調兵力。矶谷師團不是也很嚣張嗎？最終還不是在棗莊被殲滅了？我再強調一遍徐州必須死守，因爲在徐州決戰，可以争取時間，保衛武漢。徐州守得越久，我們争取的時間就越多，就可以把保衛武漢的準備工作做得好一點。”
“委員長的遠見，令人佩服之至！”何部長又發出了贊美之聲，看來他是決心拍馬屁到底了。華畢成在心裏面将何部長罵了無數遍，但是表面上卻是一副很同意何部長說的話的樣子。
李長官見蔣委員長決心已下，也就不好再說什麽了。
台兒莊勝利後，武漢政府内部出現了盲目樂觀的情緒。
但身爲第五戰區最高長官的李宗仁和身爲五戰區副司令長官的華畢成，卻均對未來的形勢标示不樂觀，華畢成和李長官都認爲，徐州四周爲平原地帶，無險可守，日軍是機械化部隊，又多有空軍助戰，在此處打起來，中國軍隊要吃大虧。
華畢成和李長官都認爲中國軍隊在徐州同日軍作陣地相持的消耗戰是愚蠢的。并指出：“以中國軍隊的裝備，隻可相機利用地形條件，與敵人作運動戰。”
但由于蔣委員長和軍委會的部分高官陶醉于台兒莊的勝利中，李長官和華畢成提出撤離徐州的正确意見被否決。在蔣委員長的指揮下，五戰區開始部署新的徐州會戰。
吃一塹長一智的日軍改變了他們的打法，以部分兵力在正面牽制五戰區的中國軍隊，主力向西迂回，企圖從側後包圍徐州，殲滅第五戰區主力。
4月28日，日軍第五師團分别從山東峄城(今屬棗莊)和臨沂西北的義堂地區南進，對中國守軍第2集團軍和第20、第3軍團及第27軍團、第59軍實施牽制性進攻。守軍頑強抗擊，至月底，将日軍阻擊在韓莊、邳縣(今邳州)和郯城一線。
5月15日，日軍開始從南北兩個方面向徐州西側迂回包圍。在南面，日軍第九、第十三師團從蚌埠地區分别沿北淝河、渦河西岸北進，至23日，陷蒙城、永城後，向蕭縣、砀山進攻；第三師團由蚌埠進入大營集地區，向宿縣進攻。
在北面，日軍第十六師團由山東濟甯渡運河，至24日，連陷郓城、單縣、金鄉、魚台後，向江蘇豐縣、砀山推進；土肥原率領的第十四師團從河南濮陽南渡黃河，陷山東菏澤、曹縣後，直插河南蘭封。
第五戰區在徐州附近地區進行了逐次激烈的抵抗，但未能擋住日軍的攻勢。
倒是第二戰區利用華北日軍兵力空虛的機會取得了一些戰果，在第二戰區的積極反攻下，失去友軍支持的日軍第二十師團被迫放棄了蒲州、芮城、平陸等地，在運城、河津、聞喜幾處隻留下了少量的部隊，将主力退縮至曲沃、侯馬、新绛地區固守。
由于第二戰區部隊破壞了鐵路并炮擊了日軍的機場，第二十師團的補給完全中斷。當時日軍無任何兵力可供調動增援，不得不以空投進行補給，但飛機不足，無法滿足一個師團的需要，最後逼得日軍第二十師團不得不以搶掠民間糧食以及野菜、樹葉、青草充饑。
由于華北日軍主力南下攻擊徐州，華北被日軍占領的所有地區都呈現不穩，八路軍在敵後十分活躍。由于兵力不足，華北日軍隻能被動地進行防禦，完全沒有大規模出擊的能力，也就更談不上攻擊中國軍隊了。
前方越來越慘烈的戰報不斷傳到武漢軍委會蔣委員長的案前，徐州突然面臨的嚴重危機，使他那因台兒莊的勝利沖得有點暈乎乎的大腦一下冷靜下來。蔣委員長突然意識到：日軍的意圖是要圍殲徐州中國軍隊主力。若是徐州這幾十萬精銳被日軍吃掉，他蔣委員長還能拿什麽來抗戰？
醒悟過來的蔣委員長立即叫來何部長、小諸葛、陳辭修等人一塊研究策劃。日軍的企圖已經暴露，再死守徐州已不現實，陳辭修等人亦主張趕緊突圍，決定放棄徐州。
由于日軍已形成對徐州的四面合圍态勢，5月25日，中國最高軍事會議決定放棄徐州。