據徐永昌稱，蔣介石對他的敵情判斷將信將疑，但對他所提努力打擊日軍的主張則表示同意。長沙失守后，白崇禧主張放棄在長沙、衡陽之間拼命抵抗，將防守衡陽的兵力調往桂林，著手桂林防衛戰。徐永昌則主張，下一階段仍要在長沙、衡陽正面作持久抵抗，兩翼則相機與日軍展開決戰，以消耗日軍，打擊其僥幸心理。徐永昌的意見被蔣介石采納。

自6月下旬至9月初是湖南會戰的第二階段。日軍總結第一階段的戰果稱：“自開始作戰以來，第11軍雖力圖殲滅第九戰區軍的主力，但敵軍大部回避與我決戰，尤其是敵軍退避到了東面山岳地帶，如不將其殲滅，對第二期作戰向桂林、柳州方面進攻，則很難保證不留有后患。”為此，日軍的戰略構想是：為了下一階段攻取桂林、柳州，要在這一階段的作戰中盡量殲滅中國軍隊，為此，設法引誘中國軍隊采取攻勢。

衡陽地處粵漢與湘桂鐵路交會處，是進入桂、黔、川、滇四省的門戶；湘江連接長沙與衡陽，是南北交通之要道。日軍估計進攻衡陽時，中國軍隊將會全力展開攻擊。為此，日軍計劃在攻取衡陽的同時，以主力搜索圍殲對日軍側攻和前來增援的國軍，重點擊潰湘東山區的中國第九戰區主力。

國軍在第二階段的戰略是：中間防堵，兩翼夾擊，置主力于湘江之東西兩翼，實施正面阻止，側背猛攻，戰略上與前一階段沒有大異。在此期間，國軍只以1個軍用于衡陽防守，而東西兩翼則先后投入了約13個軍以上的兵力。

6月20日，蔣介石電令各兵團以阻敵深入、確保衡陽為目的，從東西兩翼夾擊日軍。具體的戰略部署是：中央以一部于淥口、衡山地區持久抵抗，東翼主力由醴陵、瀏陽向西，西翼主力由寧鄉、益陽向東，夾擊深入之敵而殲滅之。