横山勇惹不起他，决定于7月2日夜暂停进攻，预定7月11日再重新发起进攻。守军为增强防守力量，乘日军暂停攻击之机，调第3师留置衡山附近的第8团归建。该团于5日8时许从何家塘、望家坳间突破日军包围圈，冲入城中。
由于日军主攻方向始终保持于城西南郊，守军为加强该方面的防守、彻底形成重点，重新调整了部署:令第3师(欠第7团)南移占领天马山、岳屏山、接龙山、五桂岭高地，建立第二线阵地;第3师所遗城西北防务，除易赖庙的前街及青山街、杨林庙主阵地仍由第7团防守外，其余均交由第190师接替;湘江西岸的警戒，以铁炉门为界，以南由暂54师负责，以北由第190师负责。
中路日军进攻衡阳期间，东路日军第3、第13师团连续攻占攸县、安仁、进抵耒阳;西路日军第40师团亦已攻占衡阳西北仅35公里的渣江，衡阳守军已完全陷于孤立。
但在西路日军后方，守军第30集团军曾实施反击，6月28日收复萍乡，7月4日进攻醴陵，几乎全歼日军骑兵第3联队。日军第27师团等部队前来增援，于10日又夺占醴陵。日军第68、第116师团经休整补充及加强炮兵后，于7月11日上午开始第二次攻击。
此时第68师团已由堤三树男接任师团长。第116师团的120联队在其飞行第44战队、野炮兵第122联队及独立野炮第2联队掩护下，向城西南预10师第一线阵地要点虎形山发起猛攻。激战至12日9时，守军伤亡重大，阵地为日军突破。
第3师抽出1个营增援反击，经白刃战后，营长阵亡，士兵死伤四分之三，未能收复阵地，退守西禅寺。激战至15日，第一线阵地多处被突破，第二线增援部队经反复争夺，又收复一些要点，两线阵地犬牙交错，战斗极为激烈。
第10军为加强城西南的防御纵深，又令第190师在接龙山、雁峰寺、中正堂一带建立第三线阵地。迄16日，第一线阵地枫树山、军舰高地等俱为日军突破。第10军遂将第一线阵地全部放弃，以第3师及预10师残部合力防守第二线阵地。
此时，城西郊日军第57旅团亦已推进至距小西门不足1000米之处。由于守军防御正面缩小，所以人员伤亡虽众，防守强度和火力密度却减少甚微。
7月17日、18日，日军进攻势头下降。经连日激战，日军主攻方向上的第116师团第120联队联队长和尔基隆大佐及第133联队的3个大队长相继被打死，每大队所余兵力不足100人，而且弹药已严重不足，攻坚战斗已难以为继。日军第11军不得已再次下令于19日起暂停攻击。
衡阳久攻不下，连日本天皇都如坐针毡，明发电文严厉训斥了横山勇，让他尽快拿下衡阳，否则就剖腹谢罪。此时日军68、116两个师团几乎已被第10军打残，已无力组织强攻，横山勇遂紧急增调了第58、第13两个主力师团增援。
军事委员会虽早在日军围攻衡阳之前即已令王陵基指挥第72、第58、第26军，杨森指挥第20、第44军，欧震指挥第37军、暂2军，王耀武指挥第73、第79、第99、第100军等夹击日军，后又数次电令各兵团“乘敌后空虚，击破进犯之敌”和“扫荡当面敌人”，令李玉堂、王耀武速解衡阳之围，但衡阳外围各兵团在东、西两路日军的阻击下有时连守都守不住，被迫不断后撤，当然更无力击歼两路日军、解衡阳之围了。
由于湘江以东各军散处日军侧后，距衡阳尚远，而第62军已迫近衡阳，因而军事委员会于7月22日电令第九战区集中湘江以西部队向进攻衡阳的日军攻击 。
23日，军事委员会又电令李玉堂“即日进驻62军军部，直接督促”。军事委员会的电令(包括以前的多次电报)均被日军情报人员破译，因而日军对第九战区各部队的行动非常清楚。
这次获得情报后，当即将电令内容通知各师团，并令第40师团占领衡阳西南、正西和西北约10至15公里处的七里山、两母山、二塘、城口墟、板桥、狭山冲一线阵地，堵截、阻击由西方来援的中国军队。同时令第57旅团归还第68师团建制，令第109联队归还第116师团建制，以便于指挥。
第62军一度突进至火车西站，但在日军第40师团的反击下，伤亡甚大，且弹药告罄，被迫撤退至盘右岭附近收容整理。第79、第74军主力及第100军之第319师亦被阻止于日军第40师团的堵截线之外。
7月29日，日军第11军确知专为补给衡阳地区的辎重车队预定8月4日前后可到达衡阳附近，部队也经过调整，遂于当日下达了攻击命令:确定8月4日开始第三次攻击，除令第68、第116师团仍担任主攻任务、于8月4日向岳屏山方向攻击外，另令第58师团于8月5日向衡阳西北方向攻击，令第13师团以一部兵力在湘江东岸以火力支援湘江以西的作战。
7月27日及8月2日，中国空军两次空投蒋介石的手令，鼓励第10军坚守衡阳待援 。
8月2日，第62军及第100军确已到达三塘、两母山地区，第74军亦已到达佘田桥、新桥，第79军到达望城坳附近，与日军第40师团激战。第62军在进攻二塘、两母山时与日军第234联队进行了白刃战，予该联队以歼灭性打击。
但由于第62军等在战斗中伤亡亦众，始终未能歼灭依托工事坚守阵地的日军残部，被阻于日军堵截线之外，未能与衡阳守军会合。在此期间的外围各兵团，除第24集团军遵照军事委员会的命令积极向湘江以西进攻衡阳的日军进攻外，湘江以东的第九战区各军没有进行积极有力的进攻。