中路日军第116师团和第68师团在日军总攻长沙之前，即已于6月13日和16日分别轻易地占领了株洲及清江铺。守军暂2军退守渌水南岸。配属第116师团的第68师团第133联队则西进，占领了湘潭。守军新23师退至涟水以南，转移到东台山一带。
6月19日，第116师团(附第68师团的第57旅团)由株洲附近西渡湘江，分两路各沿湘江西岸及易俗河向衡阳前进;第68师团(欠第57旅团)由石亭附近渡过渌水，击退暂2军后沿湘江东岸向衡阳急进。第68师团于23日即已突抵泉溪市附近，并渡过耒河，击退暂54师的警戒部队。
24日傍晚，以一部西进，进攻五马槽衡阳外围阵地，主力经赤水塘西渡湘江，向衡阳以南迂回。迄27日，日军第116师团进至衡阳城西郊，突破守军第3师阵地，逼抵瓦子坪、虎形山主阵地前;第68师团一部突破五马槽第190师前进阵地和冯家冲主阵地，并攻占了飞机场;主力则突破衡阳城南黄花岭、欧家町预10师的警戒阵地，进至铁路线预10师的主阵地前。至此，衡阳已处于日军的三面包围之中。
衡阳位于湘江中游，系粤汉铁路和湘桂铁路的交会点，是第九战区的重要战略基地之一。该城东端紧临湘水西岸。防守衡阳的部队为第10军，下辖第3师、第190师及预10师。第190师及暂54师原在湘江以东，日军第68师团独立第64大队攻占湘江东飞机场，将190师及暂54师从中间割断后，第10军为集中兵力、缩短防线，于26日夜将该两师调回湘江西岸衡阳市区。
其中第190师是后调师，仅有1个第570团是个完整的团，其余各部均仅有干部;第3师有1个团尚在衡山附近。另外还配属有暂54师(欠2个团)及48师的战防炮营、第46军的1个山炮连和第74军的野炮营。此时在衡阳的防御部署是:第3师防守衡阳西北部，预10师防守衡阳西郊，第190师防守衡阳南郊，暂54师防守衡阳北郊。
6月27日夜，日军完成了攻城的准备 。6月28日拂晓，日军发起总攻。守军各部队在炮火支援下坚守阵地，并不时予以反击。激战终日，日军毫无进展。第68师团师团长佐久间为人及其参谋长原田贞三郎等被炮击负重伤，由第116师团师团长岩永汪统一指挥两师团。
29日日军仍毫无进展。岩永汪将衡阳以西四塘附近担任侧背警戒的第133联队投入战斗，与炮兵第122联队协同，企图于7月1日进攻城西坚固据点张家山。激战至7月2日，除主攻方向上经多次反复争夺的张家山被日军第133联队攻占外，其他方面的守军均击退日军的多次进攻，守住了阵地。由于守军的抗击，日军连续猛攻5日，损耗了大量人员和弹药，仅推进了1000米。
第11军为补充弹药和休整战力，决定于7月2日夜暂停进攻，预定7月11日再重新发起进攻。守军为增强防守力量，乘日军暂停攻击之机，调第3师留置衡山附近的第8团归建。该团于5日8时许从何家塘、望家坳间突破日军包围圈，冲入城中。
由于日军主攻方向始终保持于城西南郊，守军为加强该方面的防守、彻底形成重点，重新调整了部署:令第3师(欠第7团)南移占领天马山、岳屏山、接龙山、五桂岭高地，建立第二线阵地;第3师所遗城西北防务，除易赖庙的前街及青山街、杨林庙主阵地仍由第7团防守外，其余均交由第190师接替;湘江西岸的警戒，以铁炉门为界，以南由暂54师负责，以北由第190师负责。
中路日军进攻衡阳期间，东路日军第3、第13师团连续攻占攸县、安仁、进抵耒阳;西路日军第40师团亦已攻占衡阳西北仅35公里的渣江，衡阳守军已完全陷于孤立。但在西路日军后方，守军第30集团军曾实施反击，6月28日收复萍乡，7月4日进攻醴陵，几乎全歼日军骑兵第3联队。日军第27师团等部队前来增援，于10日又夺占醴陵。
日军第68、第116师团经休整补充及加强炮兵后，于7月11日上午开始第二次攻击。此时第68师团已由堤三树男接任师团长。第116师团的120联队在其飞行第44战队、野炮兵第122联队及独立野炮第2联队掩护下，向城西南预10师第一线阵地要点虎形山发起猛攻。
激战至12日9时，守军伤亡重大，阵地为日军突破。第3师抽出1个营增援反击，经白刃战后，营长阵亡，士兵死伤四分之三，未能收复阵地，退守西禅寺。
激战至15日，第一线阵地多处被突破，第二线增援部队经反复争夺，又收复一些要点，两线阵地犬牙交错，战斗极为激烈。第10军为加强城西南的防御纵深，又令第190师在接龙山、雁峰寺、中正堂一带建立第三线阵地。迄16日，第一线阵地枫树山、军舰高地等俱为日军突破。第10军遂将第一线阵地全部放弃，以第3师及预10师残部合力防守第二线阵地。
此时，城西郊日军第57旅团亦已推进至距小西门不足1000米之处。由于守军防御正面缩小，所以人员伤亡虽众，防守强度和火力密度却减少甚微。7月17日、18日，日军进攻势头下降。经连日激战，日军主攻方向上的第116师团第120联队联队长和尔基隆大佐及第133联队的3个大队长相继被打死，每大队所余兵力不足100人，而且弹药已严重不足，攻坚战斗已难以为继。日军第11军不得已再次下令于19日起暂停攻击。
军事委员会虽早在日军围攻衡阳之前即已令王陵基指挥第72、第58、第26军，杨森指挥第20、第44军，欧震指挥第37军、暂2军，王耀武指挥第73、第79、第99、第100军等夹击日军，后又数次电令各兵团乘敌后空虚，击破进犯之敌和扫荡当面敌人，令李玉堂、王耀武速解衡阳之围，但衡阳外围各兵团在东、西两路日军的阻击下有时连守都守不住，被迫不断后撤，当然更无力击歼两路日军、解衡阳之围了。