日军首先攻击芙蓉山外围阵地岩口铺，守军只有一个连的兵力，一个连196名官兵遭到5倍于己的1000名日军四面围攻居然坚守小镇12天，以阵亡排长以下官兵17人，伤31人的代价，击毙敌大尉田丁由五郎以下190余人，直至29日才奉命并于毗邻芙蓉山的狮子山据点。
10日内，日军始终无法突破国军芙蓉山阵地，只能绕过芙蓉山。第一阶段得芙蓉山争夺战，日军以3000主力并有独立山炮第2联队以及独立工兵第40联队等攻坚部队助战，居然无法突破一个半美械团得外围阵地，而且伤亡惨重。
日军战史中胡吹什么敌人全美械装备，火力极为强大。不过下面的叙述倒是真的:中国军斗志旺盛，弹药丰富，自动武器极多，阵地构建巧妙且火力强大，日军即使占领一处阵地也会遭受四周火力急袭。
芙蓉山的固守对整个会战极为重要，日军始终不能突破芙蓉山而利用湘黔公路，兵员、辎重输送必须绕山区崎岖小路，时间及精力耗费严重，补给线更为延长，极大影响了日军战斗力的发挥，从而加速了日军的战败。
日军绕过芙蓉山以后，全力进攻洞口镇。洞口守军为19军57团一营，他们利用极险峻的地形，把阵地如货架子一样层层构筑在山梁上，并设有掩盖枪位的鹿砦，而且阵地的前方是广阔的水田，视野很宽，轻重武器交叉射击，组成极浓密的火网，给日军的攻击造成了极大障碍。
日军只得又使出了特攻术，守军措手不及，洞口镇被日军攻陷。此时中国军队已经在洞口周围集结，将洞口守军包围。
第二路，109联队。该联队在4月18日因为无法突破芙蓉山只得迂回到隆回司一带，而此处正是中国军队兵力最为充分的主阵地，最终导致109联队被全歼。坚守芙蓉山的19师功不可没!
4月21日，日军109联队进攻中国军队19师防区，中国军队56团正面抵抗，55团则从后迂回进攻。敌军大乱，各部向后退却。因为日军占领地形都是连绵高地，中国军队火炮无法准确集中，如果想夺取阵地必须和日军近距离。
4月22日到23日，二团出动几营发动白刃战。56团团长刘光宇亲自手持刺刀带二营士兵冲杀，日军士兵也不示弱，双方激烈厮杀，日军终于不敌溃散，中国军队占领全部高地。
4月23日，100军借助大雾发动进攻，109联队随即反攻。双方激烈交火，第51师师长周志道亲自持手枪去一线督战，一线中国军队见到师长都士气大振。
51师进攻采用美式方法，首先以重炮轰击，之后步兵发动冲锋，遭遇日军顽抗再使用迫击炮精确打击。日军很快不敌，仅仅一天109联队就被击溃，大部后退入山区。
4月21日，日军进攻高沙市和山门镇，守军57师和日军激战四天。4月25日116师团主力到达发动猛攻，双方旗鼓相当，战事胶着。4月下旬，中国军队50师、19师、63师与敌在江口、青山界、松山、圭洞，双方攻守，势如拉锯，激战20昼夜。
5月12日，残敌100余人被151团包围歼灭;13日中午12时战斗结束，历时27天，毙敌700余人，合葬于倭寇墓;中国军队牺牲400余人，合葬于英雄界。
4月16日敌109联队第一中队占领青山界，4月29日，中国军队19师55团组织200余人敢死队与日军肉搏，夺回青山界，毙敌244联队400余人。
至此，日军各路进攻作战全线失败，大部分部队只前进了不到30公里，而前进最前方的日军109联队(6000多人)还被中国军队包围十分危险。
而且四方面军和27集团军只投入了一线几个军，就已经击退和重创日军，中国军队大量预备队尚没有使用。四方面军参谋长邱维达中将(黄埔四期)认为日军攻势已被阻止，而且日军主力已经被中国军队打散。此时应该立即投入预备队在日军撤退之前将其主力围歼。
5月4日何总司令批准了邱将军的建议，下令第一阶段防御作战结束，各部准备第二阶段的全线反击。日军第六方面军和第二十军也在激烈争议是否应该退兵。此时遭遇中国军队严重打击的116师团长岩永汪和第47师团长渡边洋联合发电报给南京的冈村宁次，要求中止芷江作战。
他们认为右翼左翼日军都已经惨败，中路日军不但没有攻陷任何一个重要据点，而且109联队被围，其他各部也损失惨重。而且国军芙蓉山阵地无法攻陷，日军只得依靠山间小路少量运输，不时遭受国军游击队和空军打击，弹药和给养基本断绝。
5月1日，94军奉命向68师团进攻，94军第5师为主攻部队，26军第44师配合作战。
此时日军68师团二残部已经在武阳附近会合，其中主攻武冈的一部数千人仍然有一定的战斗力。不过此时日军士兵奉命挖壕固守但是实际已经毫无斗志。
5月1日，国军进攻部队刚和68师团外围部队接触，日军只得向后溃退。
5月2日，第5师主力强攻日军马鞍山主阵地，半日内就占据大多数日军制高点，日军纷纷向核心阵地退却。第44师也进展顺利，将日军压缩至数里的区域内。
5月3日，国军二师发动总攻，日军58旅团拼死抵抗。国军这二个师都只装备少量美械，火力和日军相比并没有优势，于是果断的采用近战。日军很快不支，前线向万福桥核心阵地退却。
此时国军已经组成了一个突击队，由第5师15团组成，由第5师副师长邱行湘指挥。他们在当地少数民族山民的带领下，偷偷绕到日军侧面，突然冲入日军万福桥主阵地。国军冲入指挥部当场打死200多名各级军官，旅团指挥全然瘫痪。
另一部冲入日军炮兵阵地，日军炮兵丢下大炮四散逃跑，国军缴获全部日军大炮。国军趁机强攻，日军整个旅团全线崩溃，除了115大队以外被国军全歼。