陈士渠、唐亮原考虑攻城或打援两个作战方案，因判断整编第47军不敢单独行动，可能待整编第18军赶到后台力增援洛阳，如此则援军可能打不到或不好打，而自军军经过新式整军运动后，战士觉悟空前提高，战斗情绪极旺，部队的装备也得到了加强。
遂决心采取速战速决手段，在整编第18军赶到前攻克洛阳，歼灭第206师。于是，迅速部署：华东野战军3纵担任对城东、城北面的包围，并由东、北门攻城；陈赓兵团3纵担任对城西、城南面的包围，并由西、南门攻城；华东野战军8纵抢占黑石关，负责阻止由郑州西援的敌军；陈赓9纵队袭击并控制新安、渑池等地，阻击可能东援的裴昌会兵团，并于战役发起后，以主力靠近洛阳，为战役总预备队。
48年3月8日，陈赓兵团、陈唐兵团开始向洛阳外围之敌发起攻击。8纵、9纵迅速切断了陇海铁路，攻下洛阳周围十数座城镇，扫清了洛阳外围百里以内之敌，完成了对洛阳的全面包围，然后将主力部署在洛阳东西两线，准备阻援。
3月9日黄昏，负责攻城的3纵、4纵分别强渡伊、洛两河，从东北和西南两面进攻洛阳外围阵地。到11日下午，夺取了除西工发电厂、九龙台和潞泽会馆外的其余全部外围阵地。
11日晚七时整，洛阳攻坚战开始。攻东门的是3纵第8师。洛阳东门是敌人整个城防的重点，工事坚固复杂。从瀍河东桥头到瓮城门150米距离内，设有五道铁丝网，四道鹿寨，三层伏碉，过了瀍河接着是一道城壕，其对面又有背靠瓮城的两座大梅花堡，瓮城门洞内塞有装满沙土的汽油桶，厚、高各5米。瓮城的后面，才是洛阳东门和高耸的城门楼。
为了突破东门，3纵队孙继先司令员和丁秋生政委亲临东关阵地查看地形，了解敌情，并亲自给8师指导员作战斗动员。根据国民党军队设防情况，纵队决定：采取以营为单位的突击梯队，实施强攻，连续攻击。突击营由23团一营(张明任营长)担任。
总攻开始后，仅仅30分钟，城壕外的12道障碍均被炮火击毁。厚厚的瓮城门，也被爆开，后续部队即从这里源源不断地涌进城里，向城纵深实施进攻。攻打西门的是4纵10旅。在西门外，敌人筑有一道又宽又厚的城墙，且墙外挖有一条10米宽的护城河，只有一座土木桥，敌人在桥头两侧布满了铁丝网、拒马等障碍物。当两次爆破均未成功时，解放军于12日决定强攻西门。
12日13时，10旅将全部炮火集中，向西门守敌实施猛烈炮击，遂将城墙上主要碉堡和桥头两侧障碍物摧毁，接着步兵破开桥上的铁丝网和拒马，打开了一条通路，工兵立即发起冲击。在火力掩护下，冲过桥梁，向城墙缺口扑去，很快歼灭瓮城守敌。后继部队相继突入城内，沿西大街向核心阵地发动进攻。
攻打南门的是4纵11旅32团和13旅37团。南门守敌顽固抵抗，再加南门靠近洛河，无法展开兵力，致使攻击受挫。12日6时张明营从东门入城，直插南门，内外夹击，最终突破南门，并歼灭大部守敌，剩余残敌狼狈地向西南角逃跑。
突击一营跟踪追击，其他部队向北发展。逃向西南角之敌很快被歼，西南角阵地即被占领。到12日15时，攻城部队已突破洛阳所有城门，各路大军会师城内，对国军进行分割包围。城内四处溃退下来的溃兵，被压缩到了西北隅的核心阵地里，其余城区全部被共军控制。
当夜，共军向核心阵地外围发起攻击。13日夜，再次发起攻击，经过4个小时的激烈战斗，歼敌2000余人。邱行湘带着残敌，逃进西北角阵地旁边一所高大建筑物内，这是敌人最后退守的据点——洛阳中学。
这里是一个长宽不到100米的地方，敌人在此构筑了坚固的工事，包括地面的和地下室，而且，这里还集中着206师的主力，共计5000余人。邱行湘幻想着凭借这些作垂死挣扎，等待援军的到来。这时，蒋介石分别由登封、偃师赶来的两路援军，均遭到阻援部队的顽强阻击。
而城内双方又进行多次交手。由于敌人在壕沟底密布着枪眼，左右侧火力猛烈，使共军两次攻击都未奏效。日16时半，共军集中炮火向敌核心阵地实施轰击。几十门大炮、一百多门小口径曲射炮在四十分钟内朝百米见方的阵地上发射1万多发炮弹，守军被炸得死的死，伤的伤。
随后，大军向该阵地发起攻击，很快肃清残敌，邱行湘及其部下全部成了俘虏。在共军攻城战斗强大声势震撼和威逼下，13日潞泽会馆一个连投降，14日西工发电厂一个营和九龙台的一个连均向共军缴械。
至此，古都洛阳被完全占领。同时，国民党援兵胡琏和孙元良的部队已越过登封、黑石关向洛阳逼近。鉴于已达到歼灭敌有生力量之目的，为了摆脱合围，共军在处理完善后工作后，主动有秩序地撤离洛阳。
17日，全部转移到洛阳以西以南地区，休整待机。3月18日晨，敌援兵整编11师、38师及124旅约6个旅的兵力进入空城洛阳。十天后38师奉命全部运到西安，11师也于同日东撤，以加强郑州及平汉路的守备。
洛阳城仅留下124旅驻守。4月3日，这个旅的主力也开往偃师，只丢下371团及一个保安团守备。陈赓决定再歼洛阳守敌，遂于4月4日指挥主力围攻洛阳。
国军发觉后，于5日晨弃城东逃，共军迅速追击，将其包围在东张古洞地区，经2小时战斗，全部被歼灭，共毙伤敌4600余名。古都洛阳宣告解放。
此役，歼国民党青年军第206师和国防部直属炮兵、汽车分队等共2万余人，从此切断了国民党军潼关至郑州的铁路联系，使豫西、太岳解放区连成了一片。