冯子材周密布防后，为了打乱法军的部署，便决定出其不意，攻其不备，先发制人。在冯子材的指挥下，萃军于3月21日夜主动出击，突袭了盘踞在文渊的法军，以提高清军的作战士气，并引诱法军来攻关前隘。
法军受损之后，指挥官尼格里果然按捺不住，于23日凌晨指挥法军两千多人和三个炮兵连，兵分三路，气势汹汹地进犯清军长墙主阵地和东岭炮台。西路法军从文渊出发，经镇南关西面沿偏道入龙门关，上西岭风尾山攻打王孝棋勤军阵地；中路法军闯过镇南关，沿关道进抵关前隘长墙外；东路法军从谅山上马鞍山后沿山脉直扑小青山的清军阵地。
晚清外战第一捷，镇南关老将雄风(3)
随后两军展开激战，争夺东岭炮台的战斗尤为激烈，“炮声闻百里，山谷皆鸣，枪弹积阵前寸许厚”，最开始的时候，双方争夺激烈，势均力敌，死伤也相当。在枪林弹雨中，清军将士个个奋勇杀敌，抗住了法军一波又一波的攻击。
19世纪的中国炮兵
这一仗，打得天昏地暗，一直打到入夜时分，乌雀南飞，双方的枪炮声逐渐小了下去，战斗渐息，法军陆续撤回。清军乘着短暂的休战，连夜赶修工事，补充给养弹药，当夜无话，以备明日再战。
24日清晨，镇南关的关里关外，几十里大雾弥漫，能见度不超过十步。在清晨飘忽的雾气里，弥漫着一种不安的气氛。守卫长墙和高地的清军将士个个睁大眼睛，时刻警惕地看着前方。果然，法军利用天降大雾的有利时机，在猛烈的炮火掩护下，兵分三路，再次发动猛攻。在双方的喊杀声中，关前隘里硝烟和浓雾交缠在一起，弥漫四野，双方在相互冲击的过程中，甚至难辨对方旗帜。
当日午时，在法军逼近长墙主阵地并开始攀爬长墙的危急时刻，年近七十的老将冯子材大吼一声，首先打开栅门，大呼杀出，身先士卒地冲向敌阵！
壮哉！只见冯老将军手持长矛，长须飘飘，奋勇冲出，果然是宝刀不老，英雄不减当年！清军官兵见此情状，人人感奋，纷纷拿起武器勇猛地冲向法军阵地。
霎时间，只闻关前隘里杀声震天，清军和法军捉对厮杀，在枪林弹雨中，不断有人倒下去，又不断有人爬起来，却没有一个人退缩。肉搏战中，清军将士人人以死报国，奋勇拼杀。在冯老将军英勇精神的感召下，爱国官兵们个个杀红了眼，有力地打退了法军一波又一波的猖狂进攻。
与此同时，王德榜率油隘清军出击了法军运送军火的驮马队，切断了法军的粮械供应。在关前隘里展开激战的时候，东岭炮台也形成了拉锯战，清军争先攀登，三面围攻，夺回了已被法军占领的小青山，重新控制了两面高山，并将夺取的炮口对准山腰的法军，法兵见势大恐，纷纷从山上飞奔逃命。
攻下周围炮台后，清军的后援部队源源赶到，而法军的增援部队和弹药给养被清军截击，法国人因得不到及时补充而陷入困境，士气低落，镇南关的局势瞬间发生了微妙的变化。冯子材见机不可失，便立刻指挥清军发起了声势浩大、排山倒海般的反攻。
事先埋伏好的大刀队在近身肉搏战中发挥了重要作用。只见漫天的刀光剑影，直杀得法国兵心惊肉跳，尸横遍野。攻入关前隘的法军在清军的冲击下，撤离长墙，随后被清军截为四股，压到田丘里且战且退，狼狈逃窜。清军将士乘胜追击，王孝祺部将潘瀛更是杀得性起，脱去上衣，光着膀子率队持刀冲进敌阵。法军弹尽粮绝，终于支撑不住，指挥官尼格里见大势已去，急忙率领残部狼狈溃逃。冯子材率军乘胜追击，追出关外二十余里，直至深夜才暂且收兵。
战后，法国兵仍心有余悸地回忆说：“在我们的脚下，敌人从地上的一切缝隙里钻出来，手持短刀，开始了可怕的混战。他们的人数比我们的多十倍、二十倍，所有的军官和士兵都被围住或被俘虏”，“中国军的号筒，愤怒地响起‘前进！’的命令，从所有的堡垒，从所有的天边各处，烟云一般的敌人展开旗帜冲来，发出似乎把枪炮声都盖住的喊杀声”。（郑彭年：《甲申甲午风云》）
这真是法国兵的噩梦。经过这两天的激战，法军全线崩溃，狼狈逃出镇南关，退到文渊。镇南关一役，清军取得大胜，共击毙法军精锐上千人，缴获枪支弹药不计其数。法国人在战后也不得不承认，自他们入侵中国以来，“从未受此大创”。
镇南关大捷和当地老百姓的支持也是分不开的。在激战之时，当地的壮、瑶、白、彝、汉等族人民也纷纷赶来助战，为清军运送粮食等补给，提供了坚强的后勤保障。越南北部人民听说冯子材大战法国侵略者，也建立忠义军五个民团共两万余人在关外配合清军作战，起到了很大的牵制法军作用。
晚清外战第一捷，镇南关老将雄风(4)
为扩大战果，冯子材决定率军出关，乘胜追击，不给法军以喘息的机会。3月26日，清军追击到文渊，惊魂未定的法军听到清军攻来的消息后，撒开脚丫就跑。3月29日，清军克谅山，并在战斗中重伤了法军指挥官尼格里。慌乱当中，法军甚至将38门大炮和大量银元弃入淇江，狼狈南逃。
3月30日，清军克谷松，次日清军再克北黎，并收复了观音桥。此时的法军，犹如惊弓之鸟，一口气逃到郎甲、船头一带。在整个东线陆路战场上，中方出现了空前的大好形势。
3月23日到24日，也就是在镇南关大捷的几乎同时，西线战场上也取得了重大胜利，当时法军将近六千人前来攻打临洮城，守城的黑旗军依托工事，布下地雷阵顽强抵抗，最后和来援的清军内外夹击，在临洮大败法军，杀敌上千，取得临洮大捷。紧接着，清军和黑旗军又乘胜收复了广威府、黄冈屯、老社等十几个州县。
至此，越南北部战场的敌我形势已经全然改观，胜利的天平开始倒向了清军一边。在这大好形势下，冯子材决定亲率东线全军进攻北宁、河内，将法国侵略军彻底赶出越南北部地区。但就在这时，清廷突然下诏停战撤兵，前线将士一片愕然，乘胜追击的作战计划也只能作罢。
而这时，法国的内政也起了大变化。法军在镇南关和谅山惨败的消息传到巴黎后，引起法国政局的极大震动。好战的茹费理内阁在国内本来就不得人心，法军在越南战场上的失败更是火上浇油，成了压死骆驼的最后一根稻草。
失败的消息加剧了法国人民对茹费理内阁的不满，巴黎人民纷纷走上街头，高呼打倒茹费理的口号，要求茹费理立刻下台，“几使巴黎闹成革命”。法国的反对党也乘机猛烈抨击茹费理“是国家的蟊贼”，让茹费理赶紧收拾铺盖滚蛋。3月31日晚，在一片责骂声中，茹费理内阁惶惶然如丧家之犬，轰然倒台。
《中法新约》，不算成功的成功(1)
战争和外交往往是联系在一起的，要想处理好这两者关系，需要非常高超的操控水平。事实上，中法战争爆发后，各方围绕“和战”问题的外交活动和秘密谈判几乎就没有停止过。
打仗这事，是最能花钱的。打赢了，不但可以收回成本，还能敲诈一笔；但要打输了，不但血本无归，还要倒赔战胜国的军费。这在19和20世纪那弱肉强食的国际社会里，也是通例。譬如，德国人在色当战役里打败了法国人，法国人不但损兵折将，还得赔偿50亿法郎并割让阿尔萨斯和洛林给德国人。一战结束后，德国人被打败了，就得反过来赔偿1320亿马克给那些战胜国。德国人最后付不起，经过希特勒一嚷嚷，弄得德国人不干了，要重新打过。二战就这样爆发了。
张之洞
从此以后，战胜国黄世仁向战败国杨白劳强索战争赔偿的事，也就收敛不少，要不然逼得狠了，杨白劳破罐子破摔，跟你玩命，也是件麻烦事。
且说镇南关大捷后，正当冯子材联合各路清军将领，准备分兵南下收复河内、太原的时候，1885年4月7日，清政府却突然下达了“乘胜即收”、停战撤兵的命令。
命令来得太突然了，很多清军将士接令后，气得捶胸顿足，“拔剑刺地，恨恨连声”。许多士兵甚至跑到将帅帐外，写血书，立军令状，“摩拳擦掌，同声请战”，“战如不胜，甘从军法”。冯子材、王德榜等清军将领在大胜之下，也不想轻易放弃扩大战果的机会，便联合起来致电上司两广总督张之洞，要求代奏清廷，诛杀议和之人，以振士气。
当时人写诗讽刺清廷说：“十二金牌事，于今复见之。黄龙将痛饮，花目忽生期”，十二金牌就是当年南宋朝廷令岳飞从朱仙镇退兵的金牌诏故事。连清政府派赴广东会筹防务的彭玉麟也愤愤然地赋诗一首：“电飞宰相和戎惯，雷厉班师撤战回。不使黄龙成痛饮，古今一辙使人哀。”但胳膊毕竟拧不过大腿，冯子材被迫遵旨撤军后，彭玉麟只能叹道，“老臣抗疏千行泪，一夜悲歌白发生！”
事实上，以慈禧太后为首的清廷在整个中法战争期间，即使在宣战以后，也始终或明或暗地寻求媾和活动。