这些人在大军得胜时可以造势，稍遇困难就心中打鼓，个个把鞋带绑紧想趁机窜逃。
由于缺吃少穿，太平军中冻饿而死不少，还有少数人绝望之余自刎、上吊、投水，以免自己被俘后多受痛苦。毕竟手中还有数千太平军老兵，曾立昌在夜间组织了一次有秩序的撤退，最终安然撤出临清，南退至清水镇，并于夜间对追击的清朝胜保部队进行夜袭，打了一个漂亮仗。胜保本人跑得快，遁走馆陶。
此时，如果剩下的两万来人再掉头北上，解阜城之围仍存在可能性。许宗扬非常担心回不去南京，撺掇曾立昌全军南返。
结果，心慌撤退途中，清军正规军与地方乡勇四处截杀，太平军边打边减员。行至冠县三里庄时，胜保追兵杀至，混战中杀掉了北伐援军主将之一的陈仕保。由此，北伐援军大溃，四处散逃。
5月5日，曾立昌率残卒千把人自江苏丰县突围，准备由黄河北岸渡河。结果，由于岸边河泥淤住马足，太平军残兵成为清军枪炮和掷枪的靶子，基本全部被消灭掉。
北伐援军主将曾立昌虽然有勇无谋，本人很有血性，知事不可为，纵马跃入黄河中自杀。
最终，只有许宗扬一人在8月率少量残卒遁回南京。震怒之下，杨秀清把他下狱治罪。此人出狱后，划拨韦昌辉手下。天京事变时，替北王韦昌辉攻入东王府杀杨秀清的，许宗扬算是一个得力干将。
当时，杨秀清还想派北王韦昌辉再次提军北上援救，但由于二人嫌隙日深，杨秀清恐怕韦昌辉北去后自立山头，便封秦日纲为“燕王”，鼓动他前往“燕”地北伐。
秦日纲非常勉强，率军行至凤阳、庐州（合肥）一带，就以兵少为借口，再不北行。他留在安徽磨蹭，二次北伐援军不果行。
突围！突围！——太平军残部的垂死挣扎
由于消息不通，5月5日，被困于阜城的林凤祥、李开芳冒死突围，玩命南奔，遁至东光的连镇。连镇跨运河，分为东西两镇。林、李二人各守一镇，在运河上搭架浮桥，互相接应之余，与僧格林沁部清军相持。
僧王爷是个经验老到的武将，他将自己军队扎于河东，命托明阿部屯于河西。
胜保一部在击败太平军援军后，整齐人马回返，与两部清军会合，紧围连镇。
这个时候，林凤祥、李开芳仍然不知援军已败亡殆尽。在拼死突围与援军合军的精神鼓舞下，5月28日，李开芳率数千北伐军突围南驰，想到达临清与南来援军接上头。林凤祥余部坚守连镇。
李开芳确实能战，他自吴桥奔入山东，经德州、平原后，攻下恩县和高唐州。待到进入高唐州后，李开芳这才得知北伐援军已经失败。无奈之下，他只得率军据高唐死守，与前来攻打的胜保展开较量。
从此以后，林、李二人军分势单，只得各自为战，能拖一天就是一天。
西连镇方面，僧格林沁清军日夜炮轰枪击，太平军死伤惨重。危急之时，忽然冒出一位姓李的火夫，声称自己乃耶稣附体，受天命来保护林凤祥突围。这位火夫肯定见过杨秀清“表演”，如今也要过把瘾。林凤祥大喜，忙为李师傅设“军师府”，还为他派选一个副手，调拨数百人归其统管，天天操演“龙门”、“八卦”等阵法，像模像样，短期内很是鼓舞了一把士气。李师傅常常立于高台之上，在上面高谈阔论，以带客家口音的官话“讲道理”，林凤祥等大小将卒皆在下跪听。迁延一个月，李师傅指挥乖张，多次败绩，林凤祥忽悟其伪，一朝大怒，亲手把李师傅脑袋砍下，送他上了“天堂”。
延至1855年1月初，被围于西连镇的林凤祥一军粮食吃光，骡马吃光，皮箱刀鞘吃光，野菜榆树皮吃光，最后，只得把抓获的清军和己方逃兵杀掉当“干粮”。
清军展开“攻心战”，日日让太平军逃兵高举“投诚免死”牌在营垒外转悠，招降了数百太平军。
1月7日，清军猛攻西连镇，几乎杀尽坚守的太平军。
清军搜查俘虏的北伐军，见人人身上都揣有作为口粮的一方人肉，审问才知，这些肉皆是从他们本已掩埋的同伴尸体上割下。由于士兵实在饿不过，林凤祥只得下令翻掘尸体当军粮。
彻搜三昼夜，把连镇查了底掉，又在运河中下网捞寻，清军就是找不到林凤祥本人尸体。
一直搜到第四天，清军终于在连镇内一处帐篷下查到一个地道入口。这个地道上盖石板，石板上又堆了大量砖瓦。僧格林沁闻报，立即亲自率人来看。
掘开洞口后，清军喊喝，地洞中悄然无应。于是，昔日在北伐军中当过大厨的一位施姓降兵自告奋勇，只身一人入洞查看。
入洞之后，施大厨吓了一大跳。他看见洞里面异常宽阔，其中有灯，有床帐，有桌椅，生活设施一应俱全。再仔细看，他发现林凤祥与检点、指挥、总制等三十多名北伐军将领躲藏在其中，壁间堆满粮食，看上去可供这些人消费月余有足。
众人见施大厨入洞，纷纷提刀要杀，被林凤祥喝止：“洞口已破，天意可知，杀他无益。”
由于林凤祥右臂左腿均受重伤，只得率众出洞认栽。
僧格林沁粗略审讯后，立刻派人把林凤祥押上囚车运送北京。不久，这位北伐主将被凌迟于市。林凤祥很是条汉子，受剐刑期间一直注视刽子手的刀法，临死不吭一声。他与李开芳是老乡，皆是广西武鸣的客家人（二人并非壮族），是最早加入拜上帝教的徒众。
见僧格林沁大有战功，清廷怪罪围高唐久无战功的胜保，把他逮治入京，治罪后发往新疆“劳改”。
于是，僧格林沁并胜保军，合力围攻高唐，并派人先携巨炮轰击。
听闻僧格林沁本人将来，又知林凤祥被擒，李开芳知道高唐守不住，连夜开城逃走。一行人奔至荏平县冯官屯后，凭借堡寨死守。
僧格林沁快马赶到，立刻指挥清军包围冯官屯，筑城于四周，围攻李开芳。
艰难困苦之中，李开芳仍然不气馁。僧格林沁有一门名曰“黑虎”的千斤巨炮，每次装药子数十斤，开炮前必祭之以酒，轰隆声中，每次都打死不少太平军。仔细观察了巨炮炮台位置后，李开芳命人掘地道，直达炮台正下方，然后堆满炸药，牵长长引信而出，点燃。一声巨响，炮台上的“黑虎”以及百十号炮兵全部被炸飞上天。
先前在连镇自告奋勇下地道察看情势的施大厨此时又来精神，他上献一计，劝僧格林沁向冯官屯内灌水。
僧王大喜，立刻找来地方官四处寻来民夫挖沟，一天给这些人发三百文工钱，昼夜不停干活，决运河水连夜灌营。
转天一大早，就有营中难民凫水逃出，报告说由于大水突涌，不仅把太平军在营内的地道灌塌淹死多人，营中炸药也被水浸湿，成为废物。再仔细询问，僧王得知太平军已经挖通二十多条地道达往清营之中，正运送火药。如果没有运河水灌入，火药齐发之下，不知又会炸死几千清军士兵。僧王思及此，冷汗直冒。
过了十来天，穷愁之下的李开芳想出一计。他派人往营外送降书，表示投降。
僧格林沁不傻，深知李开芳有诈降之意，就派人牵两条巨绳，绳头放在冯官屯中，绳尾系于清营大树上，命令“投降”的太平军脚踏一绳，手牵一绳，一个一个过来。清军将士在营内严防，对过来的每个人登记造册后，皆一一捆缚，押往营后集中。
刚刚出来一百三十多人，冯官屯内的太平军在李开芳指挥下忽然以残存炸药点燃大炮，向外猛轰。但是，僧格林沁早有防备，射程内根本无清兵密集，仅仅砂弹溅伤数人而已，太平军诈降突围失败。
最倒霉的是那一百多号诈降兵士，依次被清军斩首处决。其间，清军一个施刑的马兵见一名太平军手上有巨大金镯，见财起意，上前掠取。太平军士兵说，这镯子戴得紧，反正我要死了，留此何用？你给我松梆，我自己取下，你再斩我，咱们两方便。马兵很高兴，忙替太平军兵士松绑。说时迟那时快，太平军兵士忽然抽拔清军马兵的腰刀，挥手把对方砍成两段，夺马狂逃，沿途砍伤十多个清兵。由于天黑不辨方向，这位太平军最终不能逸出，为清军包围搏杀。
一直坚持到5月30日，李开芳营内弹尽粮绝，只得亲笔写降表表示投降。
由于冯官屯内外水深数尺，僧格林沁命军士乘船而入，二十人一批，分批押送降兵出外。把这些生俘的太平军士兵一一绑缚后，分送各营处决，共计两千多人。
至于太平军高级军将以及跟随李开芳的两名美貌娈童，均被清兵捆绑结实，齐跪于供案之前。僧格林沁下令把这些人生剖挖心，祭奠数日来在高唐州、连镇、冯官屯被太平军打死的八千多清军将士。
李开芳本人终于到达了北京。
不过，他不是以胜利者姿态，而是以一个俘囚身份坐槛车而入，在西市受剐刑而死。
太平军的“北伐”，至此划上句号。
南京方面，由于在北伐的同时又有更重要的“西征”，怕顾此失彼，所以洪、杨二人根本不敢分军对北伐施以更实质性的援助。
由于石达开能干，太平军1855年初在湖口和九江取得两次大胜，总算扭转了西征危局。
附一：“厘金”制度及其他经济措施
由于太平军占领南京，全国形势危急，浙江长兴一个名叫钱江的士人献计给政府生财，时在扬州帮办军务的刑部侍郎雷以諴加以采纳，于1853年深秋在扬州附近地区试行“厘金”制度。