再說，林鳳祥北伐大軍攻至黃河劉家口，但見對岸清兵林立，渡船皆毀，自此入魯北上已無可能。鳳祥遂西進尋渡，一路殺至開封，屢攻不克。遂繞至朱仙鎮。
時麥兒黃黃，夏風習習，林鳳祥心境稍爽，遂再奏稟：東王千歲千千歲，自臨淮至此，儘見坡麥，未見一田，糧料甚難，兵將日日加增，儘見騎馬騾者甚多。忖思此時之際，各項俱皆豐足，隻有穀米不足。臨淮至此，著人帶文回朝數次，未知至否？如此山遙水遠，音信難通。茲今在朱仙鎮酌議起程，西走尋渡，大軍越河功成，方可回稟各王殿下金安，無煩遠慮也。轉奏天王萬歲萬歲萬萬歲！
1853年6月22日，林鳳祥率軍由祥符趕至中牟，逢五百清兵城外紮營，即刻包圍砍殺。
清兵懼而抱首，隻待死耳。
豫人目擊，歎：“畏死而終不免於死。賊至而竟束手受戕，餒氣乘心，魂魄先喪。可見平日操練無方，武備懈馳，徒有食糧之名而已。”
林鳳祥攻得中牟，即刻督兵鄭州，於鞏縣尋得一渡口，秘命人尋舟，得小船三十。前軍、中軍三萬人，曆時七晝夜，全渡。後軍三千，不及渡，被追兵打散。
7月8日，林風祥率過河之軍，劍指懷慶府。
懷慶，豫西北重鎮，盛產貨藥，物阜民豐。林風祥倉促渡河，資財儘失，冀打牙祭，複待後軍。
孰料懷慶知府餘炳燾、知縣裘寶鏞皆乃猛人，巧舌如簧，闔府一宣，竟募得七千戰士。
林鳳祥先禮，降書綁箭，射入城垣。
餘炳燾臨危無懼，指揮兵士練勇，檑木滾下，矢石投下，滾湯潑下。林鳳祥連攻半月，死傷枕藉，一無所獲。強攻不克，林鳳祥遂外紮營寨，欲圈圍懷慶，耗死炳燾。此方甚毒，一月下來，懷慶府已彈儘糧絕。
餘炳燾無奈飭令：釋囚守城，城守釋囚。守城男子每日食麵糊兩餐；女子即無麵糊，清水亦可餐。
連攻不克，林鳳祥又調土營，挖道炸城。
炳燾乃於城中穴地，置大甕入內，令人坐而聽之，準聲所起，亦掘地道，掘愈近，聲愈近，至能辨人語，引水驟灌之。或以“草上無露則下有地道，遠近曲折，一目了然”。炳燾以此兩方，破地道三十餘處。
餘炳燾硬撐十日，清軍援兵陸續趕到。
7月18日，綏遠城將軍托明阿、都統西淩阿率兵四千，抵懷慶東南，於徐堡鎮紮營。
24日，河南提督善祿、大名鎮總兵董占元率兵三千抵懷慶東北，駐足清化鎮。
27日，山東巡撫李僡率兵二千，駐紮清化鎮、二十裡鋪。
28日，勝保率兵一千九，至懷慶城東八裡處紮營。
29日，勝保率軍猛攻，托明阿等消極拖遝。勝保無權節製諸軍，惱，奏曰：近日各路官兵雖厚，而實在與賊接仗者不多。即便接仗，不過於距賊二百步外以槍炮轟擊。迨賊炮一發，賊旗一動，遂多不敢前衝。專恃槍炮安能破壘擒渠？故以之勝賊尚易，以之滅賊實難。至黑龍江馬隊之槍箭雖稱勁旅，不如吉林兵鳥槍，於截剿追殺更為得力。臣觀，北路距賊甚遠，進戰時隔河施放槍炮，賊亦不甚介意。西路現在無兵，托明阿等東路尚能為臣後援，而其官兵亦多不能前進。各路官兵雖多，皆有統帶大員，事權不一，未能和衷共濟。欽臣訥爾經額遠在臨洺關調度，實遠水不解近渴。
林鳳祥圍攻兩月，雖連敗各路援軍。但人疲馬乏，戰資耗儘，而始終不能破城。而清軍援部，正源源不斷，自東、南、北三方蜂擁抵近。林鳳祥斟酌再三，決意撤圍西進，擺脫追兵。
1853年9月3日，鳳祥率軍折入山西，連克垣曲、絳縣，斬殺二知縣，進逼平陽。
平陽得失關係晉省全局，鹹豐帝嚴旨切責：前因賊擾懷慶，密邇山西，疊次諭令哈芬嚴密防堵。該撫前奏布置隘口情形，據稱已屬周密。乃賊匪突陷垣曲，擾及絳縣、曲沃，直撲平陽。疊據藩司郭夢齡馳奏，而哈芬近在省南，奏報轉遲，且由陽城親帶官兵進剿，自應迅赴平陽迎擊，何以遷延旬日尚逗留潞郡？似此調度無方，畏葸無能，若仍令待罪封疆，必致更滋貽誤。懷慶圍解，勝保功大，加都統銜，賜黃馬褂，特予節製各路人馬，入晉殺賊。
1853年9月12日，林鳳祥攻打平陽，架炮轟塌城垣，兵勇商民驚慌四散，平陽知府何維墀脫手釧激賞之，亦不能止。林軍占得平陽，尤恨平民助妖，怒將武廟沿街民居焚燒殆儘。
勝保率軍追至，密伏城北。
林鳳祥不知，督兵繼進，被西淩阿馬隊衝散。林鳳祥慌不擇路，督率後軍，退守平陽；李開芳率前隊，北進洪洞。