2月9日，蔡元隆督率萬軍，反戈一擊，夜襲桐鄉。次日，蔣益澧亦領軍來攻。
桐鄉守將何培漳頑抗六日，彈儘糧絕，蔡元隆甫一攛掇，何即獻城歸降。
蔣益澧大喜，道：即進嘉興，規勸守將，或能不戰而得。
蔡元隆道：榮王廖發壽，摯愛天國，主政、行軍，秋毫無犯；愛兵、愛民，猶如家人。此人，萬難勸降。其下洋槍隊，淩厲無比，攻剿亦難。
蔣益澧歎曰：嘉興塾師曰，餘生三十年，目不見賭，獨有此時。竊思長毛號令，國朝地方官所不逮也。廖榮發者，雖入歧途，亦一正人也。
蔡元隆抵近嘉興，親自勸降，果被廖發壽痛斥。
蔣益澧道：李鴻章、程學啟等，正自北麵攻擊嘉興，我等不與其爭功，蔡兄暫歇，靜觀鷸蚌相爭。我即返師，擊退援敵，回攻杭州。
蔡元隆道：李鴻章、程學啟等恨我入骨，臬台大人是否投桃送李？
蔣益澧道：李鴻章三番來谘，飭我擒兄歸案。吾若造次，左帥會砍吾項上人頭。
李鴻章屢索蔡元隆不得，怒曰：左宗棠包庇粵逆，必即彈劾！
程學啟道：既已撕破臉皮，何不強攻嘉興，新恨舊怨，一並掃除！
李鴻章道：兩宮再諭，令我速克嘉興、常州，轉進金陵，時不我待，傳我軍令，即刻圍攻嘉興。
嘉興告急，堵王黃文金、輔王楊輔清、佑王李遠繼、康王汪海洋、聽王陳炳文、歸王鄧光明等，谘議應援，各王互不相屬，軍令難通，隻能各自為戰。
2月28日，黃文金自湖州、陳炳文自杭州、鄧光明自石門，各遣萬軍，馳援嘉興。
程學啟高接低擋，鏖戰竟日，擊退援敵。
3月6日淩晨，程學啟、劉秉璋、潘鼎新、吳長慶等兵分四路，合力攻城。
黃文金、楊輔清聞，旋即會合十八王將，督兵三萬，再出湖州，增援嘉興。
程學啟一聲令下，幾十餘門開花大炮轟倒十餘丈城垣，程學啟副將、總兵何安泰身先士卒，督率百餘敢死隊，搶先殺入。
榮王廖發壽早有準備，即將大桶火藥投擲缺口，炸死淮軍無數，何安泰當即殞命。程學啟大慟，親督親兵，奮力再攻。
探報援敵已攻至烏鎮，程學啟飭令遊擊尹長清，率軍二千，先行阻擊。
尹長清得令，率部迎戰，隻一回合，即被斬殺。
程學啟聞訊，鳴金收兵，返攻黃楊聯軍，戰至天黑，太平軍退。
3月14日，楊輔清率軍二萬，再攻桐鄉，淮軍力阻，無功而返。
3月24日，程學啟發令總攻，淮軍開花大炮，晝夜環鳴，擊毀守軍炮台二十餘座。擊塌城垣百餘丈。程學啟親率親兵營，率先衝鋒，忽一彈子飛來，正中學啟左額，學啟立刻撲地，半時不到，殞命西去。
劉秉璋、潘鼎新、吳長慶等不敢懈怠，亦不敢退，複燃開花大炮，再轟城垣，忽聽一聲巨響，太平軍火藥庫中彈燃爆，守軍頓時亂作一團。
劉、潘、吳趁機越濠而出，攻入城內。吳長慶一馬當先，左臂中彈，血流如注，長慶不顧，仍裹創血戰；有兵士懼，倉惶而退，長慶立斬數人，再無人退，甫有號炮再響，皆蜂擁而入，嘉興遂克。