李尚揚部潰敗，李世賢不敢等閒視之，即令全軍，暫棄祁門，返攻樂平。4月19日，李世賢率軍四萬，號稱十萬，再戰桃嶺，力挫楚將崔大光、遊擊黃少春，斬殺副將羅近秋。左軍大敗，退防樂平。
李世賢連營十餘裡，圍攻樂平。
左宗棠飭令各營傍樂平縣城東南，加修外濠，周十餘裡；又令南鄉團練入城固守，以作疑軍。宗棠親執戰刀，督率楚軍，分守外濠，負隅頑抗。
李世賢屢攻不下，遂遣主力，主攻西城；槍炮箭矢晝夜環放，連擊三日，楚軍漸漸不支。左宗棠急召楊昌濬、劉典、王開化、王開琳議戰。
楊等皆惶。
宗棠道：侍逆勇猛非凡，而心機甚深。生死存亡，或於今日，或於明日，或於後日，抑或於此時！再不反擊，坐守待斃。絕地反擊，傾巢而出，決一死戰。吾令，王開化守護西門，誓死拖住侍逆主力；即便城破，亦要死戰。王開琳兵出東門，攻恃逆東路。左某偕劉典一軍，攻賊軍中路。擒賊先擒王，楊昌濬率親兵營，尋得侍逆，砍其狗頭。我等傾出城垣，侍逆必分兵堵截；時機得當，王開化亦必殺出！
李世賢主取西城，行將告破，正自得意；忽聽三聲炮響，左宗棠、楊昌濬、劉典、王開琳等嘶叫著殺出。
李世賢猝不及防，速分圍攻西城之軍，分而抗之。
兩軍鏖戰，勝負難分。王開化見狀，亦率軍殺出
李世賢顧此失彼，忙中出亂，身中一刀，愴然而退。軍無主將，太平軍慌亂不堪，人馬自相蹈藉，霎時亂作一團。
左宗棠飭令追圍，一氣斬殺四五千餘。
樂平大敗，李世賢元氣大傷，一退三百裡，遁入浙江，再不敢戰。
世賢潰去，糧道得通，國藩喜曰：左宗棠以數千新集之眾，破十倍凶悍之賊，因地利以審敵情，蓄機勢以作士氣，實屬深明將略，度越時賢。自此，凡祁門之後路，一律肅清，餘可安枕而臥。
趙烈文道：啟稟滌帥，江南江北紛紛來報，逆匪似有麇集安慶之象。
曾國藩道：傷敵一千，自損八百；與侍逆血戰半月，吾亦折損甚巨。傳令各軍，休養整頓，十日之後，分援安慶。
趙烈文道：沅甫來報，欲以程學啟養母之親子為質，招撫程學啟一軍，滌帥以為如何？
曾國藩道：安慶南瀕長江，東及菱湖，西接皖河，惟北門城外，賊築石壘四座，銜連集賢關，為賊逆糧資通道。沅甫浚濠兩道，駐壘數十，雄峙集賢關與安慶北門之間。本意外拒援賊，內困悍匪。胡潤芝飭令強攻，沅甫、季洪屢攻石壘不得，遂意招撫。然石壘守將程學啟任氣使俠，恐不可信，安慶戰局，牽一發而動全身。招撫事小，反複事大，速告老九，安慶早晚得破，切勿惑於一時，因小失大。