曾國藩接谘，回曰：潤芝多慮，安慶之圍，絕不可撤。曾國荃、多隆阿、楊載福、韋俊等圍城打援，已近年餘，城垣彈指或破，豈可前功儘棄！陳賊玉成，野戰尚可；武昌城高牆厚，陳賊攻堅甚難。李匪世賢自休寧、徽州圍攻祁門不成，已自皖南入贛，攻戰婺源；複斬我大將陳明南，大敗王開琳部；吾若渡江，左宗棠自成孤注，皖南必失！
趙烈文道：啟稟滌帥，陳狗玉成的確悍勇，大江南北，唇齒相依，或可先北後南。
曾國藩道：武昌城高，胡潤芝多慮。李匪世賢十萬悍軍麇集婺源，不特祁門之糧路接濟已斷，即景德亦無糧路，餘等與左公俱在圍困之中，祁、休等處軍心方欲動搖，此時北渡，吾必分崩離析；待武昌事定，須求北岸分兵一助南岸耳。
國藩言語間，探子急報：李匪世賢陣斬皖南鎮總兵陳大富，攻占景德鎮。左宗棠難扼其鋒，敗退樂平。李匪世賢率軍四萬，直奔祁門而來。
曾國藩驚悸，急道：左季高如何？傷否？
探子道：左宗棠無恙，現被李尚揚逆匪困圍樂平。
曾國藩道：速傳吾令，鮑超霆軍，停追李秀成匪部，火速回援樂平；此令十萬火急。
景德鎮失，糧道被阻，曾國藩強作鎮定，速召眾將，曰：黃匪文金、劉匪官芳、古匪隆賢等，皆被打垮；李匪世賢，雖攻占景德，然已是強弩之末。吾令，祁門、黟縣各軍，速聚休寧，圍攻徽州；徽州得，即可斷李匪後路，屆時，會合左宗棠、鮑超二部，兩麵夾擊，徹殲李匪。
1861年4月13日，曾國藩親臨休寧，指揮攻擊徽州事宜。
9000湘軍，兵分兩路，西路以副將唐義訓為主，副將沈寶成、同知朱聲隆輔之；北路以開歸道張運蘭為主，副將婁雲生、參將楊鎮魁、張應超輔之；兩路大軍，東西呼應，二攻徽州，均無進展。忽有傾盆暴雨，連注一日，徽城守軍乘機反擊，湘勇無備，四散而去。
李世賢再接再厲，速偕徽州得勝之軍，合擊祁門大營。
曾國藩困守祁門，糧斷援絕，湘勇屢有嘩變，國藩驚懼，熬煎益急，上吊自裁，被幕僚歐陽兆熊救下。
國藩歎曰：即此不死，營破亦死！
國藩言罷，致書其子曾紀澤：餘通籍三十餘年，官至極品，而學業一無所成，德行一無可許，老人徒傷，不勝悚惶慚愧。今將永彆，特立四條以教汝兄弟。一曰慎獨則心安。自修之道，莫難於養心；養心之難，又在慎獨。二曰主敬則身強。修己以安百姓，篤恭而天下平，敬之效驗也。聰明睿智，皆由此出。三曰求人則人悅。若但知私己而不知仁民愛物，是於大本一源之道已悖而失之矣。四曰習勞則神欽。此四條為餘數十年人世之得，汝兄弟紀之行之，並傳之餘子子孫孫。則餘曾家可長盛不衰，代有人才。
左宗棠退防樂平，痛定思痛，急謂眾將道：侍逆兵鋒甚盛，祁門大營，搖搖欲墜。吾等若不拚死一搏，亦將全滅！
降將黃少春道：李逆尚揚，與侍逆同姓，侍逆甚相倚重。然其甫一小挫，輒喪肝膽。吾率一隊，直取其首，逆軍必潰。
左宗棠道：滄海橫流，方顯英雄本色！黃將軍勇武，即擢中軍遊擊；明日全軍圍擊，先挫逆匪戾氣；後日且看黃將軍於萬軍叢中斬取李尚揚首級。
4月15日，左宗棠集合全軍，圍攻城外太平軍。李尚揚不敵，敗退桃嶺。翌日，黃少春躍馬挺矛，殺奔李尚揚營帳。尚揚親兵攔阻，皆被矛戮。李尚揚膽怯，不敢再戰，策馬逃遁，其下部卒，隨之潰奔。左宗棠揮軍追擊，斬殺三千餘眾。