戰鬥進行到傍晚時分，終於以謝玄下令鳴金撤退而暫時偃旗息鼓。
當守城方開始用1鍋鍋的熱油往城下倒，城下的北府軍士兵被燙的皮開肉綻鬼哭狼嚎的時候。當甕城兩側的城牆上又新增了數百弓箭手，4無忌憚的朝著城門兩側攻城的北府軍放箭射殺，而北府軍沒有絲毫的解決手段的時候。謝玄知道，該叫停這次進攻了。
謝玄絕非是心慈手軟，不敢惡戰到底之人。當初在桓溫帳下，他也是領軍將領之1。壽陽之戰，他孤軍入城，凶橫搏殺，悍勇之極。
但是，他也絕非是有勇無謀，無視將士性命之人。今日攻城所遭受到的阻力之大，死傷之眾，是謝玄完全沒有想到的。
他知道彭城難攻，北府軍將士會有很大的傷亡。但是他沒料到傷亡會如此之大。他誤判的對方防守的實力，不知道彭城守軍擁有那麼多的強力守城武器和大量的物資。更對彭城建造了甕城之後，甕城城牆對於兩側的壓製沒有準備。
謝玄不是1條道走到黑的人，所以他果斷決定停止這次進攻。
隨著撤退命令的下達，北府軍將士如潮水般的退了回去。城頭的守軍也是精疲力竭，但他們還是組織起弓箭手試圖進行箭雨的追殺。
謝玄豈會給他們機會。他下令投石車將最後的石頭雨澆灌在城牆上，將秦軍士兵壓製住。這才保證了北府軍的順利撤離。
但即便如此，北府軍的巨大傷亡已經是事實。北府軍撤離之後的城下戰場，遍地屍體，血流成河。屍體層疊，遍布城下和護城河兩側的地麵。
數以千計的北府軍士兵永遠的死在了這場戰鬥之中。死傷人數超過7千，其中近兩千8百人陣亡，傷者無數。1個個年輕的生命永遠的凝固這場戰鬥之中。他們所有的夢想和未來都在此刻戛然而止。
夕陽照耀在彭城城牆下，溫煦的陽光撫慰著這些已經消逝了生命的軀殼，讓他們已經失去靈魂而變冷的屍體得到了最後的溫暖。
……
北府軍大帳之中，謝玄居中而坐，英俊的麵龐陰沉之極。數十名將領站在兩側，也都黑著臉，麵色陰鬱。大帳中的氣氛沉悶而訝異，空氣仿佛凝固了1般，讓人感到窒息。
1片死寂之中，遠遠傳來大帳外傳來的哀哀痛哭和痛苦的呻吟。大批的傷兵正在大帳南邊的後營接受緊急治療，他們當中有許多人其實已經在瀕死的邊緣。失去了朝夕相處的兄弟的士兵們正在哀哀痛哭。
“謝將軍，為何要鳴金收兵？為何到了這個時候，死傷了這麼多兄弟，卻要下令撤兵？豈非是功虧1簣？他們豈不是白白的死了？我劉牢之發了誓要攻下城池的，我寧願死在戰場上，也不願撤回來。謝將軍，我雖無能，卻也不怕死。現在，我劉牢之有何麵目活著？”
站在右側下首的劉牢之渾身浴血，頭上，肩膀上，腿上，腰上都纏著繃帶。身上的盔甲血肉模糊，藍色的盔甲已經染成了紫黑色。甲片中間的縫隙被血肉浸滿了。
他紅著眼睛，神情猙獰，麵容扭曲的伸著脖子，朝著謝玄嘶吼著。眼中卻流著淚水，鼻子下邊掛著粘稠的臟呼呼的不知是血水還是鼻涕。整個人不知因為是受傷之故，還是因為情緒激動之故，身子搖搖晃晃，幾欲摔倒。
“劉牢之，怎可如此對將軍說話？還不住口！”高衡沉聲喝道。
謝玄擺了擺手，目光看著大帳外沉沉的暮色，開口道：“諸位，今日之戰非爾等之過，是我謀劃不周所致。本人負全部責任，跟諸位無關。牢之，你做到了你該做的事，你並沒有失敗，也沒有丟人。丟人的是我謝玄。”
劉牢之大聲道：“謝將軍，末將不是這個意思。”