殷仲堪得知五千騎兵幾乎全軍覆滅的消息後，差點暈過去。
經過緊急商議之後，殷仲堪意識到不能再追擊了。對方顯然布下了疑兵之計，故意丟棄盔甲物資吸引騎兵追趕，沿途設伏。再往西去，山林更多，可以設伏的地方更多。一戰便損失五千騎兵，有多少兵馬可以損失？荊州軍這數月以來已經損失夠慘的了，還是老老實實的讓楊佺期自已退走為好。
當下殷仲堪立刻下令撤兵回襄陽。次日一早，大軍掉頭撤退。午後時分，兵馬急行至山都縣境內時，一個如晴天霹靂一般的消息傳來，令殷仲堪差點從馬背上摔下來。
襄陽被攻克了！守城的長子殷簡之被殺了！
這便是楊佺期的冒險之策。他不甘心如此退兵，他知道殷仲堪和桓玄各懷鬼胎，自已一旦退兵，他們之間便可能生出分歧來。所以，他一麵傳令巴西郡部分兵馬馳援漢中，一麵分兵萬餘回軍救援漢中郡。
剩下的三萬兵馬，楊佺期佯裝主力撤退，卻令堂弟楊尚寶率三千騎兵於半夜時分半路折返向南，半夜時分繞行至襄陽西南。
楊佺期料定他們要乘機追擊自已，所以索性將計就計，以詭計誘敵追趕，將敵人吸引的越遠越好。
楊佺期的想法是，如果對方追擊，襄陽必然空虛，則可乘機取之。但是楊佺期沒想到的是，對方像是配合自已一般，桓玄的大軍南下，殷仲堪的大軍傾巢出動，硬生生給了自已計劃成功的機會。
昨日黃昏，當殷遹的騎兵遭受伏擊的時候，楊尚寶率領三千騎兵趁著秋水清淺之時，泅渡沔水，發動了對襄陽的奇襲。
襄陽城中並非沒有留守兵馬，但是人數太少，隻有兩千兵馬。且留守之人乃是殷仲堪的長子殷簡之。殷簡之是個讀書人，對打打殺殺領軍作戰不感興趣，甚少過問這些事。和次子殷曠之比起來，殷簡之顯得愚鈍木訥，根本不是領軍作戰的料。
但殷仲堪希望他能了解這些事情，於是將他帶在軍中。此番追擊，留殷簡之守襄陽，也是希望鍛煉鍛煉他。
殷仲堪做夢也想不到，對方膽大包天，根本沒有撤退的想法，而是選擇將計就計，反其道而行之。楊佺期知道自已會追趕他，便借著此事行事，派兵馬偷襲。
殷簡之那裡見識過這樣的陣仗。得知敵軍攻城之時，殷簡之驚慌失措，不知如何是好。手下人提醒他上城禦敵，他卻躲進了襄陽府衙後堂密室之中。城中守軍本就人數少，又非精銳之兵，偌大城池也根本守不過來。二更天城池便告破。黎明時分，內城告破，殷簡之在密室被活捉。
楊尚寶的手下也是糊塗，見殷簡之呆頭呆腦的樣子，不分青紅皂白給了殷簡之一刀，將他殺死。
殷仲堪得知殷簡之被殺的消息心如刀絞，又悔之莫及。壞消息接踵而至，後方敵軍竟然掉頭追來，顯然他們也得到了襄陽已經被破的消息。
殷仲堪六神無主，殷曠之倒還冷靜些，分析情形之後建議即刻往南撤離，不能回襄陽奪城。因為對方主力已經掉頭，襄陽也被攻占，若回襄陽，必被堵在襄陽城下。當此之時，莫如南下前往竟陵駐紮，同時請求桓玄相助。
殷仲堪同意了殷曠之的建議，眼下也隻能如此了。
十天後，桓玄抵達竟陵，見到殷仲堪的那一刻，桓玄心裡樂開了花。殷仲堪像是老了十歲一般，麵色晦暗，神情委頓。
“仲堪兄，到底發生什麼事了？又叫我來竟陵見麵？我大軍都要離開了，我也打算回江州了。”桓玄明知故問道。
殷仲堪歎息道：“桓少兄，之前是我的錯，我向你致歉。但眼下你可不能走了。襄陽已入楊佺期之手，我兵馬損失嚴重，你若走了，荊州危也。”
桓玄笑道：“可是，之前你可不是這麼說的。我桓玄難道可以被人召之即來揮之即去麼？”
殷仲堪唉聲道：“這種時候，少兄還計較麼？要不，老夫給你磕頭賠罪吧。”
桓玄大笑道：“那倒也不必了。”