次日一早，桓玄下令兵馬開拔南下，前往江陵。
殷仲堪親自前來相送，又說了不少場麵客套話，直到看著桓玄的兵馬離去，殷仲堪顧左右而笑道：“這便走了？如此簡單？我還以為他會反悔呢。”
殷遹笑道：“他再不要臉，也不能賴著不走。兄長，眼下該對楊佺期動手了。我請命，率騎兵五千前往追擊。”
殷仲堪點頭道：“好。你且率騎兵追擊，我和曠之率步兵隨後便到。那楊佺期此刻急著回援，無心戀戰，你可進而擊之，給他些教訓。”
當下荊州軍點兵出城，調集船隻。殷遹率五千騎兵渡沔水率先追趕，殷仲堪率三萬步卒隨後跟進。
兩天後，殷遹率騎兵追至築陽。斥候稟報，敵軍兵馬昨日抵達此處，距離已經不遠。殷遹下令急追，騎兵沿著官道一路追至城西武當山下，但見山路上隻散落盔甲兵器無數，殷遹聞之大笑。
“哈哈哈，楊佺期的兵馬已經丟盔棄甲了。他們已經毫無鬥誌了。”
不久後，前方斥候傳來消息。在前方山穀之中，發現敵軍營地。楊佺期的兵馬顯然已經精疲力竭，正在十餘裡外的山穀歇息。
雖然日光西沉，但是殷遹還是決定發動進攻，殺對方一個措手不及。騎兵沿著山道疾馳數裡，抵達山坳上方。殷遹策馬立於高處眺望前方，果見夕陽之下，彎彎曲曲的山道通向前方數裡外的山穀，山穀裡帳篷林立，炊煙繚繞，正是楊佺期的大營。
殷遹縱聲大笑，沉聲下令：“所有人，準備進攻。給我踏平他們的營寨，殺他們個血流成河。”
有人提醒道：“將軍還是加以小心，此去山道兩側林木茂密，若有伏兵，則後果不堪設想。還是應該先命人去兩側山林搜索一番。況且，這山道狹窄，不利於我騎兵衝鋒。若是能等明日敵軍出了這片山地，可馳騁進攻，暢通無礙。”
殷遹擺手道：“沒見到他們已經丟盔棄甲了麼？還擔心什麼？機不可失失不再來。正是在這山穀之中，方能讓他們以為自已是安全的，也才好殺他們個措手不及。”
眾將聞言，隻得聽命。
五千騎兵從山坳口沿著山道衝了下來，直撲對方山穀營地。居高臨下的衝鋒甚為迅速，山道雖然狹窄，但這是一條官道，倒也平整。兩側林木茂密，正好隱藏了蹤跡。前方騎兵衝出數裡之地，山穀中的敵軍絲毫也沒有察覺。
殷遹策馬衝下山坳，加入衝鋒的騎兵之中。就在他衝出數裡之地的時候，猛聽得前方炸了鍋一般的喊叫起來，似乎出了什麼事情。大量的兵馬減速停滯在山道上，前進不得。
“什麼事？”殷遹大聲喝問。
“稟報將軍，前方山道堵塞，大量樹木石頭封堵了道路，難以通行。恰在彎道之處，前軍騎兵不慎撞擊，死傷百餘騎。”消息很快稟報了上來。
殷遹大驚，正欲說話，但聽得左右林木之中喊殺之聲震天，鑼鼓震天響起。無數的敵軍從山道兩側衝出，手持長槍長戟亂戳亂刺。
“不好，中了埋伏了。快撤。”殷遹大聲喝道。
可是，說的容易，這種山道如何說撤就撤？官道上的騎兵擁堵，亂做一團。無法衝鋒的騎兵和步兵相比，那也不過是比人高一頭罷了。對方顯然有備而來，全是長柄武器，對著馬匹一頓招呼，戰馬倒斃，騎兵也無幸。
殷遹第一時間撥轉馬頭往回跑，身邊親衛騎兵護衛他逃走。好消息是，殷遹在隊伍後方，擁堵的不算嚴重。後隊變前隊之後，官道擁堵的並不嚴重。更幸運的是，後方道路沒有被木石攔阻，暢通無阻。親衛騎兵護衛著殷遹亡命殺出，衝上山隘之時，殷遹身邊隻剩下不到百人。
慌亂之際，殷遹回頭看向下方山道上。那裡，大量的騎兵已經陣亡，隻有少量的兵馬還在抵抗，但顯然也是徒勞的。因為在暮色之中，周圍山野全是敵軍，密密麻麻不計其數。
遠處山坡上，殷遹看到一杆大旗獵獵，旗下一人策馬而立，目光似乎穿透了暮色，遠遠的看著自已。那正是楊佺期。
殷遹大敗而歸，逃出山地之後連夜回撤，和後方趕來的大軍會合。見到殷仲堪之後，殷遹滿臉沮喪的跪地請罪，痛哭流涕。