殷仲堪越發感受到了自已在荊州被孤立的事實，心中甚為惱怒。自已出身寒微，那桓玄在江陵城中前呼後擁，處處受人關注，自已這個荊州刺史，反倒被人冷落，便是因為門第之故。那楊佺期對自已一點也不客氣，也是因為門第之故。這幫人都看重門第出身，自已難以融入他們。
殷仲堪頗有些意氣。心想，既然你們孤立我，我也不必去求著你們，大家不相往來便罷。但他明白，自已必須要做些什麼，以應付司馬道子的步步緊逼。
六月初，為了以防萬一，殷仲堪下達了大量征兵和加強訓練的命令。他要將荊州軍的規模擴充一倍，達到十餘萬之眾。同時要將荊州軍訓練成一支精銳兵馬，用來防備萬一。
但事情想起來容易，做起來便難了。征兵令下達之後，應者寥寥。半個月時間，才征兵不足八百，簡直成了個笑話。而荊州兵馬的訓練也根本組織不了，將士們懶散之極，根本提不起興趣。
殷仲堪問計於身邊之人，有人告訴他，在荊州，征兵之事得請南
郡公出麵。以桓氏之名號召青壯入伍，方可趨之若鶩。其他人都不好使。
殷仲堪聞言惱怒，他才不肯去求桓玄，受他奚落。殷仲堪的堂兄殷顗是個讀書人，想為殷仲堪分憂。進言道者：“兵法有雲：兵貴精不貴多。其實能否募集到兵馬並不重要。就算你擴兵一倍，除了徒耗費糧草之外，訓練不足，還是不堪足用。莫如加強現有兵馬的訓練，將荊州兵馬訓練成一支精銳兵馬，反而更有效果。”
殷仲堪覺得有道理，但又覺得棘手，問道：“我何嘗不想，可是荊州兵訓練的態度也並不積極。如之奈何？”
書呆子殷顗又道：“豈不聞領軍者身先士卒，可得軍心。你該親自參與訓練，為他們做個榜樣，帶動他們。否則怎麼讓他們服氣？”
殷仲堪覺得有理，於是宣布自已身先士卒，參與訓練。可殷仲堪手無縛雞之力的一介文官，又怎能吃得了這樣的苦。也怪他倒黴，他勉力表現的和士兵一樣訓練，結果體力不支出了事故。一日訓練之中，他手持短刀帶著兵士們衝鋒的時候，腳下拌蒜，一跤摔倒。手中刀刃刺入左眼，登時將眼珠子給刺破了。眾人七手八腳的將他抬走醫治，性命倒是無礙，卻丟了一支眼睛，成了個半瞎子。
這件事簡直成了江陵城中的大笑話，讓所有人笑破肚皮。
殷仲堪養傷數日，桓玄壓根沒有來探望。氣不過的殷仲堪決定去見桓玄，一來還是需要桓玄的幫助來解決募兵問題，二來，也要當麵訓斥桓玄。
桓玄帶著一幫名士在江邊樓上飲酒，殷仲堪前往去見，走在樓梯上，聽到樓上桓玄和一幫名士正在大笑著行酒令。行的是一種描述危險境地的辭令。殷仲堪聽到有人說：百歲老翁攀枯枝，黃口小兒耍大刀。然後殷仲堪聽到了桓玄的對答：盲人騎瞎馬，夜半臨深池。
眾人瘋狂大笑，殷仲堪拂袖而走。他認為這是桓玄在諷刺自已瞎了眼。從此刻起，殷仲堪對桓玄不再是不滿，而是憤怒和仇恨。這個吃著祖上恩蔭，躺在祖業上在江陵城中橫行的桓玄，完全不懂得尊重自已，根本沒有拿自已當回事。自已不能忍受他的羞辱和輕慢，他在荊州，自已便做不成事，必須要有所對策才成。