楊佺期的信未至，殷仲堪的使者已經抵達江州。來者是殷仲堪的堂弟殷遹（讀作yu）。殷仲堪在信中陰陽怪氣，赤裸裸的發出了威脅。
“今聞朝廷褒獎桓少兄治理有方，以我荊州4郡饋之，本人特派人前往道賀。桓少兄果乃名門之後，非同凡響，左右逢源，長袖善舞。今不念當日之約，共抗朝廷，反奪我荊州4郡之權，是何道理？既然如此，你也休怪老夫不義。你既毀約在前，我便不義在後。請桓少兄做好準備，我欲率荊州兵馬前來江州，和你會獵於江上。桓少兄要備好美酒，好好的招待我才是。你知我嗜酒，若無美酒，我恐心情不佳，惱怒殺人，也未可知。”
桓玄看了信，心中憤怒之極。但按照卞範之的計劃，自不能同殷仲堪翻臉。於是向殷遹做了1番解釋。
“仲堪兄這是誤會了我啊。我豈有侵吞荊州4郡之心？此乃會稽王奸謀，仲堪兄如何看不出來？司馬道子以朝廷名義下旨，故意將荊州4郡劃歸於我，便是存心挑撥我和仲堪兄之間的關係，破壞我們之間的信任。這1點，希望仲堪兄明察。我們要做的便是不要中了他的奸謀。請殷遹兄傳話給仲堪兄，我桓玄絕不會去管荊州4郡之事，錢糧人力1無所取。原有官員不變，隻表麵敷衍朝廷便可。還望仲堪兄萬萬不要上了會稽王的當，他如今4處挑撥，我等當有定力，識破奸謀，從容應之。如今我正在招募兵馬，操練水6兵馬。1旦兵馬成功，便同兄1起起兵，攻入京城，為先帝報仇，將會稽王及其黨羽肅清，還我大晉郎朗乾坤。”
殷遹回荊州之後，將桓玄的話回稟殷仲堪。殷仲堪心中猶豫懷疑，又覺得桓玄的話說的有道理。於是決定暫時按兵不動，靜觀其變。隻要桓玄不對自己的荊州4郡管轄，掛個虛名倒也無妨。
2月十2，楊佺期的信也送到了江州。麵對楊佺期信上的威脅，桓玄給出的答複是另外1個態度。
“汝弘農楊氏，當年受我父恩惠提拔，方有今日之榮。你父楊亮，你兄楊廣，當年受命進攻仇池，為楊安所敗，倉皇潰逃，上萬兵馬損失殆儘。朝廷欲重責之，以儆效尤。我阿爺力保之下，方保住性命。立誓自此效忠我阿爺，唯我桓氏馬首是瞻。如今我阿爺故去，爾等便可欺我與？你常對人言，說什麼弘農楊氏乃中原正統豪族，地位高隆。我聽了付之1笑。想你弘農楊氏，當年南逃歸附我桓氏，苟全性命，得我桓氏庇佑方有今日。你弘農楊氏的底細人所儘知，不過是中原1小族耳，何來地位高隆之說？爾等如今所為，豈非忘恩負義之行？何況出言威脅於我？”
桓玄的信上還怒斥了楊佺期的德行。
“昔日出兵助力王恭之時，你提前撤兵，以至於聯盟崩潰，功虧1簣。率先懼逃的是你楊佺期，你何來顏麵指責於我？司馬道子派人去豫州同你交談，你便乘機退守梁州，令荊州暴露於外，此乃又1次背叛我等。我無奈之下，方於江州募兵以自保，今日你卻以朝廷之旨指責於我，欲興兵伐我，何等厚顏無恥。你兄楊廣乃無能之輩，南蠻校尉之職慢說是朝廷所授，便是我兄奪之，也是情理之中。你兄楊廣屢戰屢敗，激起巴獠之變，我桓氏出麵方可平定，他的能力不足以擔當此職。我桓氏取之也是天經地義。你當反躬自省，自慚羞恥才是，焉有顏麵怪責於我？你要出兵伐我？我倒要看看你有多大的本事。儘管放馬過來便是。”
桓玄不但寫了這封措辭強烈，充滿了羞辱和指責的回信，還將送信的使者打了2十鞭子攆了回去。
十餘日後，楊佺期得到了這封回信，其憤怒可想而知。若桓玄說的話全部是假話倒也罷了，偏偏許多事確實如此。弘農楊氏南渡之時，確實是關中小族。隻是自詡為關中貴胄，認為比之其他大族更有地位，這是楊亮1直強調的事情，也為了抬高地位，得以立足。
當初楊亮楊廣攻打仇池，確實被打的落花流水，大敗而歸。此事被引為奇恥大辱。朝廷要殺楊亮父子，確實是桓溫頂住壓力，寬恕了他們。這些都是事實。
但在楊佺期看來，兵敗並非是什麼了不得的罪過，楊家父子為桓氏當牛做馬，苦活累活都乾，幾次西征都是楊氏作為先頭兵馬，這已經報答了恩情。
至於出兵助力王恭之事，正是因為桓玄前往相勸，自己才出兵。事情最後搞得1地雞毛，本來就讓自己惱火之極。出於自保和利益的考慮，自己決定退守梁州，這也是基於利益的最佳考慮。現在居然被稱之為背叛之舉。
楊佺期的惱怒可想而知。他和桓玄之間已經不再是父親楊亮和桓溫之間的關係。桓溫死了，桓氏沒落，對父親楊亮而言或許是傷心之事，但對於下1代的楊佺期而言，卻是頭上的大山沒了，天亮了的感覺。父親在時，自然有所收斂，現在父親楊亮已經故去，那便沒有必要再受桓氏的氣了。