胡紡此人極善鑽營投機，當年在韓世忠麾下時便為其鞍前馬後走動，極得韓世忠喜歡。除此之外，胡紡在未得勢前，除了以家奴的姿態對待韓世忠外，就連其親信耿著等人都一並奉承。因此短短數年間，便在眾將推舉下步步高升。
胡紡其人內心極為陰狠，雖然表麵上對韓世忠畢恭畢敬，但實際上卻是暗藏鬼胎。當年韓世忠暗中計劃襲殺金使一事，便是由其暗中告密，以致事敗。
而此時韓世忠兵權已去，胡紡自然不肯隨著這艘大船沉沒，很快他便走門路攀上了秦檜，二人一拍即合，定下了陷害韓世忠的詭計。
因此張俊一到楚州，胡紡便出首控告耿著，說其自臨安回到楚州後，便大肆散布流言，同時鼓惑眾聽，陰圖叛逆，並謀還世忠掌兵柄。
張俊不敢怠慢，於是上奏朝廷，秦檜欣喜萬分，立即下令將耿著拿往臨安，並以酷刑逼供，企圖由此牽連韓世忠。
這個消息被踏白軍安插在臨安的斥候探知，暗中傳訊於韓世忠。韓世忠聞訊大為吃驚，連夜麵見高宗皇帝。入宮之後，韓世忠淚流滿麵，投地自明，令高宗皇帝大為不忍。
原本高宗皇帝便念著這位苗劉兵變時的救駕功臣，雖然不喜其阻攔和議，但卻也無意於殺害韓世忠。於是一番好言安撫過後，將韓世忠勸退，隨後高宗皇帝便召見秦檜，明確耿著一案不得株連韓世忠。
既然皇帝力保，秦檜自然也是無話可說，隻能將陷害韓世忠一事暫且按下，隻是將耿著杖脊五十，刺配三千裡外，隨後匆匆了結此案。而韓世忠為了自保，也向朝廷進獻了軍儲錢一百萬貫、米九十萬石及酒庫十五座。
經過此事後，韓世忠終於明白當日嶽飛所言，對朝廷徹底絕望，眼見大好的抗金形勢白白葬送，立身朝中卻又被奸人所忌，而更無奈的是自己如今並無兵權在手，隻能任人魚肉，於是心灰意冷。
數月之後，韓世忠接連上奏請辭樞密使之職，並奏請告老。高宗皇帝自然樂於順水推舟，於是準其奏，以太傅、醴泉觀使、奉朝請、福國公之官爵致仕，仍兼橫海、武寧、安化三鎮節度使。
罷兵一事，影響甚大，就連重新起用的劉光世亦未能幸免，被高宗皇帝罷為太保、萬壽觀使，充任閒職。
至此，朝中各大戰區基本土崩瓦解，最早建節的五人，吳玠已死，劉光世、韓世忠被罷，張俊依附於秦檜，而嶽飛則潛於滇南。整個大宋，再無能與金軍相爭的大將，徹底為宋金和議鋪平了道路。