大事已定，又因金人兩至都城，高宗皇帝隻怕金人又來，汴京不可守，於是不想回返汴京，下手詔曰：“京師未可往，當巡幸東南。”
李綱聽聞高宗皇帝要去東南避敵，便極力勸阻道：“臣嘗言車駕巡幸之所，關中為上，襄陽次之，江寧為下。陛下縱未能行上策，猶當且適襄、鄧，示不忘故都，以係天下之心。不然，中原非複我有，車駕還闕無期，天下之勢遂傾不複振矣。自古中興之主，起於西北，則足以據中原而有東南，起於東南，則不能以複中原而有西北。蓋天下精兵健馬皆在西北，一旦委中原而棄之，豈惟金人將乘間以擾內地；盜賊亦將蜂起為亂，跨州連邑，陛下雖欲還闕，不可得矣，況欲治兵勝敵以歸二聖哉?夫南陽光武之所興，有高山峻嶺可以控扼，有寬城平野可以屯兵；西鄰關、陝，可以召將士；東達江、淮，可以運穀粟；南通荊湖、巴蜀，可以取財貨；北距三都，可以遣救援。暫議駐曄，乃還汴都，策無出於此者。今乘舟順流而適東南，固甚安便，第恐一失中原，則東南不能必其無事，雖欲退保一隅，不易得也。況嘗降詔許留中原，人心悅服，奈何詔墨未乾，失大信於天下！”
高宗皇帝聽之，乃收還手詔，許幸南陽擬於秋末冬初啟行。
但黃潛善、汪伯彥之流仍力主高宗皇帝東南巡幸，其親信上書道：“汴都蹂踐之餘，不可複處。瞧陽封域不廣，而又逼近河朔，敵易以至。南陽密邇中原，雖易以號召四方，但今日陳、唐諸郡，新於亂，千乘萬騎，何所取給！夫騎兵，金之長技，而不習水戰。金陵天險，前據大江，可以固守；東南財力富盛，足以待敵。唯江寧實古帝都，外連江、淮，內控湖、海，為東南要會。伏唯觀察時變，從權慮遠，趣下嚴詔，夙期東幸，彆命忠勇大臣總領六師，留守京邑；又行清野於河北、山東諸道，候軍聲國勢少振，然後駕還中都，則天下定矣。”
高宗皇帝聽後，深以為然，於是決定巡幸江寧，李綱數次上奏，皆被駁回。
此時有人勸李綱道：“公決於進退之義得矣，而今對官家讒言者不止，將有不測之禍，該當如何？”
李綱正色說道：“大臣以道事君，不可則止，我隻知事君之道，卻不知顧全自己進退之節。患禍非我顧慮之事，天下自有公議，此不足慮。”
此時張浚為禦史，上書彈劾李綱雖負才氣、有時望，然以私意殺侍從，典刑不當，不可居相位；又論李綱杜絕言路，獨擅朝政，事之大小，隨意必行，買馬之擾，招軍之暴，勸納之虐，優立賞格，公吏為奸，擅易詔令，竊庇姻親等十數事。
高宗皇帝又聽黃潛善之言，擬旨責李綱以“狂誕剛愎，謀謨弗效，既請括郡縣之私馬，又將竭東南之民財。以喜怒自分其賢愚，致賞罰弗當於功罪。出令允符於清議，屢抗執以邀留；用刑有拂於群情，必力祈於親劄，以至帖改已畫之旨，巧蔽外姻之奸。茲遣防秋，實為渡河之擾，預頒告命，厚賜緡錢，賞逾百萬之多，僅達京師而止，每敦促其速進，輒沮抑而不行，設心謂河，專製若此!”於是貶李綱為觀文殿大學士、提舉杭州洞霄宮。
可憐李綱一代忠臣，前有拱衛京師之功，後有治政之勞，卻不能在任上大展拳腳，最終為奸人所嫉，無奈而退，在相位隻得七十五日。