黃潛善聽其說到王淵，恐節外生枝，便說道：“已集數百舟渡諸軍。”
高宗皇帝聽後，也不辨彆真假，便說道：“如今諸軍都已處置，不必多言，今日隻議去留。”
此時吏部尚書呂頤浩早已看清高宗皇帝本心，隻為一路南逃，但因自己身份不便說出，隻是想要以群臣之口說出繼續南逃的話來。但當日在揚州他與張浚不顧百姓而逃，至今想來，仍是羞愧不已，於是便長跪於階下拜伏不起。
高宗皇帝不明其意，便看向黃潛善。黃潛善會意，便詢問呂頤浩所跪何意。
呂頤浩以首叩地道：“呂某願且留於此地，為江北聲援；不然，金人乘勢渡江，愈狼狽矣。”
此言一出，正中高宗皇帝下懷，便順勢說道：“如此，則宰相同往江上經略，號令江北諸軍，令結陳防江，仍先渡官吏百姓。”眾官得旨，各自退出。
出得堂來，王淵痛恨劉光世在皇帝麵前參自己一本，但卻不敢對其下手，隻得將其手下江北都巡檢皇甫佐拿下誅殺。當高宗皇帝知道之時，王淵已經殺了皇甫佐，問其緣由。王淵便借口皇甫佐“佐主海舟，濟渡留滯，故而殺之”搪塞過去。
隨後王淵又進言道：“暫駐鎮江，止捍得一處。若金自通州渡江，先據姑蘇，將若之何？不如錢塘有重江之阻。”一旁內侍聽後點頭稱是，於是高宗皇帝也意屬錢塘。
第二天，高宗皇帝召來黃潛善，將王淵的話說與他聽，征詢他的意見。黃潛善知其有南逃之間，便說道：“淵言如此，臣複何辭以留陛下！”高宗皇帝以為大善，便從王淵之言，起駕去往杭州，並詔諭龍圖閣直學士、知鎮江府錢伯言為樞密直學士，充巡幸提點錢糧頓遞，呂頤浩為資政殿大學士，充江浙製置使，劉光世為行在五軍節度使，主管侍衛馬軍司公事楊惟忠節製江南東路軍馬，屯江寧府。
待得一切安排妥當，高宗皇帝立即啟程，自鎮江出發，經常州、平江府、秀州等地，最終逃至杭州。
而在高宗皇帝一路南逃之時，江南各處除了金軍肆虐之外更有叛軍橫行。如禦營統製官王亦駐軍江寧，謀奪江寧以為據點，夜半縱火，嚇得守臣秘閣修撰趙明誠縋城而逃。所幸城中江東轉運副使、直徽猷閣李謨所部團民兵伏於巷中，待得兵變時鼓噪而出，擊退王亦。趙明誠因臨陣脫逃而被罷職。
這趙明誠乃是詞人李清照之夫。當日李清照聽聞趙明誠臨陣脫逃，心中鄙視，後行舟路過烏江之時，回想起高宗皇帝以及如趙明誠一般的官吏，麵對金人，不思抵抗，隻知倉皇而逃的行徑，心有所感，於是便作出首傳頌至今的千古名句，名為憑吊西楚霸王，實則借古諷今，其詩曰：
生當作人傑，死亦為鬼雄。至今思項羽，不肯過江東。