高宗皇帝一路倉皇逃到杭州，為安撫軍民，無奈之下效法其父下詔罪己，求直言。詔曰：“朕以菲躬，遭時多故，舉事失當，知人不明。昨以宰臣非才，任用既久，專執已見，壅塞下情，事出倉皇，匹馬南渡，深思厥咎，在予一人。既已悔過責躬，洗心改事，放斥宮嬪，貶損服禦，罷黜宰輔，收召俊良。尚慮多方未知朕誌，自今政事闕遺、民俗利病，或有關於國體，或有益於邊防，並許中外士民直言陳奏，朕當躬覽，采擇施行，旌擢其人，庸示勸獎。”
詔書一出，便有禦史中丞張守進言道：“陛下處宮室之安，則思二帝母後穹廬毳幕之苦；享膳合之奉，則思二帝母後膻肉酪漿之味；服細暖之衣，則思二帝母後窮邊絕塞之寒；操予奪之柄，則思二帝母後語言動作受製於入；享嬪禦之適，則思二帝母後誰為之使令；對臣下之朝，則思二帝母後誰為之尊禮：思之又思，兢兢栗栗，聖心不倦，而天不為之順助者，萬無是理也。今罪己詔數下，而天未悔禍，實有所未至耳！”高宗觀奏章沉默不語，將其輕輕放在一邊。
其時黃、汪二賊在朝中怨聲極大，禦史中丞張徵上書彈劾兩人大罪二十，大略意思為：“潛善等初無措置，但固留陛下，致萬乘蒙塵，其罪一；禁止士大夫搬家，立法過嚴，議者鹹雲：天子六宮過江靜處，我輩豈不是人？使一旦委敵，歸怨人主，其罪二；自真楚通泰以南，州郡皆碎於潰兵，重失人心，其罪三；祖宗神主神禦不先渡江，一旦車駕起，則僅一兩卒舁，致傾搖暴露，行路之人酸鼻下淚，宗廟顛沛，其罪四；建炎初年，河南止破三郡，自潛善等柄任以來，直至淮上，所存無幾，其罪五；士大夫既不預知渡江之期，一旦流離，多被屠殺，其罪六；行在軍兵，津渡不時，倉卒潰散，流毒東南，其罪七；左帑金帛甚多，不令裝載，儘為敵有，府庫耗散，其罪八；自澶濮至揚州，鹹被殺掠，生靈塗炭，其罪九；謝克家、李擢俱受偽命，而反進用，其罪十；潛善於王黼為相時，致位侍從，故今日侍從、卿監多王黼之客，伯彥則引用梁子美親黨，牢不可破，罪十一；職事官言時病者，皆付禦史台抄節申尚書省，壅塞言路，罪十二；用朝廷名爵以脅士大夫，罪十三；行在京師，各置百司，設官重複，耗蠹國用，如以巡幸而置禦營使司，則樞密院為虛設，置提舉財用，則戶部為備員，罪十四；許景衡建渡江之議，擠之至死，罪十五；身為禦營使，多占兵衛，不避嫌疑，罪十六；敵人相距，斥堠全無，止據道塗之言為真，致此狼狽，罪十七；敵騎巳近，尚敢挽留車駕，罪十八；盧益自散官中引為八座，遂進樞副，伯彥之客為起居郎，有罪補外，遂除集英殿修撰，二人朋比，專務欺君，罪十九；國家殆辱，不知引罪，罪二十。”
奏章來到高宗皇帝案前，仔細觀看後回想當日在揚州時因黃、汪二人不察，以致兵臨城下方知，又兼受到驚嚇，使得麵對後宮如花美眷，竟然無力從事，諸事種種，令高宗皇帝更為痛恨二人。
此時黃潛善、汪伯彥知道自己民怨極大，若是再留於朝廷之中，身居高位，隻怕禍患更大，於是入內求見高宗皇帝。
二人在高宗皇帝麵前痛哭流涕，數陳己罪，言詞懇切，以求高宗免其相位，謫貶出城。高宗皇帝被二人所惑，又想到當日在揚州城中二人對自己的奉迎之情，便不再深究二人之責。下詔諭罷二人左右相為觀文殿大學士，黃潛善知江寧府，汪伯彥知洪州。
雖然黃、汪二賊明為謫貶，但所去之處皆是江南富庶之地。江寧府為江南東路首府，洪州是江南西路首府，皆是外放官員求而不得之地。反觀李綱，隻因上疏直言，便被貶至鄂州，守衛長江。高宗皇帝對忠奸之分彆，可見一斑。
此時金軍東路完顏宗輔命其弟兀術繼續南侵，兀術聞得高宗皇帝渡江逃亡杭州，便命劉豫知東平府，充京東、西、淮南等路安撫使，節度大名、開德府、濮、濱、博、棣、德、滄等州，而以其子承務郎劉麟知濟南府。自舊河以南，皆為劉豫所得。而自己則厲兵秣馬，準備直取杭州。
高宗皇帝在杭州安定下來之後，因貶了黃、汪二賊，便以朱勝非為尚書右仆射兼中書侍郎兼禦營使，又因康履進言，非旦不以王淵渡江時的種種作為而處罰，反將其升為同簽樞密院事。