嶽飛在下方一聽，果然如此，雖然他也知道此時杜充早已下定決心要退往建康，但還是想再試上一試，看能不能有所改變，於是進言道：“中原之地尺寸不可棄，況社稷、宗廟在京師，陵寢在河南，尤非他地可比。留守以重兵碩望，且不守此，他人奈何？今留守一舉足，此地皆非我有矣。他日欲複取之，非捐數十萬眾不可得也。留守盍圖之？”諸將皆如此意。
杜充見眾人苦勸，心中惱火，便沉聲說道：“京師之重，猶過於君王乎？國若無主，社稷宗廟何存？爾等一味要守京師，又置聖上於何處？我意已決，不必多言。”說罷吩咐各處，儘起留守司大軍，即日趕赴建康行在。
下得堂來，嶽飛與陳淬等將沉默不語，相對苦笑。陳淬邊走邊說道：“宗帥方去不足一年，長江之北已經儘屬金人，若論禍國，杜充可為首也！”
嶽飛歎口氣道：“便是恩師不去，看如今朝廷態勢，隻怕也不肯讓其北伐，最多也隻守住京師之地罷了。杜充其人，你我知之，若是不依其行事，隻怕另生禍端。還是早做準備，等到得建康後再做計較。”陳淬點頭。
數日之後，杜充將留守司人馬準備停當，便率大軍浩浩蕩蕩開赴建康。杜充離開後，朝廷命蔡州知州程昌?為留守判官，此時原留守判官宗穎因與杜充不睦，早已辭官歸鄉。
當程昌?來到京城時，汴京自四門外皆闔，人以為病，程昌?便想改杜充當日之舊製。杜充用律極嚴，城中有遊手雜食，於市中竄竊者，雖犯一錢亦死，程昌?便想將這個限額寬為一千。但可惜的是副留守劉仲荀皆不聽。
這劉仲荀也是貪生怕死之人，杜充逃離汴京後不足兩月，他便以金兵逼近京師，糧儲告急為由，率餘兵步杜充後塵，逃往建康府。京城百姓見其離去，便疑朝廷欲舍東京，於是拖家攜口約數萬人一道隨其南逃。朝廷無奈，隻得命京畿轉動副使上官悟為東京留守，最終東京被偽齊所破，上官悟以身殉國，此乃後話不提。
當嶽飛跟隨大軍離開汴京之時，回望古樸的城牆，想到自己在此處經曆的種種，心中感慨萬千，經此一彆，不知何時才能回到此地，又不知何時才能完成自己儘收失地的宏願。此時嶽飛心中五味雜陳，慢慢吟出一首詞來：
“塞馬南來，五陵草樹無顏色。雲氣黯，鼓鼙聲震，天穿地裂。百二河山俱失險，將軍束手無籌策。漸煙塵、飛度九重城，蒙金闕。
長戈嫋，飛鳥絕。原厭肉，川流血。歎人生此際，動成長彆。回首玉津春色早，雕欄猶掛當時月，更西來、流水繞城根，空嗚咽。”