嶽飛守孝在家，牛皋等人也覺得在軍中無趣，便將所訓千人隊交還給劉光世，兄弟幾人也回到嶽家莊中，每日去與嶽飛作伴。
至此，嶽飛每日裡便住在草棚之中，飲食自有李娃安排，平時隻與眾兄弟習文練武，又兼教導嶽雲文武。
在嶽飛守孝期間，宋金兩國因為燕雲之地交割順利，進入了短暫的蜜月期，兩國相安無事，這也讓金國有了時間逐步吞並遼國，剿滅天祚帝殘餘。
在金國攻破燕京，與宋朝進行談判之時，金國大將粘罕起兵攻打遼屬平州，而當時的平州守將張覺見金軍勢大，不可抵擋，於是便獻出平州，投降金國。完顏阿骨打見他獻城有功，於是封張覺為臨海軍節度使、平州知州，仍舊統領本部人馬，駐所在平州。
而在談判過程中，平州被升為金國南京，而張覺仍舊駐兵平州，任平州留守之職。但金國滿朝上下都認為此人心懷異誌，於是完顏阿骨打親下詔諭給他道：“平山一郡今為南京，節度使今為留守。恩亦厚矣。或言汝等陰有異圖，何為當此農時輒相扇動，非去危就安之計也。其諭朕意。”張覺看了之後大驚，於是暫時安下心來。
而後便是金國將燕京百姓儘數遷走，想隻留給宋朝一座空城，一路上流散各處，遷徙百姓叫苦連天，於是便有百姓來向張覺訴苦，說遼國降臣康公弼、左企弓等不能守燕京，使百姓流離失所，請求張覺相助，免除其遷徙之苦。
張覺聽了百姓所言，心中又有所動，於是召集舊部商議此事，其舊部一致說道：“聞天祚兵勢複振，出沒漠南。公若仗義勤王，奉迎天祚，以圖中興，先責左企弓等叛降之罪而誅之，儘歸燕民，使複其業，而以平州歸宋，則宋無不接納，平州遂為藩鎮矣。即後日金人加兵，內用平山之軍，外得宋為之援，又何懼焉？”
被一眾部將所勸，再加之金國上下對他都有疑慮，張覺便動了心思。於是在宣和五年五月，在平州城外將護送燕京百姓遷徙的左企弓、虞仲文、曹勇義、康公弼四位遼國舊臣殺死，獨自占了平州，恢複遼國舊製。並將天祚帝的畫像掛在堂中，喊來鄉民說道：“女真乃是我等仇敵，怎可跟從？”又指著畫像說道：“此非汝主乎，豈可背？當相約以死，必不得已則歸中國。”百姓齊聲呼應。
而後張覺遣人秘密來見到燕京，見了當時的慶遠軍節度使、河北河東燕山府路宣撫使、知燕山府王安中，說道：“平州自古就是形勝之地，地方數百裡，帶甲十餘萬，張覺文武全才，若為大宋所用，必能成為屏障輔翼國家的重臣。如若不然，張覺西迎天祚帝，北納蕭乾，就成了大宋的肘腋之患了。”王安中深以為然，於是將來人派到汴京麵見徽宗皇帝。
徽宗皇帝一直對營、平、灤三州念念不忘，趙良嗣在談判中被完顏阿骨打拒絕，如今突然送上門來，如何不喜不自勝？但他也知道此時以宋朝國力，不敢正麵與金國對抗，於是寫書一封給王安中的部下詹度道：“本朝與金國通好，信誓甚重，豈當首違？金人昨所以不即討覺者，以兵在關中而覺抗榆關故也。今既已東去，他日西來，則覺蕞爾數城，恐未易當。為今之計，姑當密示羈縻足矣。”於是詹度便按照徽宗皇帝指示，秘密與張覺接觸拉攏。
而完顏阿骨打聽聞張覺叛金複遼，大怒，命自己同父異母的弟弟完顏闍母率三千騎兵自錦州出發，征討平州叛亂，同時諭詔平州官吏道：“朕初駐蹕燕京，嘉爾吏民率先降附，故升府治以為南京，減徭役，薄賦稅，恩亦至矣，何苦輒為叛逆。今欲進兵攻取，時方農月，不忍以一惡人而害及眾庶。且遼國舉為我有，孤城自守，終欲何為。今止坐首惡，餘並釋之。”