而到了商、虢二州境內，這種情形更為明顯，自商、虢至伊陽六七百裡，山岩重疊，林木蔽密，本就偏僻蕭條，而屢經戰亂，更是讓這種情形雪上加霜。
這般艱難處境，嶽家軍的後勤隊伍便很難跟上大部隊的行軍步伐，自鄂州到商、虢二州，路途漫長，且山區之中行進困難，使得糧草難以及時供應。雖然嶽飛一路殺獲甚眾，就糧於各處城池，但所獲糧草既要供應大軍日常所需，又因嶽飛不忍各處百姓忍饑挨餓，於是還要分糧賑濟，這使得糧草供應入不敷出。
麵對如此情形，嶽飛也是巧婦難為無米之炊，無奈之下，隻得下令撤軍返回鄂州。而聽聞嶽家軍要南撤，所複州縣百姓無不紛紛痛哭，他們知道，一旦嶽家軍離開，這些收複的州縣很快又會落到偽齊手中，到時悲慘的生活還將繼續。於是便有百姓跪求嶽飛，望大軍護百姓一道南歸。
嶽飛望著這些形容枯瘦的百姓，心中不忍，於是命大軍擠出一萬石糧食交付饑民，而後護著願意南歸的百姓一路南下。到得襄陽府後，嶽飛將這些百姓安頓在襄陽到鄂州境內，並且撥牛借種，招募來歸百姓恢複耕種，這才將這些人安排妥當。
至此，大宋的第二次北伐就這樣虎頭蛇尾地結束了，雖然未能如嶽飛所想那般，渡河北上，在偽齊與金國之間紮下根基，但也並非一無所獲。
雖然嶽家軍占領的州縣在大軍南撤之後，多又被偽齊所得，但商、虢二州一些要地仍被嶽家軍牢牢掌握在手中，並未易手。並且邵隆在赴商州就任知州後，披荊棘，立官府，招徠離散，各得其心，逐漸將商州的生機再度煥發起來，也為之後北伐大事占據了一塊極為重要的橋頭堡。
嶽飛複返鄂州後，由於安誌傑的隨行調養，並未發生像史書中所記載的那般眼疾重新發作，以至於臥床不起的情況，這令嶽飛十分欣喜，於是便靜下心來經營自己的大本營，進一步擴展嶽家軍實力。
但這種安寧的日子並未有多久，偽齊再度來攻。