宋軍的東路軍曹彬的大軍一敗，幾乎毀滅性的潰敗
，這給耶律休哥捅出時間和手來去夾擊宋軍的中路軍了。於是，接連宋軍的中路軍在蕭太後與韓德讓和耶律休哥的夾擊下，迅速潰敗，敗軍一發不可收拾。中路軍一敗，長驅直入的西路軍就成了孤軍奮戰，蕭太後迅速命令耶律休哥向西去截斷宋軍西路軍的退路，命令耶律斜軫全麵出擊，自己再率軍掌控全局，一時間，整個燕雲十六州，隻見宋軍此時已經是望風而敗。
宋太宗一看自己擔心的事情終於發生了，見宋軍此時已經敗局已定，便連忙下令宋軍全麵撤退。所謂下令，也隻是給西路軍的潘美楊業這一路宋軍下令了，其餘的東路軍和中路軍已經全麵潰敗，不用下令就向後潰不成軍的潰退了。
西路軍的正副統帥潘美楊業，在還沒有接到宋太宗撤退的命令之前，在不知道戰場上中路軍和東兩路軍情況突然逆轉的情況下，就在飛狐關（今河北淶源北）被遼軍打了個措手不及，被已經增兵的遼國大將耶律斜軫和耶律休哥的前鋒遼軍夾擊慘敗，被迫準備收縮兵馬後撤。卻此時又接到宋太宗讓西路軍退出已經攻克收複了的寰州、朔州、應州、雲州四州的同時。因這四州百姓原本都是中原人，因此宋太宗在給西路軍下達撤退命令的時候，又讓西路軍把這四州百姓掩護著遷回大宋屬地。
潘美楊業接到這樣的撤退命令之後，聽到東路軍和中路軍已經慘敗潰退，都十分吃驚，知道自己的西路軍已經陷入了遼軍的腹地，自己已經是孤軍深入，未免有些恐慌，有些感到突如其來措手不及的感覺。在此時，如果西路軍不是接到宋太宗的命令，讓西路軍掩護四州的百姓撤退，根據西路軍潘美楊業的英勇善戰，和卓越的指揮能力，完全可以全軍全身而退的撤回來。卻要掩護四州的百姓再撤回中原，這未免會增加西路軍的負擔，這就好比在要離開危險區域的人身上背上一塊沉重的大石頭，讓你吃力的走不快，由此而造成了西路軍撤退的遲緩，這就給遼軍更贏得了追殺和要包圍宋軍西路軍的時間。
於是，在撤退途中，宋軍西路軍不斷的遭到遼軍的截擊。也多虧潘美和楊業父子英勇善戰，和西路軍潘美楊業帶軍有方，宋軍臨危不亂，從容不迫，有層有序的不斷的打退擊潰遼軍的出擊。
卻宋軍西路軍到了陳家穀的時候，遼軍耶律斜軫和耶律休哥還有蕭太後的遼軍中路軍都追了上來，遼軍追兵已經不下二十萬人趕了上來。在這種情況下，如果宋軍西路軍被遼軍追上來圍住，就會全軍覆沒。