此時山西的遼軍空前強大，西路軍處境極其危險。明智的辦法是立即撤退到山西中部的險關固守，以避遼軍鋒芒，潘美也正是這樣做的。
深知西路軍已經無望，宋太宗下詔指示潘美，讓他與楊業一起引兵護送雲、朔、寰、應四州百姓內遷。
這道旨意從政治上來說，絕對政治正確，任誰都不得不認同，但是從軍事上來說，完全就是荒謬的了。
現在的戰場形勢已經十分嚴峻了，可以說是爭分奪秒，一旦被遼軍包圍，西路軍就算是完了。與此相似的是劉備從新野撤退，也是帶著老百姓，結果在長阪坡被曹軍追上而全軍履沒。以宋太宗趙光義的文治武功，又豈能不知道，但是他還是下了這道旨意。
可以說岐溝關一戰是大宋的一個轉折點，精銳喪失一空，五代十國慘痛的教訓就在眼前，宋太宗趙光義不得不考慮後續問題了。
宋太宗趙光義之前能容得下楊業，那是有這個自信，但是現在精銳打沒了，那麼楊業作為北漢降軍的代表，妻子又是手握重兵，聽調不聽宣的折家嫡女，在民間又有如此之高的聲望，若是振臂一呼，大宋危矣！
可是楊業並無反意，宋太宗趙光義也不能說我擔心楊業會造反，所以提前將他殺了，若是這樣一來，手握兵權的將領將會人人自危，國將不國。
宋太宗趙光義軍事才能不及宋太祖趙匡胤，但是帝王之術已經如火純青，立即下了這麼旨意，要借遼人之手除去楊業。若是楊業不中計，宋太宗趙光義也有大義名分能治楊業的罪，以堵他人之口。
潘美接到這份旨意也傻眼了，雖然孫子兵法有雲：將在外，君命有所不受。但這是以文製武的大宋，你敢有所不受試試看，言官的口水都能把你淹死，況且這份旨意占據了大義名分，充分體現了皇帝愛恤子民的拳拳之心，所以潘美硬著頭皮也要執行。
在護送邊民內遷到達狼牙村時，遼國蕭太後和大臣耶律漢寧、南北皮室以及五押惕隱率領軍隊十多萬人，再次攻陷了寰州。
楊業對潘美等人說:“現在遼兵兵力、士氣很旺盛，不能和他們交戰。朝廷隻是讓我們護送這幾個州的百姓，隻需帶領部隊從大石路出發，先派人秘密告訴雲州、朔州的守將，等到大軍離開代州的那天，命令雲州的部隊先出發。我的部隊駐紮在應州，契丹人必然來抵抗，就下令讓朔州百姓出城，直接進入石碣穀。派一千弓箭手埋伏在穀口，命騎兵在中路支援，那麼三州的百姓，就能夠萬無一失了。”
楊業的這個建議很好，但是監軍王侁反駁他的建議說：“帶領好幾萬精兵卻如此畏懼怯懦。隻需直奔雁門北川，大張旗鼓的前進。”劉文裕也讚成王侁。