趙武靈王雖然不怎麼參與諸侯混戰，但他時刻關注著戰國局勢。眼看著秦、楚、齊強大起來，趙武靈王知道趙國總有一天要麵臨強國的威脅，三晉裡的魏國、韓國已經被打得抬不起頭，他們是指望不上了，為了應對日後的威脅，趙武靈王很清楚隻能靠自己。
趁中原混戰的時候，趙武靈王也沒閒著，他趁機向北方和西方發展，攻打胡人，占據了不少地盤。胡人是遊牧民族，兵種以騎兵為主，善於騎馬射箭，當時各諸侯國還是以戰車為主。在多年與胡人的對抗中，趙武靈王發現了騎兵機動性很強，在戰場中穿梭非常自如。胡人的單兵作戰能力極強，隻不過胡人打起架來沒什麼章法陣列可言，打團戰的話往往比不上趙國軍隊了。
趙武靈王想著，要是學習胡人，穿胡服，練習騎射，組建騎兵為主力的軍隊，提高軍隊的機動性，再輔以陣列戰術，那豈不是兩全其美。練騎射乾嘛要穿胡服呢，因為胡服是短裝，當時中原服飾大多是長袍，要騎馬的話穿胡服更方便。
胡服騎射的想法是很好，趙武靈王很擔心趙國上下都接受不了。中原人有著濃厚的文化優越和自信，向來看不上北方的遊牧民族，覺得他們都是蠻夷。本來移風易俗就很難，現在還要讓中原人接受遊牧民族的文化，進行胡化改造，想想就困難。
趙武靈王將自己的想法和擔憂都和肥義說了，沒想到肥義非常支持，因為肥義老家也在胡地，他的思想非常開明。肥義對趙武靈王說：“大王聽說過這句話嗎，猶豫就會敗北。現在大王既然有決心推動改革，就不要在意其他人的看法，儘管乾去就是，老臣全力支持。”取得了肥義的支持，趙武靈王又去說服了趙國的另外兩名權臣，樓緩和公子成（趙武靈王叔父）。