五月底，收到信的長子李建成隻用了數日時間就掃清了河東，隨後帶著家眷和兄弟回太原，回太原的路上，遇到敵軍阻截。
李淵五子智雲為斷後，挺身誘敵，被隋軍抓走，建成手中兵少，不能力敵，隻能舍棄弟弟，
好不容易回到太原，李建成立即向父請罪。
智雲是李淵妾室萬氏之子，勤奮好學，性情純良，除了元吉見他並非嫡出，卻處處受父兄誇獎，反壓了他這個比他還大幾個月的嫡出哥哥一頭，有些嫉妒外，其它兄弟與他關係都不錯。
尤其是李二郎，自幼方方麵麵都十分出眾的李二郎，對頑皮搗蛋，不學無術的四弟元吉，頗有幾分恨鐵不成鋼，時常訓導他，反與懂事聽話，又謙恭上進的五弟智雲非常要好。
建成回到太原，李二郎聽聞他眼睜睜看著智雲被抓走，大為惱怒，與兄長大吵了一架，最後還是李淵站出來嗬斥：“二郎，休得對你大哥無禮，當時情況你也聽到了，不是大郎不想救智雲，而是他確實無能為力。”
李二郎被父親喝斥，不再言語，低頭沉默了一會，緊接著就悶聲不響的離去，李建成瞧著他離去的身影，有些不安的道了一句：“父親，二郎他，怕是真惱我了罷。”
“大郎，你不要多想，你弟弟，二郎他，哎，自你三弟病逝，他就存了心結，智雲自小就粘二郎，在他心裡，多少有些把對玄霸的感情移到智雲身上。”
“他適才發怒，不過是感情上一時有些接受不了罷，並非真責怪於你，等他冷靜一下，想通了，自然就無事，你好好休息兩日，我李家大軍，不日將要揮師西上......”李李淵看了兒子一眼，安撫了兩句。
“真搞不懂，二哥為什麼對李智雲那麼好，好歹我們和他才是一母同胞的兄弟......”一旁的李雲吉聞聲忍不住低聲嘀咕了一句。
“元吉！”李建成和李淵同時對他怒目而視。
當日傍晚，李二郎回到家，與妻子獨處的時候，忽然流下淚來，長孫小娘子吃了一驚，卻什麼都沒說，隻伸出手默默的抱著他，讓他靠在自己的懷裡痛痛快快的哭了一場。
李智雲的事她已經聽大嫂鄭氏說過，更知道李二郎對智雲的感情，這個自幼在同齡人中就顯得鶴立雞群般的驕傲的男子，外表看上去堅韌無畏，似乎沒什麼東西能對他造成傷害。
實則內心極重感情，母親竇氏，三弟玄霸都是在他心裡占了極重份量的人，他們的病逝在他心裡已成了一塊不能觸摸的疼痛，現又是智雲，怪不得他情緒有些崩潰。
不說李二郎夫婦的心事，但說唐國公李淵，於時年六月，正式昭告天下：在晉陽（太原）設定大將軍府，建立左、中、右三軍，以長子李建成任隴西公，左領軍大都督，左軍隸屬其下。
次子李世民為敦煌公、右領軍大都督，四子元吉為姑臧公，中軍隸屬其下，裴寂為長史，劉文靜為司馬，石艾縣縣長殷開山任掾史，劉政會為屬。
長孫順德、王長諧、劉弘基、竇琮為為統軍，並開倉放糧，救濟周邊百姓，此舉很快為他博來周邊百姓的擁護。