月餘，突厥大局已定，楊素奉旨返京。
太子代帝嘉獎越國公平定突厥之亂有功，晉司空，改封楚國公，賞金千兩，美女十位。
越國公府也正式更名為楚國公府。
這趟回來，楊素深感力不從心，年紀大了，心態已然有所轉變。此刻回京便想著儘量少摻和朝堂之事，在府靜養，深居簡出。畢竟此時的楊素是隋朝的大功臣，權勢炙手可熱，生活豪奢，家裡姬妾，歌伎便養了上千人。即使在京城之外，楊素的不動產業也數以千計，活到這個份上，此生足矣。
隻是最近，些許流言傳入楊素耳中，楊素大為震怒，叫來府衛輕聲安排事宜。
尚不知情的李百藥還不知道自己大禍臨頭，這日便又打著找楊玄感的幌子來到了楚國公府上。隻是今日還沒來得及借故見到佳人，便被楊素提前安排好的府衛抓到，捆綁起來之後送到了庭院，楊素赫然就坐在院裡飲茶，另有一女子手持紅拂，立於楊素身旁。而楊素麵前有一個女子跪在地上，便是與李百藥相識的國公府寵妾王姑娘。
李百藥當即明白東窗事發了，掙開左右府衛按住自己的手，走到楊素麵前，由於上半身被綁，隻得鞠躬問好“見過司空大人。”
雖然王紫嫣是自己比較寵愛的小妾，但楊素素來有成人之美善舉。
當初陛下滅掉南朝陳後，就把陳後主的妹妹樂昌公主賜給楊素為妾，樂昌公主亦是風華絕代，又才華橫溢，楊素十分寵愛。可是領回府後，樂昌公主終日鬱鬱寡歡，笑比河清。楊素心生疑慮，詢問其中緣由才得知原來樂昌公主早已成婚，丈夫便是陳朝的駙馬都尉徐德言，夫婦伉儷情深，難以相忘。陳朝大廈將傾之際，徐德言把一枚銅鏡劈開，一分為二，一人一半，請公主明年正月十五把半片銅鏡拿到街市上去賣，若他還活著，一定會趕到都市通過銅鏡尋找公主。後來徐德言真的活了下來，雖然一路顛沛流離，總算是趕到京城，在約定之日到街市上找到一個老者要賣半片銅鏡，而且要價很高。徐德言當即把老者請到自己暫住之地，好吃好喝的款待，講述了事情緣由，並拿出自己珍藏的另外半片銅鏡對上，還寫下一首詩
“鏡於人俱去，
鏡歸人不歸。
無複嫦娥影，
空留明月輝。”
樂昌公主得鏡見詩，想到與夫君咫尺天涯，泣不成聲。
楊素得知大為感動，把徐德言請到府上，讓他們夫妻二人得以團聚，並以厚禮相贈。後來兩人重回江南故地，相濡以沫。
此刻見李百藥弱冠年紀，氣度不凡，風度翩翩，頓生憐惜之情，對著李百藥說道“聽說你很有才情，文章寫得好。那就作首詩為自己求情吧，如果能打動老夫，就免你一死。”楊素敢說這個話，自然不會把李百藥那個內史令老爹放在眼裡。
下人聞言給李百藥鬆了綁，奉上紙筆，李百藥不假思索，一揮而就。
楊素接過來一看，果然妙筆生花，一紙燦然，隨即讓愛妾王氏也起身，對著李百藥說道“為何明知是老夫寵妾，還敢如此肆意妄為？真以為你那老爹保得住你？”