高陽公主知道了難免嘀咕了幾句，倒是房遺愛對此很看得開。他直接給李治上了個折子，請求李治允許他印刷《五經正義》，李治直接允許了，又在朝堂上表示以後科舉，《五經正義》就是標準的教科書了，大家都得遵從這上頭的義理，否則的話，就是異端邪說，不能錄取！
房遺愛這麼一折騰，簡直就像是捅了馬蜂窩，偏偏各家還不能直接反對，畢竟，教化天下這種事情對於儒家來說本身就是政治正確。因此，他們也隻好從彆的地方來攻擊房遺愛。
房遺愛其實小辮子很多，他當年做官的時候也不是什麼兩袖清風的人物，當然，這個時候做官嘛，實際上也沒那麼講清廉，講操守。你要是在這上頭找房遺愛的麻煩，那麼，就得預備著房遺愛同樣翻他們的舊賬。真要說起來，大家都是經不起查的。你以為那些世家的財富都是他們節儉持家積攢起來的嗎？巧取豪奪根本就是免不了的。像是借助於族人為官的便利，將官田變私田的大有人在。至於其他巧取豪奪的手段更是不勝枚舉，彆的不說，將一個村的永業田分到另一個村，甚至是另一個縣，甚至，一口人二十畝地，零零散散分散在幾十個地方，誰有辦法耕種呢？這些倒黴的百姓不低價將土地賣掉，改做佃戶，還能乾什麼呢？從東漢時候開始，世家閥閱就是製定規則的人，即便是後來五胡亂華，北地被胡人統治，他們為了長遠地統治下去，也不得不對這些漢人中的地主門閥妥協，這也就是關隴軍事貴族的由來。
在南北朝那會兒，關隴軍事貴族掌握了一部分的兵權，而山東那些士族呢掌握了話語權，在很長一段時間裡頭，他們的關係還算是比較和睦的，但是等到楊堅建立了隋朝，做了皇帝之後，他就不滿足於將話語權留在那些士族手裡了，隻不過楊堅還算是老持承重，並未大動乾戈，輪到楊廣，這位是個雄才大略的性子，壓根難以忍受下麵那些世家門閥愈發膨脹，因此，想要施展手段削弱他們，隻不過，他想法很好，但是執行下去情況就不一樣了，他希望消耗的是那些世家門閥的力量，結果人家也很雞賊，自家的那些家丁部曲是不肯動用的，直接逼著好不容易日子好過了幾天的底層百姓去打仗，去挖運河，自個再從中引導，最終搞得民怨沸騰，楊廣自然沒什麼好結果，他當年給了其他人的諡號煬也落到了他自個頭上。
既然不能從官聲上頭做文章，那就隻能在私德上頭做文章，自古以來，桃色新聞最是叫人無法分辨，所謂造謠一張嘴，辟謠跑斷腿就是如此。宋朝那會兒，歐陽修的政敵抓不住他在彆的事情上頭的把柄，然後上下嘴皮子一番，直接說歐陽修跟自個兒媳婦有一腿。這種事情，那真的是百口莫辯，一大家子人住在一起，歐陽修不可能跟兒媳婦沒有任何交集，當事人也不能跳出來說此事子虛烏有，人家隻會說你是做賊心虛，最終，原本已經進入中樞的歐陽修隻得憋屈地辭官走人。
房遺愛也是如此，不過房遺愛也沒有什麼兒媳婦，房玄齡死後房遺愛也分出去了，自然不可能跟上頭的小媽有什麼往來，何況，你要是說這些，難免叫皇帝覺得這是在影射自己，因此，最終他們就乾脆暗搓搓地表示，高陽公主在外麵養了麵首，一個個煞有其事，連名字身份還有幽會的地方都說得有鼻子有眼，甚至還說高陽公主賞賜了房遺愛幾個美貌的宮女之後，房遺愛甚至甘之如飴，還專門在外頭給高陽公主把風。