隨後，軍中又屢屢生事，原已蟄伏下來的將領漸漸不服調配，他的軍令日漸無人尊奉，軍紀也隨之鬆垮。他才與謝相生隙，軍中便跟著生變。非他陰暗，謝文不免想到是否是丞相暗下絆子，以此逼他低頭。
今日亦是如此，他下令期門軍與羽林軍冬日演習，以健將士體魄，卻被期門中郎將當麵駁了回來。羽林中郎將是隻老狐狸，看似勸和，實則也與他對著乾，使他難以令行禁止。
謝文走過了相府，還在猜疑，羽林、期門二軍，是否是丞相授意，與他難堪。
但據他所知，姑母與期門軍並無什麼交情，羽林倒是曾在她手中掌過一段時日，羽林中郎將曾是謝府座上賓。但自天子插手羽林以後，丞相便與那邊疏遠起來，將羽林軍讓給了皇帝。
謝文畢竟曾是謝漪精心培養的侄兒，不至於看不清形勢。
這些日子也瞧出來了，他能居驃騎將軍位，得封萬戶侯，非他功勞顯赫，而是陛下有意拔擢。他得罪了姑母，觸怒陛下，而後軍中受挫，其中必有關聯。
謝文一一想來，難免魂不守舍，回到府中，正欲更衣，宮中來人了，召他覲見。
劉藻剛與大臣們議完事，餘下還有另一撥大臣需召見。
她撥冗令謝文前來，無心與他周旋，直言道：“如何請罪就不必朕來教你了。今日你便登門，休再多做拖延。”
謝文入殿，剛行了禮，皇帝便是這麼一句。他像是找到了台階下，踟躕多日，總算能往相府去一趟。可隔閡已成，縱然去了，也多半無濟於事。謝文暗自惆悵，正欲稱諾，忽而發覺陛下提起他與姑母之隙，是以再自然不過的語氣，她已不再遮掩她與姑母之事。
謝文頓覺感覺，渾身都覺不自在，他拱手之時，手便不由抬高了些，擋住了臉，道：“諾。”
劉藻見此，嗤笑一聲，又道：“京衛也不必卿費心，卿且將公務擱下，修身養性去吧。”
寥寥數語，便是奪權。這其實是在謝文預料之中的，但他仍舊悵然，忍不住為自己分辨了一句：“陛下任用官員，難道不是以賢能，而是以親疏？”
他因丞相之侄而獲重用，因與丞相生隙而受冷待，仿佛升降，全看皇帝心情，而無關他自身才能。
倘若是多年前，劉藻即位之初，聽聞此言，興許還會羞愧，然而如今，她不過一笑而已。
候在殿外的宦官入殿示意，有大臣在殿外求見。劉藻點了下頭，示意知道了。
她將目光落在謝文身上，本不欲多言，又想到底是侄兒，他若心懷不滿，一直這麼天真下去，惹下事來，還得她與謝相為他收拾，便與他多說了兩句。
“天下文人、武士，願為朕效命者，多如過江之鯽。其中才德兼備者亦不在少數。既然朕不乏可用之才，何必要起用與朕離心之人。”且還是京衛這等要緊的去處。
謝文默然，他還想再問一句，您對姑母有幾分真心。卻不知是畏懼皇帝威嚴，還是覺得此事荒唐，難以宣之於口，始終沒能說出來。
劉藻等了一會兒，等到謝文恭敬道：“臣受教。”
劉藻看了他片刻，擺擺手示意他退下。心中是說不出的失望。她是見過謝文曾對謝相如何尊重敬仰的，可他得知她與謝相的事後，卻連當麵問一句都沒有，不論是擔憂、關切、厭憎、規勸，他都隻字未提，仿佛連提一提都會玷汙了他。
大約是她們果真如此離經叛道，難容於世吧。
劉藻失望，又更堅定，她想誰都信不過，那她們就自己來。
謝漪比劉藻更失望。謝文出宮便往相府來了。他神色疏離，言辭之中滿是隔膜。謝漪看得出他有話說，可他卻始終未能開口。
請過罪後，他稍作停留，終是告辭。
鴻溝一起，再難合攏。
劉藻較之從前更多了十倍努力。她已知不能再寄望旁人，凡事都還得靠自己。與此同時，她行事也越發果決冷酷，排除異己，任用親信。
隔年春日，她罷了幾名與地方往來親密的刺史，擇選心地堅韌之人代之。韓平也被任為刺史。到夏日，她采集證物，送入朝中，舉廣川王僭越之事。劉藻下詔奪廣川王王爵，貶為庶人，廣川國除為信都郡。
韓平連升數級，返回長安，為京兆尹，位列三輔。
有韓平打了頭陣，哪怕原先看不清形勢的大臣，也知該往何處走了。
諸侯國人人自危，宗室們忙不迭地檢查宮中器物，將僭越之物全部焚毀。這時卻已晚了，他們在侯國多年，安逸散漫慣了，做下的僭越之事不少，不法事更是不勝枚舉，全然經不起查問。
刺史下了狠心，要追查，諸侯王縱有掙紮也是徒勞，連異姓的列侯也受了不小的波及。劉藻趁機削諸侯國征兵之權，使宗室王侯徹底成了拔除爪牙的老虎。