盧藏用同當時的另一位大才之人，也是“仙宗十友”之一的司馬承禎，一起在終南山隱居，又一起以高士被起用。
司馬承禎被征召後堅持不仕，欲歸山，盧藏用為他送行，指著終南山說：“此中大有嘉處。”
他的意思再明白不過了，在終南山隱居，那是非常美妙的事情，好處大大的有。
司馬承禎譏諷道：“在我看來，去終南山隱居，應該是通往仕途的一條捷徑吧？”
盧藏用無語可對。
世上有很多事情是能做不能說，反之，有很多事情是能說不能做。終南捷徑其實隻是為儘早入仕方式中的一種，相比較其他途徑，在道德層麵上，其實要高尚許多。
當年李白杜甫們手持“拜帖”，四處向有話語權的勳貴們謁見，以期得到他們的提攜；陳子昂為了引起關注，千金購古琴摔之，都沒有人說他們的手段有何不妥，反而說是名士瀟灑。
孟浩然也是在家鄉的襄陽山中隱居。到了四五十歲了沒人理他，結果實在熬不住了，才來到長安來考試圖出身，並沒有人說他是假隱士。
盧藏用被時人譏為“隨駕隱士”，說的是他的隱居是隨著皇帝的宮居而走：武則天在長安時，他便在終南山；女皇去了洛陽，他就在附近的嵩山隱居。
這些都還可以接受。曆史真正對盧藏用有非議的並不是走“終南捷徑”，而是他後來依附太平公主，更有人說他是太平公主的麵首。
依靠終南捷徑和依附太平公主，這兩項是盧藏用被後世最為譴責之處。
當時朝堂上亂象一團，韋後、安樂公主、太平公主幾個女人，你方唱罷我登場，作為當臣子的，誰也不知道風吹向何方，明天是陰是晴，所以如果想有點作為，想做點事，依附哪一方都很正常，不然就隻能做個萬事不關心的醉翁。
在任上，盧藏用還是真做了事的，他“上疏極諫作興泰宮，不從”，還“數糾駁偽官”，但是，