天正皇帝臨終前，張廷玉與鄂爾泰等同被顧命，命他日“配享太廟”。這是很大的榮耀，一般來說都是身後事才會商議這個事兒，天正皇帝的性子愛憎分明，對著張廷玉十分喜歡，在張廷玉的生前就安排好了一切。
但一朝天子一朝臣，張廷玉看得出來，永盛皇帝少年天子不太喜歡自己。儒家經典《禮記·曲禮上》早有明文規定：“大夫七十而致仕”。永盛十三年，已經76歲高齡的張廷玉以年老請辭。曆經種種波折，皇帝批準了。依照張廷玉的資曆與功績，他的退休怎麼也是風風光光，不想卻生出無限是非，隻留下一條命回家養老，而一切的禍根都源於“配享太廟”這個無上榮耀。
此時張廷玉，對富貴權位已經看得淡了。他所看重的是身後的殊榮，是曆史的地位，對於配享太廟的資格自然格外在意。年邁的張廷玉也開始糊塗起來，他特意上了一個奏折，:“恐身後不得蒙榮，外間亦有此議論，免冠叩首，請上一辭以為券”。意思請永盛皇帝寫個“保證書”，保證他死後能順利的入太廟——這很明顯是對皇帝的不信任。
天子十分不悅，但是念及三朝老臣，皇帝還是寫了，給足了張廷玉麵子。按道理張廷玉應該入宮謝恩，但終究是老糊塗了。在皇帝做出了這麼多讓步與許諾之後，他竟然隻是讓兒子代替自己前去謝恩。皇帝大怒，趁機發作：“張廷玉之罪，不在於不親自謝恩，而在於請朕承諾。之所以讓朕承諾，乃是不信朕。”“朕待群臣，事事推心置腹，而伊轉不能信，忍為要挾之求。觀其如此居心，豈有不得罪於天地鬼神耶！”
永盛皇帝認為張廷玉對先帝的確儘職儘忠，但對他卻是兩麵三刀，根本沒有君臣之情，榮譽拿到手就走人，準備對張廷玉進行懲罰。皇帝的諭旨送到了軍機處，準備第二天頒發。當值軍機章京汪由墩是張廷玉的門生，就把這事提前告訴了張府，讓老張提前有個準備。誰知張廷玉又犯糊塗了，連夜進宮請罪。這下可算是炸了鍋！
按常理，皇帝的諭旨第二天上午才能發到張家，皇帝的諭旨還沒發，你就得到消息跑來謝罪，這分明是告訴皇帝，你身邊有我的人！永盛皇帝盛怒，本想將張廷玉一辦到底，但是張廷玉已成為先帝功臣的象征，削去他配享太廟的資格會讓漢人大臣寒心。故而在懲治張廷玉時，永盛皇帝不得不有所收斂，下旨奪去了張廷玉爵位。
張廷玉從未受過如此打擊，永盛十五年，張廷玉再次申請返鄉。不過，此時永盛皇帝長子永璜剛剛去世不久，張廷玉的“不合時宜”再次惹怒了皇帝，大罵張廷玉：“張廷玉曾侍朕講讀，又曾做過定親王（永璜）的師傅，如此漠然無情，還有人心嗎?”將張廷玉說得一文不值：“你當官這麼多年毫無建樹，不過就是一個古董陳設而已。”隨後，張廷玉“配享太廟”資格被罷去。
皇帝對張廷玉是起了殺心的，張廷玉回到桐城老家，皇帝借禦史彈劾之機，派人去抄家，皇帝特彆交代：凡先帝賞賜或書信文章一律收繳。很多高管退休後總喜歡寫點回憶錄啥的，乾隆也是發了狠心，如張廷玉有一處違礙之語，必製其死地。可是永盛皇帝萬萬沒有想到，三十年“宰相”家裡餘銀不足千兩，先帝禦賜之物原樣保存，文章書籍沒有一處違礙之語。
一直等到張廷玉離世，永盛皇帝似乎察覺到自己對張廷玉處理得太過分了，又再次批準了張廷玉配享太廟。不過嘴巴上卻不肯認錯：“讓他配享太廟，這是先皇之命，朕何忍違。”但是張廷玉生前卻不知道自己能再次配享太廟，帶著無限遺憾離世了。
張廷玉的例子充分說明了一點，就算是臣子自己個有什麼進步的想法，那也絕對絕對不能夠自己個說出來，阿裡袞如果現在上折子說放棄軍機大臣，想著到地方去任督撫，絕對會落一個張廷玉的下場，皇帝必然龍顏大怒，差事兒也是你自己個想選什麼就選什麼的嗎？你若是軍機大臣當不了，那麼總督也必然是當不了！