自康熙二十七年，山東巡撫張汧以賚銀赴京行賄事發，經審訊，涉及高土奇。高士奇即上疏：“臣等編摩纂輯，惟在直廬。非進講，或數月不覲天顏，從未乾涉政事……獨是供奉日久，嫌疑日滋。張汧無端疑怨，含沙汙蔑……伏乞賜歸田裡。”康熙心中十分明白，對自己這位沒有什麼實權的近臣來說，無雞焉能生蛋？無米豈可煮飯？貪贓枉法，賣官鬻爵這類事情真是無稽之談嘛，不過是聳人聽聞罷了，但高士奇的疏言辭懇言衷，因此康熙同意高士奇解任且諭令勿滋蔓。康熙二十八年春，康熙又南巡時，解甲的高士奇仍為隨從。但九月，左都禦史郭琇又嚴辭彈劾高士奇等人，說：“高士奇、王鴻緒、陳允龍、何楷、王頊齡等豺狼其性，蛇蠍其心，鬼蜮其形，畏勢者既觀望而不敢言，趨勢者複擁戴而不肯言，臣若不言，有負聖恩……”在這樣慷慨激昂之辭言下，高士奇等人不得不思考何去何從。實際上高士奇明白，郭琇之所以彈劾王，何，陳和自己等人，就是為了爭權奪利，但在這個錯縱複雜的環境下，再加上太子與大阿哥黨的鬥爭日趨激烈，木秀於林，風必吹之啊，王充用三十年心血寫成的《論衡》“累害第二”篇中指出的因嫉妒而生的毀謗，歸納為“三累”和“三害，”的，最終結論是“雖孔丘、墨翟不能自免，顏回、曾參不能全身。”的論著，難道不是給自己的一個警示嗎？雖然皇上還未對自己論罪，但自己是不是要激流勇退了呢？
這日，即會議上書房，商定高士奇引退的事。康熙穿了件石青江稠麵兒的褂子，海龍緞台冠放在案上，一條烏油油的發辮打著明黃結垂下來，伸手從奏折中抽出一張，打開是高士奇休致回籍的折子，然後看著相伴自己多年的高士奇。
“江村，”康熙言下不勝感慨，撫膝沉默良久，方道：“你非走不可麼？自朕繼位第八個年頭你入太學開始，跟著朕風風雨雨二十多年，就這樣棄朕而去了？你的那點子事，朕心裡有數，何至於就無可挽留！言官那邊，朕自然會替你說話的。”
高士奇伏在上書房冰冷的青磚地上重重叩了二個頭，硬咽著回道：“萬歲爺越是這樣說，臣越是無地自容。臣老矣，該從此退歸林下，謳歌聖朝，沐浴清化。讓位於新進國士，於萬歲爺。於臣，於國家社稷都有好處，寸心不敢有一毫欺隱。”
康熙看著高士奇，點頭歎道：“此話也是實情。既如此，朕南巡時，看平湖風俗敦樸，地僻事簡，無外物之擾，你可優遊林野。朕賜一處宅子，你就入籍平湖，成平湖人吧。朕再南巡，君臣還能再見……”說著，豆大的淚珠已滾落下來。見他們如此淒情，旁邊肅立的大臣們也不覺拭淚。
“萬歲爺保重！”高士奇泣道，“臣在平湖朝夕屍視，願吾皇萬萬年！”說著便欲起身。
“不要急嘛，”康熙收淚笑道，“朕還有話吩咐：要保重的是你，作息宴遊要節勞，不要再管地方的事，看著他們哪裡不對，寫折子給朕。你得罪了他們，在哪兒也住不安寧。朕已經命佟國維也進上書房辦事，還準備再物色兒個，這裡的事也不須操心。你善自保養，活得長些，好些，給在朝的人做個榜樣！”說罷又叫，“李德全！”
“紮！”李德全一閃身進來答道。
“帶高士奇至文華殿賜宴！”康熙吩咐道，“朕還要寫詩送行，完了你回來拿——哦，對了，叫禦膳房抄幾樣食膳譜給高士奇帶上，記住了？”
“紮！”李德全極精神地打了個千兒，回身攙起高士奇，一步一步去了。