胡亥繼位後，趙高從中車府令被提拔為郎中令，地位僅次於丞相李斯。但趙高還是不滿意，他要的是“一人之下，萬人之上。”，那就得除掉李斯這位曾經的“戰友”了。
眼下秦朝已然危機四伏，李斯想要進諫，胡亥卻懶得理他。趙高趁機和李斯說：“關東反叛的形勢不容樂觀呀，陛下也不管管，哎，卑職人微言輕，不像丞相大人您，是先帝依靠的重臣，您多勸勸陛下吧。”李斯回道：“我也想呀，隻是陛下都在宮裡不見我。”趙高說：“這好辦，什麼時候陛下空了，我就立刻來稟報丞相大人。”李斯感激得說：“那就有勞趙大人了。”
趙高知道胡亥無心政事，他在玩的時候最討厭彆人來打擾他，於是每次胡亥玩得開心時，趙高就去通知李斯去進諫，一連好幾次。胡亥怒了，和趙高吐槽：“李斯這個老家夥真沒眼力勁，老是壞了朕的雅致，他是看不起我嗎？”趙高附和道：“哎，丞相畢竟也幫助您登上皇位，如今他卻沒有撈到多大好處，說不定是心裡怨恨陛下呢？可能他要陛下封個王給他做做吧。”
胡亥更生氣了，說道：“啥，他想反了不成。”趙高見機繼續添油加醋：“事到如今，臣有一事不能不說了。”胡亥疑惑道：“什麼，難道李斯真的要反啊？”趙高說：“丞相長子李由擔任三川郡守，而現在起義鬨事的帶頭大哥和丞相是老鄉，他們在路過三川的時候李由都不阻攔他們，我聽說李由和反賊還有書信往來，之前沒有確鑿證據，所以沒有貿然向陛下稟報。”
“這還了得，這事交給你了。”胡亥讓趙高調查此事。李斯知道後也清楚趙高想除掉自己，就上書給胡亥伸冤，並讓他警惕趙高這個小人。趙高故意裝委屈，在胡亥那裡哭訴：“丞相父子早有謀逆之心，老臣擔心陛下安危，我自己是不怕死的。”胡亥很相信他的趙師父，於是安慰他：“老師你不用怕，有朕在誰敢動你？”
不久後，李斯和右丞相馮去疾、將軍馮劫聯名上書，建議停建停阿房宮，減輕老百姓的負擔。胡亥本來就對李斯等人不滿，這下他徹底怒了，說道：“阿房宮是先帝定的工程，你說停就停啊？我才上位沒多久，天下就這麼亂了，你們作為重臣好意思嗎？來呀，把他們抓起來法辦。”