郭勳與夏言不和，結交霍韜一同對抗夏言，郭勳接連被言官彈劾，世宗準許他申辯，郭勳卻不肯認錯，觸怒了世宗。這時，夏言的知己、給事中高時揭發了十幾件郭勳貪贓枉法的罪行，世宗把郭勳關進了詔獄。顧鼎臣、霍韜相繼去世，世宗恢複了夏言少傅、太子太師、禮部尚書、武英殿大學士的官職，讓他等病愈入閣辦事。雖然夏言還在病假中，但內閣的事務多由他裁定，郭勳的案件，就是按他的授意辦理的。夏言任一品官滿九年，世宗褒讚、賞賜他，恢複了他的全部官階，在禮部為他舉辦宴會。這個時候，世宗雖然優待、禮遇夏言，對他的寵信已經不如當初了。
慈慶、慈寧兩宮夫人去世後，郭勳曾經請求把其中一個給太子居住，夏言認為不合適，符合世宗的心意。到了這時，夏言又改變了主意，令世宗不快，郭勳下獄後，世宗曾下令釋放他，夏言卻又假傳聖旨說不需要遵從這條敕令，且千方百計羅織郭勳的罪名，令世宗懷疑之前言官也是受到他的指使才彈劾郭勳。夏言與宦官高忠交好，高忠曾代夏言進玉器祝壽，這年，夏言又將世宗關於興建大享殿，不需要寫敕令文稿的話泄露給了高忠，因為這兩件事，世宗認定他們互相勾結。
此外，夏言還僭製在西苑乘轎，世宗讓到西苑值班的大臣用香葉巾束發，用皮綿做鞋子，夏言又認為這不是禮製規定的大臣服裝，不肯接受。世宗不上朝時，夏言就不去內閣，而是在家辦公，世宗積累了這幾樁不滿，想要罷他的官，因而嚴嵩得到了排擠他的機會。嚴嵩和夏言都是江西人，夏言入內閣時，推薦嚴嵩接替自己擔任禮部尚書，把他當作門客來對待。嚴嵩表麵上對夏言恭敬，暗中卻懷恨在心，夏言失寵後，嚴嵩一邊用諂言媚語逢迎世宗，一邊與陶仲文合謀中傷、取代夏言的方法。夏言得知此事，便指使禦史多次彈劾嚴嵩，世宗卻不聽，嚴嵩則向世宗哭訴夏言淩辱自己的情狀，並揭發夏言的過錯，世宗果然被激怒。
世宗寫敕書給禮部，曆數夏言的罪過，夏言惶恐不安，上書認錯，並乞求告老還鄉。八天後的七月初一，恰好發生日食，世宗認為這是下級欺慢上級的征兆，便下令將夏言革職閒住，並承認自己的三種過失，布告天下。當天，禦史喬佑、給事中沈良才等人上書彈劾夏言，並因之前言官未能糾察夏言的行為，請求將自己罷職。世宗貶謫、降職了十三個言官，其中高時因曾彈劾郭勳，單單被重貶到遙遠的邊地，嚴嵩取代夏言，步入內閣。
夏言久居高位，生活奢侈，交遊廣泛，罷官之後，很久沒有被起複，地方官待他也稍稍冷淡了。夏言心裡悶悶不樂，每當元旦和世宗生日，他都會上表稱賀，自稱“草土臣”，世宗也漸漸憐憫他，恢複了他尚書、大學士的官銜。
世宗微微覺察到嚴嵩的貪婪和放縱，就召夏言回朝，夏言抵京後，世宗恢複了他的少師等全部官職，也加封嚴嵩為少師，像是與夏言並重的樣子。夏言一回來，就淩駕在嚴嵩之上，批示公文一概不征求嚴嵩的意見，並大肆罷斥、放逐嚴嵩提拔任用的人。嚴嵩不敢直接與他作對，但對他恨之入骨，當時的士大夫正怨恨嚴嵩的貪婪狠毒，認為夏言能壓製嚴嵩，因此深感痛快。然而夏言重回相位後，一心排除異己，被他罷官、治罪的多達十餘人，其中包括唐龍、王暐、王用賓、何鼇等，而這些處罰不儘公允，因此朝中的士大夫開始畏懼夏言。
陝西總督曾銑請求出兵收複河套，夏言性格慷慨激昂，有誌於建功立業，便支持此事。夏言繼室的父親蘇綱與曾銑交好，極力向夏言稱讚他，夏言認為依靠曾銑此事能成，就秘密推薦他，認為大臣中間沒有比他更忠誠的了。世宗因為他的這句話，懷疑夏言徇私不忠，因此世宗雖然肯定了曾銑的壯勇，但要求他明年隻備防禦。
曾銑出塞襲擊河套地區的蒙古部族，取得了勝利，曾銑第二次上疏請求收複河套，奏疏中提到了當地軍費、將才、武器、士卒、訓練度無一不缺，世宗據此認為出兵複套並非上策。到了七月，曾銑再提複套事宜，預算高昂，在他的一再堅持下，世宗下令諸將官討論複套事宜。世宗因群臣一致同意複套，態度轉變了，他再三誇獎曾銑，命兵部詳細地討論複套方案。曾銑受到鼓舞，更加堅決地出兵作戰。鹹寧侯仇鸞因被曾銑彈劾，被世宗下令逮捕，然而兵部之議未能回答後勤來源、勝利把握等關鍵問題，世宗又重新堅定了不宜複套的看法，於是他下詔書責備群臣，語氣很嚴厲。
當時，嚴嵩正在伺機扳倒夏言，夏言對世宗身邊的小宦官盛氣淩人，嚴嵩卻禮遇並賄賂他們，所以這些宦官總是在世宗麵前稱讚嚴嵩、貶低夏言。夏言進獻的青詞往往不合世宗的心意，嚴嵩就越發認真地撰寫青詞，到了這個時候，嚴嵩揣測世宗的心意，就力主河套不可能收複，並稱夏言對國事出力甚多，而自己絲毫沒有參與，請求將自己罷免。夏言非常害怕，謝罪認錯，辯稱嚴嵩此前並未表示反對，世宗批評夏言脅迫君主和群臣。於是，嚴嵩得以直言夏言獨斷專權，夏言也極力辯解，然而世宗已被嚴嵩的誣告蒙住，難以消除怒氣，他停止了一切關於收複河套的討論，讓夏言以尚書的身份致仕，削奪了他的其他官職。
最初，世宗沒有殺夏言的意圖，夏言陛辭，登船離京，有流言蜚語傳入宮中，說夏言臨走時埋怨、誣蔑世宗。嚴嵩又代仇鸞起草上書，彈劾曾銑戰敗不報、貪墨軍餉，並托蘇綱行賄夏言來隱瞞罪行。世宗下令逮捕曾銑、蘇綱，命錦衣衛查證戰敗不報、貪墨軍餉的事宜。在進行審訊後，錦衣衛都督陸炳上報說仇鸞的彈劾都屬實，於是世宗令蘇綱到邊遠地區充軍，並派錦衣衛逮捕夏言。不久，司法部門擬定了曾銑的罪名，稱沒有合適的罪名概括他犯的罪，請求類比守邊將帥失守城寨的罪名將他斬首，世宗說曾銑犯的罪非同尋常，下旨重擬。於是，司法部門說，曾銑適用於串通內閣官員的罪名，世宗同意了。
夏言被逮，抵達通州，聽說曾銑的罪名，大驚失色，他上書訴說自己的冤屈，曆數嚴嵩夥同京山侯崔元誣害自己的七大奸謀，並通過時間線論證了所謂仇鸞的奏疏是嚴嵩偽造的。此外，夏言還揭發了嚴嵩貪贓枉法的罪行，指斥他言行不一、奸詐弄權、心懷不軌，希望世宗能保全自己的性命。但世宗收到他的辯疏後，並未醒悟，案件已定，刑部尚書喻茂堅、左都禦史屠僑等當他將被處死時，援引高官能吏可以被減免刑罰的條款，請求免除夏言的死刑。
世宗不願聽，批評、處罰了喻茂堅等人，夏言在西市被斬首，時年六十七歲，他的妻子蘇氏流放廣西，侄兒夏克承、侄孫夏朝慶都被削職為民。穆宗繼位後，對夏言予以昭雪，複官吏部尚書，赦免他被流放的家人，經夏言家人上書申請，穆宗下詔儘複其故官，並賜祭葬，追諡“文湣”。