卻說上官太後允了外公霍光之請，力勸宣帝冊立他的姨母霍成君為繼後。宣帝本沒成見，便遵太後之諭，即輿成君成婚。於是一位堂堂姨母，反稱甥女做阿婆了！霍後人尚秀媚，宣帝又當好色之年，雖然偶憶亡妻，餘哀未儘，但對此一位粉裝玉琢的美人，怎肯不優加相待。從前許後最守婦職，每逢五日，必至長信宮中朝謁太後。
霍後既為劉家媳婦，自然不能推翻舊例，每逢朝謁太後的時候，太後必離位旁立，口稱免禮。太後這個舉動，明是因為霍後是他嫡嫡親親的姨母，特彆客氣幾分。其實這層麻煩，第一要怪霍顯隻知後位，不顧綱常；第二要怪霍光身為朝廷柱石，怎好徇兒女私情，不問輩份大小？就是宣帝貿然承諾，也屬非是。事既木已成舟，上官太後行這似是而非的禮節，真是貽笑大方。當時盈廷臣工，尚誇太後知禮，這是拍馬論調，更是狗而屁之的了。
是年丞相蔡義病逝，進大鴻臚韋賢為丞相，封扶陽侯大司農魏相為禦史大夫，升潁川太守趙廣漢為京兆尹。
又因各處地震，山崩水溢，北海、琅琊，毀壤宗廟，種種兆征，似示不祥。宣帝特地素服避殿，大赦天下，詔求經術專家，以及賢良方正之人。夏侯勝、黃霸二人，因得出獄。夏侯勝並受命為諫大夫，黃霸出任揚州刺史。那時夏侯勝年已垂老，有時入對，或誤稱宣帝為君，或誤稱他人表字。宣帝倒不計較，讚他樸實，頗為親信，並且呼之為先生，旋遷為太子太傅，年至九十餘歲，無病而終。上官太後嘉他忠直，賜錢二百萬緡。齋戒五日。宣帝亦賜塋地，陪葬昭帝的墓旁。西漢經生，生塋死哀，要算夏侯勝為第一了。宣帝於本始四年冬季，議定改元，次年元旦，即號為地節元年。朝政清閒。國家無事。及至地節二年春三月，霍光忽得重病，不到幾天，溘然長逝。宣帝念他前勞。恤典隆重，並拜其子霍禹為右將軍，嗣爵博陵侯，食邑如舊。又命張安世為大司馬大將軍，繼任霍光之位。
霍光既死，霍顯更是沒纏之馬，驕奢不法，任性妄為。又與俊樸馮殷私通，不顧人言。馮殷素來狡慧，與王子方二人，同為霍氏家奴。子方麵貌不及馮殷姣好，因此人稱馮殷為子都。霍禹、霍山，也學了霍顯的壞樣，淫縱無度。霍雲正在少年，整日不辦公事，隻是攜帶家丁門客，問柳尋花，東闖西撞。還有霍禹的姊妹，仗著母家聲勢，任意出入太後皇後兩宮。物必自腐，然後蟲生；於是惱了一位禦史大夫魏相，密上一本參折，還恐此折被霍禹抹然不報，乃托許廣漢親自麵遞宣帝。
宣帝接來一看，隻見上麵寫的是：
臣聞《春秋》譏世卿，惡宋三世為大夫，及魯季孫之專權，皆足危亂國家。自微元以來，祿去王室，政由塚宰。今大將軍霍光已歿，子禹複為右將軍，兄孫山，亦入秉樞機；昆弟諸婿，各據權勢，分任兵官。
夫人顯及諸女，皆通藉長信官，或夤夜呼門出入。驕奢放縱，恐漸不製。宜有以損奪其權，破散陰謀，以固萬世之基，全功臣之世，國家幸甚！臣等幸甚！
宣帝看完此折，長歎道：“霍氏不法，朕已深知。一則因念霍光前功，二則須看太後麵上，所以暫時姑容。現既弄得天怒人怨，朕也不敢以私廢公了。”
宣帝說完，轉折一想，且一麵先任魏相兼領給事中，凡有封事，準其徑奏，不必先白霍氏；一麵詔知霍顯，命他趕緊管束子弟，毋得再有不法情事發現。宣帝此詔，也算得情理兼儘。
無如霍顯賊膽心虛，生怕謀害許後舊案發作，便有滅族之禍；又因宣帝已立許後微時所生之子奭為皇太子，將來即了帝位，查出其事，必替亡母報仇。不如一不做，二不休，暗暗唆使霍後，趁皇太子尚在孩提時候，也用毒藥害死，以絕後患。霍後奉了母命，自然照計行事。
不料宣帝早已防到：每當霍後賜食與皇太子的當口，必須保母先行嘗過。霍後無從下手，隻得背地咒罵皇太子早死。可巧又被宣帝親耳聽見，不禁大疑起來。回想從前許後的死狀，其中定有蹊蹺，便與魏相密商一種釜底抽薪之法，慢慢進行。那時度遼將軍範明友，為未央衛尉；中郎將任勝，為羽林監，還有長樂衛尉鄧廣漢，光祿大夫散騎都尉趙平，都是霍光的女婿，手掌兵權；給事中張朔，係霍光姊夫；中郎將王漢係零光孫婿，亦充要職。宣帝先徙範明為光祿勳，任勝為安定太守，張朔為蜀郡太守，王漢為武威太守。複調鄧廣漢為少府，收還霍禹右將軍之印，改任為虛名的大司馬；並將趙平的散騎都尉印綬，同時撤回，特任張安世為衛將軍，所有兩宮衛尉，城門屯兵，北軍入校尉，統歸張安世節製。另使許、史兩姓子弟代為將軍。
宣帝這樣的一番大調動，霍氏豈有不明白之理，便也私開會議，以備抵製。霍禹年紀較長，膽量自然較大，首先發言道：“縣官微賤時候，幾至餓死。不是我們大將軍成全他，怎有今日！我們又把妹子配他，也可算得恩上加恩，惠上添惠的了。他既無情，我便無義，何不把他廢去，隻推太後作主，何人敢說二話。”霍禹背後每呼宣帝為縣官，不知作何解法。正史如此記載，不佞不便略去。現在單講大眾聽了霍禹之言，個個讚成。會議既定，隻待進行。誰知竟被他們家中的一個馬夫，名叫歐陽明德的聽得清清楚楚，急去告知長安亭長張章。張章聽了暗付道：
“這是我的大運臨頭了。”便以歐陽明德藏在家中，備作活證，就去上書密告宣帝。
宣帝早已預備，既有這椿導火線引著，立把霍氏全家，以及一切親族，統統捕獲。霍山、霍雲、範明友三人，一知事發，頓時服毒自儘。霍顯母子，一時無法逃避，早被拘入獄中。問官訊出真情，霍禹腰斬，霍顯絞斃。所有霍氏三族，全行棄市，馮子都、王子方也作刀頭之鬼。