我曾見廷尉郭禧忠純篤厚，年高有德；光祿大夫橋玄聰明通達，端平正直；前太尉劉寵忠誠老實，篤守正道，都應成為主政之人，陛下應多向他們征求意見。宰相等三公大臣是君王的四肢，應委以重任。不應再聽信小吏的讒言，羅織大臣的罪狀。同時，宮廷百工技藝，鴻都門學校創作辭賦篇章，也應暫時停止，以示專心國家憂患。出任州刺史、郡太守的孝廉，本該是讀書人中的優秀人才。近來卻推薦征召不當。隻因寫了一篇小文章，便得越級提拔，因而請托之門大開，違背聖明君王的典章製度，眾心不服，卻沒人敢說出來。我希望陛下忍痛割舍，專心致誌治理國家大事，以報答上天的厚望。
陛下既親自帶頭約束限製，左右親近的大臣也應當跟著效法，上下人人謙卑，以堵塞災禍的警戒，則上天將把災禍懲罰驕傲自滿的人，鬼神將把福佑賞賜謙卑的人。君王和臣屬之間，如果說話不能嚴守秘密，則君王將會受到泄漏言語的指責，臣屬將有遭到喪失生命的大禍。請陛下千萬不要泄漏我的奏疏，以免儘忠的官吏遭到奸佞惡人的怨恨和報複。”
奏疏呈上去後，皇帝一邊觀看，一邊歎息。後因起身更衣（如廁），中常侍曹節在後麵偷偷觀看，把內容告訴左右之人，奏疏便被泄露出去。奏疏中，被蔡邕提出要製裁和廢黜的人，都對他恨之入骨，圖謀報複。
當初，蔡邕與司徒劉郃不和。蔡邕的叔父衛尉蔡質，又與將作大匠陽球有宿怨。陽球是中常侍程璜的女婿。於是程璜便唆使彆人用匿名信誣告誣告說：“蔡邕、蔡質多次因私事請托劉郃，都被劉郃拒絕，因此蔡邕懷恨在心，蓄意中傷劉郃”。
靈帝因此下詔，召蔡邕質問。
蔡邕上疏為自己辯白：“我實在是愚昧又憨直，完全沒有顧及到日後的禍害。陛下理應垂憐忠臣直言的苦心，加以掩蔽和保護。豈能誹謗一出現，便對我產生懷疑和斥責。我今年已有四十六歲，孑然一身，孤立無援，得以寄托忠臣而顯名，雖然身死也有餘榮，但恐怕陛下從此再也不能聽到真話了。”
但蔡邕與蔡質，還是被押入了洛陽監獄。
蔡邕和蔡質入獄後，有關官吏彈劾說：“公報私仇，企圖傷害大臣，犯了大不敬的罪，應綁赴街市斬首棄市。”中常侍呂強憐憫蔡邕無辜，竭力為其求情。皇帝也想起了蔡邕之前奏章上的話，於是下詔說：“減死罪一等，與家屬髡鉗徙朔方，即使遇到赦令也不得赦免。”。
陽球接連派出刺客，一路追殺蔡邕。所遣刺客皆為蔡邕的大義所感動，不肯從命。陽球又賄賂並州刺史、朔方郡太守，命他們狠下毒手。並州刺史、朔方郡太守非但不從，反將實情告訴蔡邕，讓他小心戒備。蔡邕這才得以死裡逃生，轉逃五原郡安陽縣。
其後不久，皇帝憐蔡邕高才，便自食其言，赦免蔡邕，準許他返回原籍。蔡邕從放逐到被赦免，不過短短數月。
蔡邕準備啟程回鄉，五原太守王智為他送行。酒過三巡，王智起舞勸蔡邕，蔡邕不理。王智是中常侍王甫的弟弟，本就驕貴，丟了麵子為賓客所笑，便破口罵蔡邕：“罪犯也敢輕侮我！”
蔡邕聞言，振衣而去。王智深恨之。於是密告蔡邕心放懷怨，誹謗朝廷。皇帝身邊的寵臣，亦紛紛進讒言誣陷。蔡邕害怕無法幸免，於是準備逃命江海，遠走吳會之地。
卻不料被一封書信，改變命運。