孝武帝聽了這話，反問道：“難道禦弟也深信謝安挾妓出海？”
司馬道子早有準備，說道：“臣弟前幾日便已聽說，也不敢信傳言是真，不過臣弟也得一封密奏，才相信是真。”
“什麼密奏？”
司馬道子從大袖子裡掏出一疊布紙，呈給孝武帝，道子言：“此乃謝安女婿王國寶的奏疏，陳言嶽丈謝安，妄以品德自居，卻惡習不改，有欺君之罪。”
孝武帝一聽，大吃一驚，看過王國寶奏疏，勃然大怒，孝武帝道：“謝安一把年紀，竟是徒有德行，心如禽獸，辜負了朕的一片厚望。”
司馬道子言：“臣弟看來，謝安德行不端，人心難服，不宜為丞相。”
孝武帝道：“此事不可聲張，淝水之戰，謝安居功至偉，乃肱股之臣。人非聖賢，孰能無過，無需多言。”
孝武帝出於對謝安的欽佩，即便流言四起，也未當真，但孫太後、司馬道子、王國寶這一群人，接著造謠。直到二百六十多年後，唐代做《晉史》，記載謝安挾東山妓，方有曆代文人騷客，引以為風流韻事笑談不絕，唯有後世散人朱長孝做判詞曰：
色藝酒詩汙學郎，大傷博雅繪輕狂。隻追泛海豔情事，怎奈東山書墨香。
寡聞朝堂風骨健，獨傳市井謗言黃。曆來放蕩等閒輩，千載無聊尋謝娼。
謠言一日甚於一日，好事不出門，壞事傳千裡，人在屋中坐，禍從天上來，直至謝安自己也聽到挾妓出海之事，
正逢這日入朝，謝安進顯陽殿，拜見孝武帝司馬曜，奏報商議了幾件政事，孝武帝言道：“丞相年邁，整日操勞，可要保重貴體。”
謝安作揖道：“承蒙陛下垂愛，老臣定當儘心竭力，輔佐政事，不負崇德太後托孤之約。”
“儘心竭力？”孝武帝道：“丞相這把年紀，若整日腰酸背疼，儘心不儘心，也無關緊要。”
一聽這話，謝安頓時有些發懵，不知天子用意，謝安問：“老臣愚昧，不知陛下何出此言？”
孝武帝雙手端過來一摞奏章，說道：“丞相自己瞧瞧，這香聞逸事都傳成了什麼樣子？老愛卿情何以堪？”
小太監把一摞奏章，拿了過來，謝安跪坐一側，一一打開，有署名的，也有匿名的，奏報之事，全是參劾謝安失德無望，挾妓出海，嫖宿醜聞。
謝安看罷，驚得一頭冷汗，沒想到謠言越傳越烈，好似世人皆如。謝安辯解道：“老臣家室單薄，隻有原配之妻一人，早年病故，連妾室也不曾納娶，何來攜妓出海之說？”
孝武帝臉色生硬，帶有幾分冷諷說道：“有道是無風不起浪，普天之下，哪有無緣無故之事，朕自當充耳不聞。”
謝安道：“老臣自當親查，看看這些傳言，從何而起？”
孝武帝揮揮手，說道：“丞相坐鎮江東，素以名望立身，查查也好，這些個奏章，就代朕批了吧。”
孝武帝司馬曜多少還是對謝安有所器重，沒有訓責，給謝安一個自己解決的台階下，讓謝安帶走了這些奏章。
謝安抱著一摞奏章，滿懷怨氣的回到尚書房，此時屋裡的幾位尚書都忙事去了，隻有司馬道子當值。看著謝安一臉凝重，反複翻閱著這些奏章，司馬道子走到近前，輕聲問道：“看丞相麵色苦楚，滿懷沉重，莫非有不悅之事？”
謝安道：“會稽王有所不知，近來不知何故，流言四起，以訛傳訛，朝中不少大臣參劾老夫，說我挾妓出海，整日嫖宿，大失德望。真是氣煞人也！”
司馬道子心中竊喜，假意說道：“啊？真是目無尊長，無法無天。不如把這些大臣逐個揪住，全部繩之以法。”
謝安道：“古往今來，法不責眾，參劾之人多是重臣，出於公心，況且匿名奏疏，也有若乾，我若嚴施法令，隻恐越描越黑，嫖宿謠言，反到成真。”
“唉......”司馬道子裝出一副無奈，說道：“古人雲：飽暖思淫欲，人閒生事非。今日看來，果不其然。”
“會稽王有何高見，儘可說來，老夫洗耳恭聽。”
道子言：“前幾日我請旨北伐，丞相不許，執意修生養民，百姓好養，可滿朝文武不好養。官員高居廟堂，養尊處優，閒來無事，便招嫖無度。自己沉溺酒色，又想把丞相也拉下水，本王之見，參劾之人，必是好色之輩！”
“會稽王之意，這些傳謠之人，也是閒來無事？”
“正是此意。”道子言：“丞相不妨請旨北伐，丞相功績越大，陛下自然信服，謠言不攻自破，丞相威德，豈是一群小人能誹謗得了？”
司馬道子伶牙俐齒，說話翻雲覆雨，信口雌黃，就是想讓謝安遠離京師，他知道謝安是忠良，寧可冤死也不會謀反，故意竄動謝安離京。
雖然司馬道子口蜜腹劍，但是深陷醜聞的謝安更明白，長期溺在謠言之中，不被氣死，也要被罵死。謝安沉思片刻，說道：“京師水深，深不可測，為今之計，三十六策，走為上策。”
謝安年過六旬，對司馬道子所謂的良言相勸，已經隱隱感到，其中暗藏險惡。再想想司馬氏皇族宗親，有幾個省油的燈？不如遠離是非地，心中便敲定了離京之事。這便是:
他人招嫖你不嫖，惡語相傳造汝謠。眾口鑠金傷德望，骨銷積毀譽名消。
泥潭置己為官苦，赴任離京行路遙。身處顯榮如伴虎，位升極品疾風瀟。