後因病改任左將軍、會稽內史。與吳興太守張玄之並稱“南北二玄”，為時人所稱美。
太元十三年卒，時年四十六。追贈車騎將軍，開府儀同三司，諡號獻武。
謝安從小就聰慧且理解能力強，與堂兄謝朗一同為叔父謝安所器重。謝安曾告誡自己的子侄們，問道：“我們家的子侄並不需要出來參與政事，為什麼還要每個人都有才能呢？”一時誰也沒有回答上來，這時謝玄答道：“像芝蘭玉樹一樣，而且要讓他生在階前庭院中。”謝安聽後非常高興。
謝安又曾問他，詩經中最喜歡哪句，他回答說是“昔我往矣，楊柳依依；今我來思，雨雪霏霏。”被後世人認為是性情中人。
和叔父謝安不一樣，謝玄文武兼備，立誌挽救危亡，以圖恢複。
他創建的“北府兵”，能征善戰，特彆能吃苦耐勞，成為東晉最為精銳的武裝力量。
在淝水之戰中，“北府兵”軍陣嚴整，使秦主望而生畏，可見其強。
王世貞稱讚：淝水之勝，雖曰有天幸，而玄之善用兵，亦自有以製之。苻氏滅國十餘，擁百萬之眾，平襄而後，氣噉江左。獨玄以北府偏師，躑躅當鋒，覆師斬將者，至再三，其膽力當何如哉。苻氏之亂，玄乘勝比討，而乃使劉牢之、應丕而戰慕容垂，人皆咎為失策吾以為未為失也。······是故一敗而不複振。玄病因之。豈非天哉。
謝玄在曆史上的地位，比他的叔父謝安還要高。
公元782年，禮儀使顏真卿向唐德宗建議，追封古代名將六十四人，並為他們設廟享奠，當中就包括“東晉車騎將軍康樂公謝玄”。
公元1123年，宋室依照唐代慣例，為古代名將設廟，七十二位名將中亦包括謝玄。
在北宋年間成書的《十七史百將傳》中，謝玄亦位列其中。
謝玄的北府兵，也成為華夏曆史上，一道璀璨的明珠。
······
召喚卡上的第四個人，正是謝玄的姐姐——謝道韞。
謝道韞，字令薑，東晉時女詩人，是宰相謝安的侄女，安西將軍謝奕的女兒，也是著名書法家王羲之的兒子王凝之的妻子。
謝道韞與漢代的班昭、蔡琰等人成為天朝古代才女的代表人，而“詠絮之才”也成為後來人稱許有文才的女性的常用的詞語，這段事跡亦為《三字經》“蔡文姬，能辨琴。謝道韞，能詠吟”所提及。
在孫恩之亂時，丈夫王凝之為會稽內史，但守備不力，逃出被抓被殺，謝道韞聽聞敵至，舉措自若，拿刀出門殺敵數人才被抓。
孫恩因感其節義，故赦免道韞及其族人。王凝之死後
，謝道韞在會稽獨居，終生未改嫁。 ..