到了黃藥師祖父這一輩，在高宗紹興年間做禦史。
這一年，奸臣秦檜冤害大忠臣嶽飛將軍，黃藥師的祖父一再上表為嶽飛申冤。
高宗皇帝和秦檜大怒，不但不準，還將他貶官——所謂是賜金放還。
可黃藥師的祖父也是個執拗不屈的性子，忠心耿耿，便在皇宮大門外大聲疾呼，不依不饒地呼籲百官與眾百姓一起來保嶽飛將軍，救國救民！
秦檜惱羞成怒，就將他直接下獄殺了，所有的家屬都流放去雲南。
所以黃藥師其實是在雲南麗江出生的……他從小就讀了很多書，又練成了極高的武功，從小就詛罵皇帝，說是要推倒宋朝，立誌要殺了皇帝與昏庸的當朝大臣為嶽飛將軍和祖父報仇！
可那個時候，秦檜早就已經死了，高宗皇帝也日漸年老昏庸。
黃藥師的父親還是一直教他忠君事親的聖賢之道，黃藥師聽了很不服氣，不斷跟自己父親爭論，家裡人都說他不孝。
後來，黃藥師的父親更是一怒之下，將他趕出了家門。
於是，黃藥師從雲南回到浙江祖宅。他非但不去考科舉，還以武功擊毀了慶元府的明倫堂，把當地學官都給揪了出來，狼狽不堪……
還跑到皇宮裡和宰相、兵部尚書等衙門外以及衢州南遷孔府門外張貼大告示，指斥朝廷的惡政。說該當圖謀北伐，恢複故土，否則愧對祖宗雲雲。
朝廷大怒，派了幾百人馬晝夜捕捉黃藥師。
可以黃藥師的武功，又不正麵與禁軍應戰，打遊擊的話區區幾百人馬怎麼可能捕捉得到他？
就這樣，黃藥師的名頭在江湖上非常響亮。因為他謗罵朝廷，肆無忌憚，說的都是老百姓心裡想說卻不敢說的話！就在江湖上得了個“邪怪大俠”的名號。
後來，黃藥師的父親在雲南去世，雖然和他關係不和睦，但終究是把所有家財留給了他……再加上浙江祖宅這邊的一些產業，黃藥師能賣的賣，不能賣的就打包帶走。
最後，他離開了陸地，來到東海上尋了一處無人知曉的小島安頓下來——也就是現在的桃花島了！
不得不說，黃藥師的家族也算
是傳奇了……
“實際上，在下家族的這一段曆史，也算不得什麼真正的大秘密。朝堂之上和江湖武林中，有心人隻要去打聽和探尋一番，總是能知道的。隻不過，我桃花島孤懸海外，和朝堂江湖都已經沒有太多瓜葛，一般也沒什麼人去打聽。”
黃藥師的聲音淡淡的，似乎講述的是彆人家事一般。隻是吳雲還是從其中聽出了一些不甘和怨念。
來自對宋國朝廷的失望，對當年祖父被奸臣所害的不甘，對父子關係不和睦的遺憾……
洪七公沉默了片刻，又道：“不過黃老邪，這些似乎和你說的十三秘丹藥方沒關係吧？”
“自然有關係！我剛才就說過，這十三張藥方是被我叔祖帶走。實際上，當年我祖父還有一個弟弟。那是我曾祖父在外地為官時，和一個苗醫女子所生。由於既非明媒正娶，又非漢人女子，便一直隱瞞著。我這私生的叔祖便和他母親生活，長到十二歲才來到黃府。”