再次翻開菲茨羅伊家族的曆史，會發現菲茨羅伊家族的第一代，高祖父輩是純血華人，至於是因為什麼來到的歐洲，並沒有確切記載，甚至曾祖父威廉還故意隱瞞高祖父的漢字名，隻保留了姓氏，隻用法語名“腓力”來記載父親來到歐洲之後的經曆，是一名住在法國的巴黎，並且很少露麵的一名富商。
高祖母是法國普通小農場主的女兒安妮·蘇爾特。
高祖父腓力至死沒有放棄姓氏，他與高祖母安妮·蘇爾特的兒子曾祖父威廉也沒有放棄姓氏，按照法國貴族的傳統，自路易十四封曾祖父威廉為紐斯特裡亞男爵開始，這個家族可以以紐斯特裡亞為姓氏，但他還是沒有這樣做。
反而讓家族以與英國斯圖亞特王室有血緣關係的妻子瑪格麗特·菲茨羅伊的姓氏菲茨羅伊為姓氏，想以此來融入法國大貴族們的世界。
但腓力強大的基因還是讓兒子威廉在相貌上偏向東方一些，當然也有西方的特征，因此帶來很多麻煩……
也獲得綽號“東方人威廉”
威廉個人私底下在日記裡稱自己是“華人威廉”。
威廉在父親腓力的各方麵嚴格要求的生活狀態下活到成年了，想以參軍來實現自己的抱負，也是因為這樣人生徹底改變……
從士兵到騎士將軍，再到紐斯特裡亞男爵，最後路易十五時代退居幕後的強大軍事財閥家族的開創者。
時間來到1743年1月，身體不是太好，年邁的曾祖父威廉·德·紐斯特裡亞男爵向路易十五辭去一切職務，於同年1743年12月去世。
之後家族僅靠瑪格麗特·菲茨羅伊和兒子菲利普·德·菲茨羅伊支撐著……
查理的祖母，祖父菲利普的妻子克裡斯蒂安娜·凱特萊來自庫爾蘭公國的第一任公爵，寶劍騎士團末任團長德意誌人哥達·凱特萊的後人，屬於凱特萊家族成員。
庫爾蘭公國位於波羅的海沿岸的小國，在1562年至今年存在的，名義上隸屬於立陶宛大公國，後隸屬於波蘭立陶宛聯邦的公國，名義上的凱特萊家族最後一任庫爾蘭公爵斐迪南於1737年去世後，庫爾蘭公國的大公位置被上一任大公夫人和俄羅斯女皇，安娜·伊凡諾芙娜在1737年任命她的情夫恩斯特·約翰·馮·庇隆為庫爾蘭公爵，但遭到克裡斯蒂安娜·凱特萊這位凱特萊家族成員的反對，她認為凱特萊家族並沒有絕嗣，而作為外國的俄羅斯公然的任命外人為庫爾蘭公爵的做法是不合法的，是強盜行為。
可惜沒有實力的反對是沒有什麼用的，同年克裡斯蒂安娜·凱特萊被庇隆驅逐，但她得到法國將軍威廉·德·紐斯特裡亞男爵武裝商團的庇護，隨後前往法國巴黎居住。
在法國的幾年她認識了紐斯特裡亞男爵的兒子菲利普·德·菲茨羅伊。
菲利普第一次見這個女孩，就被她堅強、熱情、坦率的性格所吸引。
英俊多金且幽默風趣的菲利普追求克裡斯蒂安娜·凱特萊多年，克裡斯蒂安娜·凱特萊很害怕除了在相貌上，什麼都沒有的自己不會一直吸引菲利普而遭到拋棄，同時也有考驗的成分在裡麵，她是真的害怕這個家族是因為庫爾蘭公國的原因才選擇自己的，才一直到1746年9月才真正的與菲利普完婚。她在此期間也漸漸淡忘自己要求庫爾蘭公爵的爵位。
婚後有了雙方孩子，菲茨羅伊家族依舊沒有要求庫爾蘭公爵。
這對夫婦並沒有享受多久的婚後幸福生活，菲利普與妻子克裡斯蒂安娜隻有一個獨子，出生在1748年1月20日的巴黎。
他是查理的父親斐迪南·克裡斯蒂安·德·菲茨羅伊。
菲利普於1743年繼承父親威廉的一切，於奧地利王位繼承戰爭期間所統帥的騎兵表現的驍勇善戰，但他也因為衝鋒陷陣在前而受傷，戰爭結束後，於1750年舊傷複發去世。
同時，克裡斯蒂安娜失去心愛的丈夫菲利普後，也在1751年傷心抑鬱而去世。
作為軍人，菲利普是非常合格的，能打仗更能打勝仗，但是作為兒子，丈夫和父親是不合格的。