於氏太需要人手了，孔家家族有的是人，誰都想分一杯羹。那麼最好的路線便是與於氏侄子搭上關係，於氏侄子也需要籠絡一些人手，兩廂各有所圖，於氏侄子身邊便有了一些人手。可兩位叔祖經營了這些年豈是那麼好動的？
於氏侄子接管下來困難重重，以至於發生了多次內鬥群毆的事。
雙方各執一詞，到衍聖公跟前評理，衍聖公感覺頭大，他根本不想管這些事，“兩位叔祖看著解決！都是一家人，何必弄得你死我活？”
讓五太爺六太爺解決自然是己方勝出，吃了虧的於氏侄子隻能來姑姑這裡告狀。
於氏大怒，“這事我會處理，你們暫時消停些，千萬彆再鬨事衝動。”說完吩咐拿錢安撫受傷人員。
孔家絕不是一塊鐵板，從幾次相互狀告便能看出族裡心思各異，於氏是聰明的，自從有了掌控孔家的心思後已經將整個孔家家族各派勢力都了解了七大八，那次群毆後於氏沒有動作，偶爾召見一下子侄，給京城送了一些土儀，生活就如以往一樣過著。
乾隆五十年，國子監辟雍新建落成，皇帝 親自講學，衍聖公帥眾先賢後裔觀禮，得到了皇帝的誇獎。而就在這一年孔家族人孔廟四品執事揭發孔繼汾所著《孔氏家儀》一書有忤逆之詞，呈狀山東巡撫，孔繼汾獲罪入獄。
而這本書早在一十年前就寫完了，到如今才有人揭發讓人不得不深思。可律法在，不容你辯駁。
孔繼涑帶著五哥的兒孫求上衍聖公府，衍聖公前堂跪地一片“還請衍聖公救救你五叔祖吧！五哥一生醉心學問，哪有不臣之心，即使有言辭不當也是無心之舉。”
孔繼涑老淚縱橫，這真是無妄之災！
“叔祖請起，各位叔爺叔伯們也起來！哎！曾孫也正為這事犯難呢！五叔祖這事若屬實曾孫便有失察之過，曾孫正在擬請罪書呢！”
“公爺，看在五哥幫著打理府裡庶務多年份上還請您一定救救他啊！如果此難過去一定讓他在家潛心學問，不再出世！”孔繼涑一個頭磕下去，衍聖公趕忙扶起，“六叔祖，折煞曾孫了！我這就去府衙問問！”
巡撫給了衍聖公足夠的麵子，人來了就被請進去，“公爺，這事我等可做不得主，公爺應該沒忘明史一案吧？我等有幾個腦袋敢壓下此事？”
衍聖公自是知道，跟來的六叔祖最終也是無可奈何。他們解釋多少都沒用，巡撫即使相信你是清白的也沒用，這事就得皇上開口。
巡撫給了足夠他們麵子，讓他們見到了人，可見到了又能如何？“可恨告發的小人！”現在六叔祖最恨的就是告發之人。《孔氏家儀》在族裡流傳了多少年，想查都不知道從何查起，這一點巡撫是不能告訴的。
“六弟無須擔心，這事關鍵在皇上，怎麼看也是皇上一句話。”關進了大牢孔繼汾越發冷靜了。他預感到事情不會容易過去，這就是針對他的陰謀，他自認為無愧於天，無愧於朝廷，何來謀逆？一句“餘區區複古之心”就被人詬病為反清複明，這就是斷章取義！他隻是想恢複孔家祖風，與前朝何乾？他從沒覺得自己是如此的冤枉。
“六弟，一切聽天意！”
一群人又趕回了孔府，衍聖公連夜奏折，快馬送京，一是為自己請罪，一是將五叔祖自辯呈上，可惜老皇帝認準了孔繼汾的不臣之心，複古與複明有何區彆？這就是對大清的不滿。
責令刑部嚴查，刑部就是看皇上臉色辦事的，很快孔繼汾的判決下來：孔繼汾乃聖人後裔，還登過仕途，如此妄言，理應重判，發配伊犁，充當苦差。
這樣的判決讓五房眾人如遭雷擊，當家人毀了，也意味著他們這一門全完了！
後來孔繼汾在充軍路上經兒子多方籌措借貸贖出得以自由，卻一直沒回老家，遊曆南方死於友人家中。其子文學史學造詣頗深，受其拖累，一生不得誌，這些都是後話。
於氏正好命人接管了孔繼汾所管的庶務，有些人仿佛從中嗅到了什麼。見風使舵的忙向於氏示好，但也有不死心的硬抗，他們始終相信孔家的就是孔家的，怎麼可能交外人掌控？這是不合規矩的！
於氏沒著急，貓抓老鼠還要耍一耍，她隻要先穩固下已經掌控的就好，也看看有些人的選擇。對權利的掌控讓她找到滿足，唯一遺憾的是自從生了一女兒就再也沒懷過。連禦醫看後都沒什麼好辦法，“夫人身體沒事，可能原因出自衍聖公！”
也就是她不易受孕可能是衍聖公的問題，於氏如珠如寶一般疼愛著閨女，而突然的高燒讓她失了方寸，等郎中過來一看方知是天花，於氏如遭雷擊，她日日求神拜佛依舊沒保住閨女的生命。