九月底，阿珠一行回到了吳郡。阿珠拜見了顧蘭芝和醜姑，說明了身份。顧蘭芝和醜姑甚為歡喜，兒子身邊已經有了這麼個聰明伶俐的小姑娘侍奉，那自然是好事。
顧蘭芝本以為阿珠是來接她和醜姑去居巢縣的，結果，當阿珠告訴她們，李徽要她們離開吳郡前往丹陽郡居住的時候，顧蘭芝很是猶豫。
顧蘭芝說，既然居巢縣去不成，便在吳郡呆著便是。這裡住的習慣了，哪裡也不想去。其實除了這個原因之外，顧蘭芝更擔心的是丹陽郡沒有她的存身之所。
當初丈夫李智去世之後，顧蘭芝之所以選擇帶著年幼的李徽回到吳郡，便是因為丈夫那邊的族人欺負他們母子，意圖侵占他們的田產宅邸，幾乎是被趕出丹陽郡的。現在要回丹陽郡，根本無存身之處。
阿珠見顧蘭芝不肯離開，也隻得遵從她的意願。畢竟
李徽交代了，如果顧家不驅趕母親她們的話，那倒也不必離開。
阿珠在顧家住了七八天，和顧蘭芝醜姑她們相處的甚為融洽。蔣勝等人也準備返回居巢縣的時候，結果卻出了麻煩了。顧家主家突然對顧蘭芝下了最後通牒，要顧蘭芝和醜姑搬出吳郡。說她們居住的房舍是顧家產業，顧蘭芝的父親當初便已經典當給了主家。隻是見顧蘭芝母子可憐，南宅顧謙又出言收留，這才允許她們居住。
顧家主家還拿出了證據，一份顧蘭芝已故父親的典當地契，表明這宅子已經是主家的產業。
顧蘭芝驚的目瞪口呆，她從未聽說過此事，覺得事有蹊蹺。於是去和主家理論。家主顧淳連見都沒見她。主家的管事訓斥顧蘭芝，說她兒子李徽忘恩負義，家主沒派人將她攆走便已經開恩了。收回房舍，給她們搬走的時間已經很好了。按理說應該早就將她們的東西丟到大街上去。
顧蘭芝如墜雲裡霧裡，又去南宅向顧謙詢問，顧謙倒是見了她。但是顧謙說，這是家主的決定，他也勸說過家主，但是家主不允。關於李徽忘恩負義的事情，顧謙倒也沒有否認，但也沒有細說，隻讓顧蘭芝自己詢問李徽便知。
顧謙的言語倒也並不凶蠻，隻是不住的歎息，還建議顧蘭芝她們暫時離開吳郡找個住處，或者他給顧蘭芝找個另外的住處安頓。待他好好勸說家主雲雲。
顧蘭芝滿是疑惑的回到家中，阿珠此刻才不得不將居巢縣發生的事情，李徽不願聽從顧家安排，和顧家鬨翻了事情說了一遍。顧蘭芝和醜姑這才明白李徽為何要讓阿珠回吳郡，請她們離開吳郡回丹陽郡去。
顧家是因為自己兒子不聽他們的吩咐，從而惱羞成怒，要逼她們走罷了。至於什麼房舍是他們的，典當契約什麼的，都是借口，都是捏造。
顧蘭芝是個堅強的人，得知其中原委之後，便毅然決定離開吳郡。她不明白兒子為何要違背顧家的意誌，但她覺得，兒子既然這麼做了，必有他的道理。既然顧家容不得自己，那麼離開便是了。
顧蘭芝當然也不肯接受顧謙的好意。雖然顧謙的態度還算謙和，但既然已經到了這一步了，何必要接受他們的施舍。
其後數日，顧蘭芝和醜姑等人便開始收拾東西準備離開。結果，在任上回來的顧昌帶著人跑來索要之前顧家賞賜和贈送的禮物。顧昌說，走是可以的，但需要將顧家給的東西全部還回來。李徽既然忘恩負義，便休怪他們顧家薄情寡義。如果不歸還回來，便要告到衙門，拿了她們下獄。
之前顧家賞賜的東西確實不少，吃的用的都有，那是李徽當上縣令之後，家主和南宅贈送的。當時顧蘭芝不肯收，他們硬要給，現在拿著禮單來索要，卻如何能還的出？吃用之物自然是吃了用了，隻能還回去一小部分了。顧昌將空缺的部分作價，足有百萬錢之多，顧蘭芝哪裡拿得出來這麼多錢賠償。
於是顧昌便命人圍堵吵鬨，散布李徽忘恩負義，顧蘭芝欠了主家財物不還的謠言。鬨騰的不得安寧。一家人走也走不掉，被顧昌等人逼迫的無可奈何，氣的顧蘭芝心口疼的病都犯了。醜姑也氣的臥床不起。
阿珠一邊侍奉二老，照顧她們起居，一邊奮起保護她們。顧昌的人來鬨事的時候，阿珠大聲嗬斥他們，挺身而出，毫不畏懼。
不僅如此，她還跑去顧家南宅求見顧謙，質問顧謙為何允許這樣的事情發生，有損他顧家吳郡大族的聲譽。
一個十五歲的小姑娘，表現出了極大的勇氣，問的顧謙啞口無言。
其實顧謙當然不讚成顧昌他們這麼做。但是在李徽這件事上，現在顧謙備受指責。顧淳都毫不客氣的指責顧謙培養出了個白眼狼。李徽正是顧謙舉薦中正評議，才有了後來的事情。某種程度上來說，確實是顧謙的責任。顧謙在這件事上已經沒有了發言權。李徽的背叛，已經對顧家整體利益產生了損害。在桓氏那裡，顧家大跌顏麵。即便顧謙有心製止這些無理的舉動，卻也不能了。