唐寅出獄回到蘇州，家鄉也沒有安慰與溫暖在等待著他，正如在生活中曾經千百次地發生過的那樣，曾幾何時那些捧場捧得最凶的人，現在罵他也罵得最厲害。更使唐寅感到難堪的，是家人的態度，唐寅曾經是一個全家都寄予厚望的人，也曾經是一個使全家都感到自豪的人，但是現在，卻永無出頭之日，從而使家人也永無出頭之日。以唐寅的敏感和悲傷，碰上家人的勢利與不恭，家庭生活難免不發生危機。最後，唐寅趕走了繼室，又和兄弟異炊，成了一個孤家寡人，本來已經衰落的家境也因此而更形不堪，連生計都發生了困難。
然而，縱觀唐伯虎的後半生，他的物質生活也偶有寬鬆之時，在蘇州城西北建造了桃花庵彆業，後半生基本上在桃塢彆業中度過。好友祝允明、黃雲、沈周等人經常來飲酒作詩，他購地建桃塢的經費，也主要來自於個人的賣畫。由此可見，唐寅的詩畫謀生之路至少給他提供了一個基本的生存環境。尤其是當他生意好的時候，求畫者漸多致使忙不過來，便請老師周臣代筆。因此，後人在辨彆唐寅畫作的真偽時就說：“及六如以畫名世，或懶於酬應，每請東村代為之。今伯虎流傳之畫，每多用筆，在具眼者辨之。”可見唐寅的名聲，於是一些貪圖私利的人，不惜作偽以牟取暴利。
以賣畫為生使唐寅取得了經濟上的自給，由此決定了他人格上的獨立，對他後半生的詩畫文藝創作亦產生了深刻的作用，甚至直接影響到其藝術觀和創作風格。史載唐寅初拜師於沈周，在京城科場舞弊案發生之後學於周臣門下，其畫風漸漸脫去沈周的特征，如他的《騎驢歸思圖》畫法幾乎與周臣一致。
武宗朱厚照的叔叔朱宸濠，謀劃造反，到處招賢納士，以厚祿請唐寅出山，唐寅開始並不知道個中端倪，但去了之後，逐漸發現寧王圖謀不軌，便開始想辦法離開。《明史》中記載，唐寅“察其有異誌，佯狂使酒，露其醜穢。宸濠不能堪，放還。”他為了離開寧王，整天醉酒裝狂，還曾脫了衣服裸奔，寧王實在受不了，便轟他走了，後來，寧王事情敗露被誅殺，唐寅則繼續桃花塢內的晚年生活。
為了生計的需要，唐寅還應人所求，畫過一些春宮圖、仕女圖，多以官伎、歌女等為模特，人們便認為，風流才子之說，大抵是因為唐寅性本如此。他的人物畫多感慨世情之作，表現出憤世嫉俗的心態。他兼取諸家之法，特彆是吸收了院派和文人畫的長處，獨樹一幟，開創了一條能表現自我精神的畫路，行筆秀勁縝密，有著瀟灑清逸的氣韻。這一類作品多取材於曆史與民間故事，尤其以描寫歡場女子為多，唐寅的人物畫可大致分為工筆和寫意兩類。前者典型的有《王蜀宮妓圖》，畫中精心描繪了四位盛妝等待君王召喚的宮妓形象，工筆重彩，體現了畫家在造型用筆及設色等方麵的高超技藝。後者以《秋風紈扇圖》為例，唐寅把李公麟的行雲流水措和顏輝的折蘆描法摻和起來，揮灑自如，富有韻律感。
曆史上的唐寅確實時常混跡風月場所，但這是當時的一種社會風尚，史上並無唐寅風流韻事的記載，事實上唐寅先後有過三個妻子。19歲時娶徐氏為妻，兩人感情深厚，他25歲時父母妻妹相繼去世，對他打擊很大；後來又娶了一位，卻在他涉嫌考場作弊案被抓後，離他而去；36歲時，唐寅娶了患難中的紅顏知己沈九娘，從此築桃花塢生活，一直到去世，一生不得誌的唐寅並無那麼多的風流韻事，而‘點秋香’的故事又是打哪來的呢？
唐伯虎點秋香故事的雛形，最早出現在明代筆記體小說中。明代小說家王同軌在他的《耳談》中敘述了另一個蘇州才子陳元超，與唐伯虎點秋香一模一樣的故事。故事到了明末馮夢龍手上，就變成了《警世通言》中的《唐解元一笑姻緣》。而在戲曲中的唐寅故事，最早有明末孟稱舜的雜劇《花前一笑》，後來又從“一笑”發展到“三笑”，出現了王百穀的《三笑緣》彈詞、卓人月的《唐伯虎千金花舫緣》雜劇。到了清朝末年，民間流傳彈詞唱本《九美圖》，開始有了唐寅娶9個美嬌妻的說法，唐寅一生潦倒顛沛，諸事不順，憑他的貧寒景況，連溫飽都成問題，怎麼可能妻妾成群。
明代確實有一個叫秋香的女子，但與唐寅沒有任何感情瓜葛。秋香本名林奴兒，字金蘭，號秋香，她琴、棋、詩、畫樣樣精通，當時被譽為“吳中女才子”，頗有點名氣。不過她並非是大戶人家的婢女，而是當時南都金陵風月場中的名妓。秋香早年被迫墮入青樓，後從良嫁人。明代《畫史》中記載：“秋香學畫於史廷直、王元父二人，筆最清潤。”據考證，秋香與唐寅生活在同一時代，但比唐寅足足大20歲，唐寅16歲出道時，很難與已是徐娘半老的秋香產生感情。唐伯虎點秋香隻不過是後人把一些才子佳人的風流韻事，附會到他們身上罷了。唐寅真實的詩畫人生跌宕起伏，少許風流得意，多些寂寞哀愁，恰如一幅“酒”與“色”澆注的水墨丹青，讓後人回味良久。
唐寅走完了他那沉重而又艱澀的人生道路，終年五十四歲，離他常常計算的“人生七十”還差了16年，據說他臨終時寫下了這麼一首“絕筆詩”：“生在陽間有散場，死歸地府也何妨，陽間地府俱相識，隻當漂流在異鄉。”