在王陽明回到餘姚老家後，他還是整天什麼事都不乾，學著他的三世祖王與準的花樣，在四明山找了個洞，於是鑽進人們當時所謂的老鼠洞裡去打坐了，卻把娶的六個老婆扔在家裡獨守空房，這也太沒有擔當了。
在當時，當地人所稱謂的這個老鼠洞，在王陽明得道後，才被改稱為陽明洞，這是後話了。
但也就從這時起，他才正式把自己稱為王陽明，而王守仁這個法定認可的名字，卻被他拋在了腦後。
王陽明在這個洞裡的時候，他整天滿腦子都在想著如何成仙得道，但同時又害怕他在這個洞裡待的時間長了，會被人們遺忘，他就開始大肆炒作自己，就吩咐仆人到處去宣傳說，他已經能夠未卜先知了，他已經真的得道了。
他的一些朋友在聽了他的這些宣傳後，就來找他占卜，他卻說道：“雖然我已經與空虛為體，已經天人合一了，已經能夠前知五百年後知八百年了，但由於我們是朋友，我怎麼能乾對不起的朋友的事，畢竟天機不可泄露，對於你們來找我占卜，我已經是大師了，真正懂易的是不占卜的，我怎麼能為你們占卜呢，我王陽明從來不乾預知未來這種沒意義的事，這樣會遭受天譴不說，我的心也會太累，而且我還感覺到非常的太無聊。所以你們想讓我算一卦來證明我是不是真的已經未卜先知了，是不是已經真的得到了，我覺得沒有什麼必要，我隻能對你們說一聲抱歉了。”
王陽明說完，就閉目養起神來，默不作聲了。
他的朋友們見王陽明如此，隻能悶哼：“嘿！”
朋友們的這一聲悶哼，不知是在驚歎王陽明真的得道了，還是在說：“這王陽明，他還真不笨。”
如果從後麵這一句作為出發點，那王陽明真的還不笨，如果他笨，怎能成為後來的心學大師，怎能比唐伯虎過得瀟灑和任性。
那時的王陽明就因主動辭職入居陽明洞後，可以說是他的大名已經傳遍京城了，更不用說老家餘姚了，而他唐伯虎卻被幾個老婆打得半死不活的輦出了門，從此流落江湖，到處乞求他人給口飯吃。
在唐伯虎乞討的日子裡，他可謂是曆儘了磨難，他真正地體會到了這世上有錢的大老板雖然很多，但無緣無故就拿錢給他的人，還真的沒有一個，所以唐伯虎注定了四海飄零，過著地為床，天為被，破廟橋下就是家，吃了這頓卻不知下頓在哪裡的生活。
但為了活下去，唐伯虎還得放下所有的尊嚴，沒臉沒皮地去挨家挨戶地乞討，但卻連一米都乞討不到，在挨餓了幾頓後，他不得不開始思考能讓其活下去的路子。
於是乎，鬱悶的唐伯虎為了活下去，他憑借著自己的才華，就開了一家書畫院，開始依靠賣畫為生來活下去，他賺到的每一兩銀子，都是靠他自己一筆一筆畫出來的，一筆一筆地寫出來的，他終於明白了生活太不容易了，自己要能活下去真的太不容易了。
也就是在這段日子裡，唐伯虎為了能讓更多的人知道自己，能夠買他的畫，他隻好借助王陽明來炒作自己，提高自己的知名度，因為當時的王陽明太有名了。
於是，唐伯虎憑著自己的才華再加批評王陽明的加持，過了一段時間，他竟然也混出了名，而且他的名氣是越混越大，在不久之後，竟然超過了王陽明。
他的人生經曆也更廣為人知，更為傳奇！因為他自己杜撰了一段傳奇經曆，這就是後人以這段杜撰的傳奇經曆為素材，竟然拍了一部家喻戶曉的《唐伯虎點秋香》的電影。
也正是這段傳奇經曆，唐伯虎的故事更廣為人知，都認為唐伯虎不僅才華出眾，還自己創立了唐門，都認為他是而武功超群的大宗師。
正是這些傳奇，從而在人們的內心深處，塑造了一個文武全才的“四大才子”形象，像這種文武全才的風流倜儻的人，怎能過著普通的生命，他過的就應該是錦衣玉食的生活，身邊應該是像有秋香這樣美女常伴的人。
同時，唐伯虎的這段人生經曆，從反麵也給人們展現出了他過的是一種無恥而淫蕩的生活，他始終在不斷地尋芳獵豔，哪怕是挖地三尺也要搜捕到漂亮女生，卻不需要為生活搭上一根手指頭的力氣。
然而，理想很豐滿，但現實很骨乾。現實中的唐伯虎呢？他過的生活卻比文人筆下的唐伯虎悲慘得許多。因為沒過多久，唐伯虎的書畫院又因他不善於經營又破產了，他隻好到荒無人煙的廢墟裡去居住。
這個地方房破屋倒，河繞土坡，就是後來他寫出了有名詩句的《桃花庵》的桃花塢。
桃花塢乃是宋代時有錢人家的彆墅，但年代久遠，這裡的彆墅早已淪為蛇鼠盤踞，狼蟲出入之地。但唐伯虎為了活下去，他不得不在這個地方生存下去。
這天，正當唐伯靠在廢墟的柱子上傷感地回想著昨天夜裡來了一隻狼，嚇得他大半夜睡不著，在他燒了一堆火，狼見到火走了後，他剛剛閉上眼睛又被一隻巨型老鼠鑽進稻草窩啃他的腳趾頭，痛得他一夜不能入睡時，他的眼淚就情不自禁地流了下來。
卻就在唐伯虎流淚之際，他突然聽到了一陣馬蹄聲，原來是因為他在賣畫書有了名氣後，也有江湖人士對於唐門誇大其辭的宣揚後，竟然他的名聲傳到了某個大人物的耳裡，這個大人物就給他送來了邀請信。
邀請信的大大概意思就是想讓唐伯虎加入他的團夥，在時機成熟時與他乾一番能夠改變朝代的大事。
唐伯虎看完邀請信，手開始顫抖了，他雖然心裡害怕，但眼睛卻始終離不開邀請信的落款，因為這個落款人的社會地位還不低，他就是寧王朱宸濠，的確是當時的大人物