聽罷先生一言，張家隻好遷到韶州。而張九齡據說就是在那裡出生的。
但張九齡出生後也曾返回始興故裡。始興縣民間流傳的“捉鼠解朝廷”的故事就是來自張九齡年幼時在石頭塘讀書的經曆。
張九齡，自幼天資聰慧，才智過人，五六歲便能吟詩作對，一時人稱神童。
七歲那年春天，張九齡隨家人遊寶林寺。
寶林寺是名刹，香火鼎盛，風景秀麗，遊客如雲。張九齡被迷住了，看得津津有味。
忽報韶州府太守率州衙官員進香朝拜。殿前香客趕忙回避。
張九齡把進寺前折的桃花藏於袖中，若無其事地看著太守隨從擺弄供品，沒有一點害怕的樣子。太守見九齡活潑天真十分可愛，想試試他的才氣如何。
便問：“你莫非想吃供果？我出個對子，若對上，就給你供果吃。”
張九齡信口道：“好呀。”
太守早已看見九齡袖藏桃花，就出了個上聯“白麵書生袖裡暗藏春色”。
張九齡接口應道：“黃堂太守胸中明察秋毫。”
太守思忖，這小孩真是個神童，再考考他。
又出一對“一位童子，攀龍攀鳳攀丹桂”，張九齡猛一抬頭，正對麵前三尊大佛像，觸景生情，便應“三尊大佛，坐獅坐象坐蓮花。”
太守與隨從無不驚歎：此子日後定非等閒之輩。
張九齡拿著太守賞給的供果去後麵玩，被一和尚看見，以為他偷吃供果。張九齡說是太守賞賜的，和尚不信：“憑什麼說太守給你的？”張九齡訴說原委。和尚好生奇怪，便讓張九齡說太守出的對子。張九齡念出太守上聯，和尚又問“那你又是怎應對的。”張九齡靈機一動，便說我對的下聯是：“滿寺和尚，偷豬偷狗偷青菜。”
和尚一聽下聯，心頭一驚，便拔腳要追太守去說個明白。..：，，，