柳宗元被貶後所來到的永州，是一個開發較早、並有著豐厚文化底蘊的地方。在今日永州境內的道縣玉蟾岩就有上萬年以前人類啟蒙階段刀耕火種的農業文明最早的遺跡。
柳宗元來到的永州是南方濕熱氣候，與以往京城的生活環境當然迥異，何況還是戴罪之身的閒官身份，置於一隅形同流放，內心的苦悶更甚於外在的不適。
在永州期間，柳宗元的家庭發生了很大的變故。他的父親柳鎮早在長安故世。妻子楊氏也於婚後三年病故。因而，隨同他一道前來永州的有年近七旬的老母，以及母親的侄子、他的表弟盧遵，堂弟柳宗直。這兩位青年人都就學於柳宗元，跟隨其流貶於永州一直沒有離去。
母親盧氏深明大義，十分通達。丈夫柳鎮過早地離她而去，兩個女兒在長安分彆嫁到崔家、裴家已先後亡故，她隻能與獨子相依為命，母子感情十分深摯。盧氏對柳子的事業非常理解與支持。柳子獲罪遭貶，她態度十分豁達，極為體諒，並與兒子一道來到永州。
元和元年五月十五日，盧氏卒於永州零陵的龍興寺。河東柳氏為世家大族，這樣的官宦人家，喪事不可能隨便處理，葉落歸根，盧氏最終歸葬京兆，與柳宗元的父親柳鎮葬在一處。
柳宗元左遷永州司馬，還被剝奪了當時官員的一項重要權利：丁憂。
曆朝曆代以孝治國，官員父母過世，必定丁憂二十七個月，這期間除特殊情況之外，不得出任官職。丁憂可以視為官僚階層的特權。
盧氏卒後，柳宗元既未按慣例丁憂三年，也沒有扶靈柩回到京兆，而是將葬事委托給親戚來辦，因為他尚在“服罪”期間，沒有資格丁憂，也不能因此離開貶所。
淩準貶官連州司馬期間，母親病逝，他同樣未能回家送終，隨後自己也鬱鬱而終。
柳宗元撰寫的《先太夫人河東縣太君歸祔誌》，呼號慘酷、極為自責，他自覺未能儘孝是一方麵，感受到左遷這一責罰帶來的嚴重後果，卻無法宣之於口，無異於“名教罪人”，則是背後的又一層原因。
貶官期間不能丁