劉裕自幼家貧，在他很小的時候，母親就在生完他的弟弟劉磐以後，因為難產而去世了。
他們的父親養不了這兩個兒子，便拋棄了他們。
好在他們的從母，也就是劉表之妻，伸出了援助之手，兄弟兩才勉強活了下來。
但是後來，劉表要去洛陽做官，便帶著妻子一起離開了家鄉。因為嫌棄劉裕兄弟兩尚且年幼，所以並沒有一起帶走。
沒有了從母的接濟，劉裕一個人落魄到要以砍柴、打魚、賣草鞋為生，甚至還給地主家做過佃戶，才艱難地養活了自己和年幼的弟弟。
雖然窮，但劉裕卻十分地講義氣，常常為了其他貧苦的孩子而打抱不平，出手相助，從而在少年時就結交了不少朋友。
後來他聽說叔父劉表，在荊州當了州牧、鎮南將軍。
時年二十九歲的劉裕便帶著弟弟，並在鄉中糾集了一幫誌同道合的好朋友之後，一同前往荊州投奔劉表。
此時，劉裕他們的從母，也就是劉表的妻子早已病逝多年。劉表單騎入荊州，身邊並無親朋。所以在見到劉裕、劉磐兄弟到來，並且還帶著自己的部曲之後，很是高興，便讓二人帶著部曲，在大將文聘的軍中做了軍司馬。
之後在荊州的數年裡，劉裕、劉磐兄弟兩分彆與荊州的宗賊、益州軍、占據南陽的張繡，甚至曹操的軍隊交過手。這讓兄弟兩慢慢積累了豐富的軍事經驗，也從文聘部下的軍司馬，慢慢都做到了校尉、中郎將，並且有了獨領一軍的機會。
再後來，也就是大約兩年前，曹操降服了南陽的張繡，並且派遣大將曹仁率兵駐守，時常騷擾荊州的北部邊境。
於是，劉表就任命劉磐為將軍，負責鎮守新野。
而劉裕更是迎來了事業的高峰！
這一年，長沙太守張羨率零陵、桂陽三郡反叛，劉表派遣劉裕為主將，領兵一萬前往征討。
在長達一年多的征戰中，劉裕常常身先士卒，每一戰都能挫敗叛軍，他的軍事才能得到了充分的體現。
他不僅作戰勇猛，披堅執銳，衝鋒陷陣，而且指揮有方，富有智謀，善於以少勝多。
後來張羨病死，長沙人又立了他的兒子——張懌為主。
劉裕輕輕鬆鬆就攻破了長沙，並任命部將昌義之在此地擔任守將，接著又先後平定了零陵、桂陽二郡。
在這一年多的時間裡，劉裕手下的一萬大軍也逐漸壯大到了五萬人。早年跟隨他的鄉中好友也大多做到了校尉、中郎將，比如:沈田子、沈林子、王鎮惡、王仲德、朱齡石、朱超石、胡藩、孫處等等，另外還有劉裕在荊南先後收服的黃忠、魏延、邢道榮等將。
自劉表喪妻，直至入主荊州以後，才重新續弦，娶了荊州大族蔡家的長女為妻。
劉表十分寵愛這個小嬌妻，蔡家的蔡瑁等人因此得權。在嬌妻的枕頭風下，劉表也對小兒子劉琮十分寵溺，並逐漸冷落了與亡妻所生的長子——劉琦，並且常常有廢長立幼的想法。
劉裕在得知這些消息之後十分不滿，時常寫信給從父。畢竟劉琦生母，也就是劉裕的從母，對他們兄弟兩有大恩。若非當年從母的接濟和幫助，劉裕兄弟兩可能早就餓死在了街頭。所以在劉裕的心目中，劉琦這個堂弟，從母的獨子，於情於理都該作為繼承人！
但如今荊州的大權都掌控在以蔡家為首的大族手中，尤其是蔡瑁、張允二人還掌控了荊州的水師。但同時，劉裕因為手握五萬大軍，也讓蔡瑁等人對其忌憚不已。
後來，衣帶詔事件爆發，並州劉淵向袁紹、曹操宣戰，劉表也打算發兵響應。