水軍有過交手，所以黃祖對甘寧是不甚喜歡，但其手下知道甘寧勇猛，所以建議黃祖接見甘寧，因此甘寧才能夠與黃祖見麵。
甘寧雖然見到黃祖，也表示了自己願意投靠效力的意願，但是黃祖對他的態度不冷不熱，也不願意帶他去見劉表，可以說兩個人的會麵有點不太愉快，但因為甘寧的勇猛，所以黃祖最終還是收下甘寧，然而接下來發生的事情卻沒有表麵那麼平靜。
甘寧雖然投靠了黃祖，但是黃祖和其他一些武將因為嫌棄甘寧的水賊身份，所以都不大願意理會他，就因為這樣，甘寧開始被孤立，甚至他麾下出身於水賊的士兵，也時常被其他武將的部下欺負，甘寧為了大局，常常督促部下，讓他們忍耐。
直到有一天，連甘寧自己也忍無可忍，還出手打了幾名將領，差點引發嚴重的衝突，黃祖得知後不問事由，當眾責怪甘寧，教訓其不好好管教約束部下，其實錯的並不是甘寧，而是其他武將，但是黃祖卻偏袒他人，處處針對甘寧，最終甘寧忍無可忍，帶領麾下士兵離開荊州，想去徐州投靠李元，他也非常後悔當初沒有聽從李元的話，要是早投靠李元就不用受這種悶氣。
甘寧打聽到李元正在率領大軍攻打廬江的袁術，
於是甘寧便從江夏出發，帶領數百名部下前往廬江，他走的是水路，因為脫掉劉表軍的士兵服侍，穿回原來的水賊服裝，所以駐守廬江港的士兵以為是水賊來犯，因此還沒等甘寧船隻靠岸便使用弓箭射擊。
甘寧再三解釋自己是來找李元的，奈何駐守廬江的士兵並不相信，無奈之下甘寧隻好下令先把廬江港攻下來，於是雙方就打了起來，但是甘寧非常克製，知道自己是來投靠李元的，而不是找人家麻煩，所以讓手下出手不要太重，因此廬江港的士兵也沒有受太多的傷害。
因為駐守廬江港的士兵並不多，隻有不到一百人而已，所以很快就被甘寧打下來。就在甘寧上岸後不久，李元和紀靈便率領大軍前來，那時候甘寧並沒有認出李元，而且看見敵軍兵馬如此之多，他麾下隻有數百人，雙方打起來他肯定必敗無疑，所以便下令返回船上，打算從其他港口上岸，再去徐州找李元，然而就在甘寧要離開的時候被李元認了出來，真是無巧不成書。
李元聽完後不禁大笑道：“哈哈哈哈，黃祖狗眼看人低，不識賢才，真是便宜了我，甘兄，如今既然來了就不要走了，我正要在廬江組建一支水軍，奈何一直找不到合適的將領訓練統率，你就是最為合適的人選，不知你是否願意為我效力？”
“李將軍，為何待我如此之好？”甘寧有些受寵若驚，他剛來投靠，李元就讓他掌控水軍，這對他是何等的信任。
“以你才能，訓練一支水軍可以說綽綽有餘，我相信隻要給你同樣的兵力，黃祖那廝絕對不會是你的對手。”李元對甘寧的能力非常重視。
“難道李將軍不嫌棄我曾經當過水賊嗎？”甘寧曾經在黃祖那裡受過歧視，擔心在李元這裡也會有這樣的遭遇。
“甘兄莫要擔心，正所謂英雄莫問出處，我李元豈是眼光短淺之人，我用人向來隻求才能而不問出身，隻要你有能力，出身再卑微我也不會嫌棄，你可知道劉辟，管亥等人，他們也曾當過黃巾軍，如今在我麾下做事，我從來沒有嫌棄過他們，所以你儘管放心好了，隻要儘忠儘職，我李元會坦誠相待。”
李元的話讓甘寧心悅誠服，這樣的主公才值得他儘心效力。