漢武帝皇後衛子夫及大司馬大將軍衛青的外甥，大司馬大將軍霍光的同父異母兄長。
霍去病十八歲時為剽姚校尉，率領八百騎兵深入大漠，兩度功冠全軍，封爵冠軍侯。
元狩二年（前121年），二十歲的霍去病升任驃騎將軍，指揮兩次河西之戰，俘匈奴祭天金人，直取祁連山，總計殲滅和招降河西匈奴近十萬人，沉重打擊了匈奴右部。
漢武帝分徙匈奴降眾於邊塞之外，因其故俗置五屬國，又在其故地先後設立河西四郡，由此溝通了自內地與西域的直接交往，對西漢和匈奴勢力的消長發生顯著的影響。
元狩四年（前119年），霍去病與衛青率軍深入漠北，於漠北之戰中消滅匈奴左賢王部主力七萬餘人，追擊匈奴軍直至狼居胥山與姑衍山，分祭天地，臨翰海而還。
此戰使
“匈奴遠遁，漠南無王庭”。戰後加拜大司馬驃騎將軍，與衛青同掌軍政大權。
元狩六年（前117年），霍去病病逝，年僅二十四歲。漢武帝賜諡號
“景桓”，令他陪葬於茂陵，並仿照祁連山的形狀為其修築墳墓。霍去病用兵靈活，注重方略，不拘古法，善於長途奔襲、快速突襲和大迂回、大穿插、殲滅戰，為漢武帝時期的軍事擴張作出重大貢獻。
他前後六次出擊匈奴，與衛青等人合作，解除了匈奴對漢王朝的威脅。
河西之戰元狩二年（前121年），武帝任命二十歲的霍去病為驃騎將軍。
於春、夏兩次率兵出擊占據河西（今河西走廊及湟水流域）地區東部的渾邪王、休屠王部。
在春季攻勢中，霍去病率一萬驃騎出隴西，
“逾烏盭，討遬濮，涉狐奴”，轉戰河西五國，輜重多，人馬眾，對降服者予以寬赦，與單於的兒子交戰，幾乎將其生擒。
再越過焉支山，轉戰六天，急行軍一千多裡，最終在皋蘭山下（今蘭州南部）與匈奴軍激戰，重創匈奴，殺死匈奴折蘭王、盧侯王，殲滅其精銳，渾邪王子及相國、都尉等全部被俘。
此役，漢軍共斬首八千九百六十級，並俘獲了休屠王的祭天金人，自身亦頗有折損。
戰後，霍去病因功加封食邑二千二百戶。在同年夏季的攻勢中，霍去病與合騎侯公孫敖從北地郡（今甘肅環縣）率軍分路進軍。
公孫敖迷路遲到，未能與霍去病會和。霍去病孤軍深入，遠涉浚稽山南的湖澤，越過居延海，過小月氏，攻抵祁連山，俘獲得單於單桓、酋塗王，收降其相國、都尉以下的降者二千五百人。
在此役中，漢軍共斬得匈奴軍首級三萬二百級，生擒匈奴五王，五王母，匈奴單於的閼氏及王子五十九人，相國、將軍、當戶、都尉六十三人，讓匈奴的實力受到一次極大的打擊，而漢軍自身折損約十分之三。