。以後，他還選用了一批原在蜀漢政府任職的人，其中包括著名的學者譙周、文立等人以及諸葛亮的孫子諸葛京113
。89
泰始四年（268年）正月，司馬炎批準頒行新律《泰始律》。該律成為了中國古代一部重要的法典（具體內容參見“為政舉措-政治-創製晉律”部分）。在頒行新律的同時，司馬炎卻未能采納杜預建議實行的考課製度“六年黜陟法”，以避免損害士族的利益，維護司馬氏的統治。89
一統全國
籌劃滅吳
泰始四年（268年）九月，司馬炎成功解除了鎮戍淮南、久著威名的大司馬石苞的兵權，並準備進行較長遠的戰略安排。當時，江東的吳國在暴君孫皓的統治之下，早已危機四伏。這一有利形勢為西晉滅吳統一全國提供了可能。司馬炎決心加強對南線的軍事部署，著手進行滅吳的準備工作。泰始五年（269年），他命才識出眾的尚書左仆射羊祜都督荊州諸軍事，坐鎮襄陽；把鎮東將軍衛瓘從徐州調往青州，改派叔父司馬伷為都督徐州諸軍事、鎮守下邳。89
羊祜雖然不是司馬氏的宗室，但卻是司馬師的內弟、西晉皇室的重要外戚。晉國初建，羊祜曾與荀勖共掌機密，後又為中領軍。司馬炎受禪後，他以尚書左仆射之職兼衛將軍，仍是執兵之要，事兼內外。羊祜到襄陽後，努力安定民心，減輕賦稅，采取各種辦法，加強軍事物資的儲備，使晉吳對峙的局麵不斷向有利於西晉方麵轉化。89
河西之亂與朝內鬥爭
主詞條：秦涼之變
漢魏之際，鮮卑拓跋族的一支由部落酋長禿發匹孤率領，從塞北遷到了河西，曆史上把這支鮮卑人稱作河西鮮卑。到西晉建立以後，司馬炎擔心勢力不斷增強的河西鮮卑不易駕馭，特地從雍、涼、梁三州中分出隴西、南安、天水、略陽、武都和陰平六郡，組成秦州，把在西部頗有能名的胡烈委任為秦州刺史，以達到鎮撫目的。89
而河西鮮卑的反叛是因受到統治者歧視引起的。在滅亡蜀漢的戰鬥中，涼州兵立有大功。戰後論功行賞，五千鮮卑健兒沒有得到公平的賞賜，遂在其首領禿發樹機能的帶領下，於泰始六年（270年）六月起兵反晉，胡烈前往鎮壓，兵敗身死。殺死胡烈後，禿發樹機能又嚇退坐鎮長安的扶風王司馬亮派來援救秦州的大軍。89
河西敗報傳來，司馬炎非常震恐。他免去司馬亮都督秦、涼州諸軍事的職務，改派汝陰王司馬駿接替他鎮守關中。司馬炎又任命尚書石鑒都督秦州諸軍事，負責平定河西鮮卑動亂。石鑒到達秦州，強令與他有芥蒂的新任秦州刺史杜預出兵，遭到對方的拒絕。杜預向石鑒提出比較穩妥的攻戰方案，石鑒不予采納。他一麵逮捕杜預，一麵親自帶兵與禿發樹機能交戰，結果仍大敗而歸。
禿發樹機能的兵力越戰越強，周圍地區的少數民族受到鼓舞紛紛舉兵反晉。泰始七年（271年）四月，涼州的北地胡人起兵，與禿發樹機能合謀襲擊金城郡（今甘肅蘭州西），將涼州刺史牽弘誘至青山擊殺。89
禿發樹機能後又殺涼州刺史蘇愉於金山（今甘肅山丹南）。101
西方戰事日趨緊張，司馬炎深感憂慮。侍中任愷建議安排像賈充這樣有威望有智謀的人親自掛帥，戰亂才能平息。司馬炎隨即任命賈充都督秦、涼二州諸軍事，開赴西部戰場。當時，賈充官任侍中、尚書令、車騎將軍，是朝內最有權勢的臣下。任愷等厭惡賈充的為人，推薦賈充西行，目的是使他遠離朝廷。賈充不願此行，求計於荀勖。荀勖勸他與太子司馬衷結親。於是賈充等人買通了皇後楊豔，又在司馬炎麵前大造輿論，終於使其答應了以賈充之女賈南風成為太子妃的親事。礙於親家的麵子，司馬炎就不再提及掛帥之事，賈充得以免去西征之苦。
89
當時朝中因任愷和賈充的鬥爭逐步分成了兩派，形成朋黨之爭。司馬炎試圖令他們和好，二人表麵上互相敬重，內心卻對對方極度不滿，“結怨愈深”。後來，賈充得到人獻計，故意在司馬炎麵前稱讚任愷，推薦任愷處理選官事務，使其被任命為吏部尚書。任愷事務繁忙，難以與司馬炎見麵。賈充及其黨羽多番誣陷和中傷任愷，令他多次被免官，難膺高位。
鹹寧三年（277年），河西局勢更加惡化，猛將文鴦臨危受命，一度率涼、秦、雍州三州之軍大破禿發樹機能，使河西鮮卑實力大損
102
。但僅過一年，禿發樹機能就命部將若羅拔能在武威大破晉軍，涼州刺史楊欣戰死。禿發樹機能起兵九年，相繼斬殺秦、涼二州四位刺史，威震天下，仆射李憙請發兵征討，但朝議都以為出兵重事，鮮卑不足以憂慮。到鹹寧五年（279年），禿發樹機能乘勝攻陷涼州治所武威城。司馬炎非常後悔，臨朝哀歎說：“誰能為我討伐這個叛胡？”在宮中宿衛的司馬督馬隆請命而往，當即被拜為武威太守、討虜護軍。在司馬炎的支持下，馬隆自選士兵、武器，僅率三千五百勇士西征。馬隆率眾渡過溫水後，與禿發樹機能部數萬人對戰，轉行一千餘裡，最終在同年十二月的決戰中斬殺禿發樹機能，平定涼州
89
。
諸王就國與南征平吳
主詞條：晉滅吳之戰
就在涼州發生動亂的同時，在南方主持荊州軍事的羊祜也遇到強硬的對手：東吳西線軍事的主帥已由吳國名將陸遜之子陸抗出任。陸抗上任不久，便攻破西陵（今湖北宜昌），將獻城降晉的步闡擊殺，並打敗羊祜等率領的援軍。羊祜知道滅吳不是一朝一夕的事情，遂一麵繼續積蓄力量，一麵以信義對東吳邊界軍民施加影響，等待時機。89
泰始十年（274年），陸抗病死，東吳西線的防禦能力明顯下降。羊祜開始籌劃南進的軍事部署和作戰方案。鹹寧二年（276年）十月，羊祜給司馬炎上表，請求伐吳。羊祜認為，西晉滅吳的條件比當時滅蜀的條件遠為成熟，隻要司馬炎肯下決心，平吳是不成問題的。但羊祜的建議僅得到了度支尚書杜預、中書令張華的支持，其餘朝臣多有不同看法，尤其是賈充、荀勖、馮紞對伐吳堅決反對。他們以秦涼動亂尚未平定為理由，極力阻撓南進。羊祜再次上表陳述早日發兵的原因，然終未能獲得司馬炎的同意。
司馬炎不能下定滅吳的決心，除因西部動亂外，還與他分封諸王以屏衛皇室的計劃沒有完全實現的因素有關。自泰始分封以來，司馬炎沒有認真要求諸王就國，多數宗王留官或留居洛陽，也有部分宗王出任都督。鹹寧三年（277年）七月，司馬炎接受衛將軍楊珧等人的建議，才開始命令諸王就國（關於這部分內容，參見“為政舉措-政治-大封宗室與諸王就國”部分）。89
鹹寧四年（278年）六月，羊祜病重，要求入朝麵陳滅吳大計。司馬炎允許他乘車上殿，不行參拜之禮，對於他的意見也表示願意聽取。後來，羊祜在病榻上要前來探病的張華轉告司馬炎說：吳主孫皓暴虐異常，如今出兵可以一舉成功。如果孫皓死掉，吳國另立有為新主，我們再有雄師百萬，也難渡長江天險了。羊祜的話，確實對司馬炎震動很大。他要求羊祜臥護諸將，帶病出征。羊祜表示，滅吳戰爭不一定非他指揮不可，他可以推薦一個能夠勝任這一職務的人選。當年十一月，羊祜病故。臨終前他舉杜預代替自己。
當杜預奉詔以鎮南大將軍、都督荊州諸軍事的職務到達襄陽後，以離間計誘使孫皓撤換了對晉軍有威脅力的西陵總督張政。孫皓在臨戰之前的將帥移易，造成以後西線吳軍的迅速崩潰。經過一段時間部署之後，鹹寧五年（279年）八月，杜預向司馬炎上表請求伐吳。司馬炎答應次年準備出兵，但杜預反對說，東吳西部的兵力已調空，這是大舉進攻的最好時機，如果給孫皓以喘息時機，很可能要功虧一簣。這時，在益州積極準備滅吳、大造艦船已有七年的益州刺史王濬也上書請戰，請求司馬炎切勿坐失良機。司馬炎被他們說服，開始傾向及早伐吳。但是一到賈充等人搬出種種理由反對時，他又遲遲疑疑下不了決心。最後，在中書令張華的堅決支持下，司馬炎終於同意立即對吳采取軍事行動。這時，賈充等人聽到消息又趕來爭吵，惹得司馬炎發起火來，他們才不敢再唱反調。89
鹹寧五年（279年）十一月，司馬炎命令張華為度支尚書，主持滅吳大局，掌管漕運糧餉。同時，他發布詔書，下令以二十萬大軍兵分六路，大舉進攻吳國：
鎮東將軍司馬伷出塗中（今安徽滁河流域）；
安東將軍王渾出江西（今安徽長江以西）；
建威將軍王戎出武昌；
平南將軍胡奮出夏口；
鎮南大將軍杜預出江陵；
龍驤將軍王濬、巴東監軍唐彬率巴蜀水軍，順江而下。
在主帥的人選上，司馬炎出乎意料的選定了一向反對此次用兵的重臣賈充出任“使持節、假黃鉞、大都督”。賈充擔心伐吳不利，一再以年老、難堪大任為由上表推辭。司馬炎威脅說：“君不行，吾便自出。”賈充隻得承命。
9
太康元年（280年）年初，南下滅吳的晉軍所向披靡。杜預攻克江陵，橫掃沅、湘、交、廣諸州，王渾渡過橫江，胡奮拿下江安。王濬率領的水師連破吳人的橫江鐵索和水麵鐵錐，搗毀沿江險關隘口，先與胡奮、王戎等軍陷落夏口、武昌，繼而長驅東進，直指吳都建鄴（今江蘇南京）。與此同時，王渾的大軍也到達了江北。孫皓派出的軍隊皆被晉軍擊敗，丞相張悌等人戰死。這年三月，王濬攻入石頭城。孫皓無計可施，“麵縛輿櫬”，向晉軍投降。至此，吳國滅亡，三國鼎立後的吳、晉兩國對峙的局麵結束，全國重歸一統。
當孫皓投降的消息傳到洛陽時，舉朝慶賀。司馬炎拿起酒杯，追念羊祜當年為經營平吳戰爭耗儘心血，不由得潸然淚下，說道：“這都是羊太傅的功績啊！”108
南下將士在前方浴血奮戰，遠離前線的主帥賈充卻上表稱東吳不易平定，要求司馬炎班師回朝，還要求將張華腰斬。荀勖也隨聲附和。就在這時，平吳的捷報進京，賈充醜態畢露。司馬炎絲毫沒有責怪賈充的意思，反而極力寬撫。
89
平吳後，司馬炎為穩定新征服地區的人心，封孫皓為歸命侯，賞賜大量的衣物、車乘、錢穀，還安排了一些隨降的吳國朝臣和大族為官。對於北渡的吳國將吏和百姓，他分彆給予免除賦役十年或二十年的優待。