早在曹魏統治時期，由於東漢末年的連年戰亂，人口急劇減少，中央和地方官府財政銳減，農業廢弛。因此朝廷便推出了“移民實邊”政策，把北方邊塞以外的胡人遷入內地。
早期遷入的胡人大多是用來充實佃農和勞役，大多歸附在漢人地主名下。除了曹魏以外，蜀漢在北伐期間征募了大批羌族、氐族士兵；而東吳在鎮壓山越期間，也擄掠了大量的山越人作為勞動力。
如果西晉在統一之後能夠保持長期安定團結的政治局麵，這些胡人的命運就是變成普通的漢族農民。
但是西晉爆發了八王之亂，等到各自的本錢都差不多耗完了，東海王司馬越和成都王司馬穎就開始各自招引不同的胡族幫自己打仗。比如後來建立後趙的羯人石勒，就屬於這一類人，他一開始加入的是成都王司馬穎的隊伍。還有的藩王則直接聯絡塞外的胡人豪強，許以高官厚祿讓他們入關助戰，比如南匈奴單於、後來建立漢國的劉淵，他早年就接受了晉武帝司馬炎的冊封，八王之亂期間受司馬穎邀請南下參戰，最後官至冠軍將軍。
這些胡人一開始對司馬氏的底細也搞不清楚，本來是抱著當雇傭軍的心思來收錢乾活的。來了一看才發現，司馬氏皇族已經把中原一帶破壞的不像樣子了，沒有什麼成型的政治勢力能夠掌控局勢了。
於是這些雇傭軍就開始反客為主了，依靠武力驅逐漢族官員，自己建立了政權，第一個便是劉淵建立的漢國（後改為前趙）。而胡人一般不懂治國，一些較大的胡人政權很快就在大大小小的爭鬥中分崩離析，於是就形成了“五胡十六國”的局麵。
“五胡”主要指匈奴、鮮卑、羯、羌、氐五個胡人大部落，但事實上五胡是西晉末各亂華胡人的代表，數目遠非五個。
百餘年間，北方各族及漢人在華北地區建立的國家達數十個，強弱不等、大小各異，其中存在時間較長和具有重大影響力的有五胡十六國。
西晉懷帝永嘉五年（311年），匈奴軍隊在劉淵之子劉聰率領下擊敗西晉京師洛陽的守軍，攻陷洛陽並大肆搶掠殺戮，俘擄晉懷帝，殺王公士民十萬餘人。
永嘉七年（313年），晉懷帝被殺死，司馬鄴於長安即皇帝位，改元建興。
建興四年（316年），劉曜又攻入長安，俘晉湣帝，西晉滅亡。318年初，晉湣帝被殺死。
建興五年（317年）4月6日，司馬睿承製改元，即晉王位（尚未稱帝），改元建武，史稱東晉。
中原士族等臣民相隨南逃，史稱“永嘉之亂，衣冠南渡”，這是第一次比較重大的南移事件。此次衣冠南渡之後，中國的文化中心開始向江南轉移。
建武二年（318年）4月23日，晉湣帝死於漢國的訃告傳到江東，司馬睿才於4月26日即皇帝位，改元太興。
司馬睿即位後，因為在皇族中聲望不夠，勢單力薄，所以得不到南北士族的支持，皇位不穩。於是他重用了王導。
王導運用策略，使南方士族支持司馬睿，使北方南遷的士族也決意擁護司馬睿，穩定了東晉政權，維持了偏安局麵。司馬睿十分感激王導，任他為宰相，執掌朝政。時人謂之“王與馬，共天下”。