此時，曹操認為董卓焚燒宮室，劫遷天子，海內震動，應當趁機與之決戰，遂獨自引軍西進。
曹操行至滎陽汴水，與董卓大將徐榮交鋒，不敵，大敗，士卒死傷大半，自己也被流矢所傷，幸得堂弟曹洪所救，因此幸免於難。
回到酸棗後，曹操建議諸軍各據要地，再分兵西入武關，圍困董卓，關東諸將不肯從。
關東諸軍名為討董，實則各懷鬼胎，意在伺機發展自己勢力。
不久，諸軍之間發生摩擦，相互火拚，聯軍至此解散。
初平二年（191年），曹操在東郡大敗於毒、白繞、眭固、於扶羅等。
於是，袁紹表其為東郡太守。
初平三年（192年），青州黃巾軍大獲發展，連破青州、兗州治下的郡縣，陣斬兗州刺史劉岱。
濟北相鮑信等人便迎曹操出任兗州牧，曹操和鮑信聯軍進攻黃巾，鮑信戰死。曹操設下埋伏，晝夜會戰，終於將黃巾擊敗。
當年冬天，曹操獲得降卒三十餘萬，人口百餘萬。曹操收其精銳，組成軍隊，號“青州兵”。
隨後，曹操又幫助袁紹，打敗公孫瓚部將單經，以及陶謙諸軍。
自此，曹操崛起於中原，成為了一方實力派諸侯。不僅獲得了兗州作為地盤，還擁有了一支強大的軍隊。
期間，曹操又提拔於禁、樂進、典韋、許褚等人於行伍，又得到了諸如程昱、戲忠等名士的效力。
初平四年（193年）春天，曹操在匡亭六百裡進行大追擊，大破袁術、黑山軍、南匈奴的聯軍。
徐州牧陶謙率軍攻入兗州南部的任城，曹操率軍擊退陶謙，又進兵徐州，向東南擴展勢力，並攻克徐州十餘城。
興平元年（194年）春天，曹操的父親曹嵩和弟弟曹德在前來投奔曹操的途中，被陶謙派兵殺害。
夏天，曹操準備替父弟報仇，再征徐州，略地至東海。
曹操征徐州期間，所過之處多有屠戮，殺害男女數十萬人，雞犬不留，泗水為之斷流。
東郡太守陳宮因此對曹操不滿，於是與陳留太守張邈、張邈之弟張超、從事中郎許汜及王楷等同謀叛亂，迎呂布為兗州牧。
當時，整個曹操的治下，隻有鄄城和東郡的範縣、東阿尚在曹操的掌握之中，分彆由司馬荀彧和壽張令程昱、東郡太守夏侯惇等堅守，形勢異常危急。
曹操從徐州趕回，聽說呂布屯於濮陽，遂進軍圍攻濮陽。
兩軍相持百餘日，又蝗災大起，於是雙方停戰，曹操退回鄄城。
此時，曹操失去了兗州，又軍糧儘失，陷入了事業的最低穀。袁紹便派人來勸說想讓曹操投靠他，讓曹操舉家遷到鄴縣當人質。曹操本打算答應袁紹，多虧程昱勸阻，曹操這才打消念頭。
這一時期，曹操的地盤隻剩下三城，軍隊疲憊，糧草不足，幸好手下還有一群對他忠心耿耿的文武，一直陪伴曹操左右。