東路謝玄率領的北府軍從5月初開始北上進攻。左路前鋒桓石虔攻克項城之後，因桓衝之死而停止進攻，回荊州奔喪。但右路北府軍的進攻卻沒有停止。
5月中，劉牢之率3萬前鋒軍望西北方向進攻，攻入彭城西北梁郡，高平郡，陳留郡。兩個月的時間，連克3郡之地，迫近洛陽以東的河南郡。
謝玄率中軍5萬北進，下任城，克魯郡，東平郡。
至7月中，北府軍不但收複了淮北數個州郡，並且已經將矛頭同時指向了洛陽和關東之地，挺進黃河南岸。在兩個月的時間裡，將大晉的疆域以極快的速度往北推進了上千裡。
原本，謝玄是做好了艱難作戰的準備的。畢竟北府軍之前損失巨大，在補充了新兵之後，整體的作戰能力不足，訓練程度不夠。這1點謝玄是心知肚明的，所以他心中1直保持著謹慎。
但是，北伐發起之後，北府軍大軍所致，幾乎沒有遭遇到敵人像樣的抵抗。所到之處，敵軍少量敵軍聞風而逃，城池官員紛紛投誠。這和想象的艱苦作戰完全不同，幾乎是兵不血刃便占領了地方，小規模的戰鬥根本無法遲滯大軍的兵鋒所指。
謝玄突然明白了，為何李徽能夠以4萬東府軍的兵力迅速占領北徐州和青州4郡之地。原來不是李徽有多強，東府軍有多麼勇猛，而是因為，敵人太拉胯。
整個中原乃至關東以南之地，遭遇的敵人兵馬加在1起不足萬餘。謝玄認為，秦國之前大征兵馬南侵，已經令北方人力枯竭，所以導致了這樣的結果。敵人沒有兵力，所以北府軍才能如赴宴1般，從這座城趕到那座城，隻要兵馬踏足，那片地方便歸於己方所有。
這1切，讓之前李徽的警告之言仿佛是個笑話1般。甚至有1種故意誤導的嫌疑。因為事實便是如此，北府軍1路勢如破竹，如入無人之境，這便是證明。
在勝利的鼓舞之下，謝玄的心態起了變化。他的警惕之心逐漸放鬆，取而代之的是心中湧起的雄心勃勃的計劃。
之前，即便沒有李徽的告誡，叔父謝安在出征之前也向謝玄交代，北伐要適可而止，不可操之過急。謝安和李徽的論調是1樣的，1則此刻大晉的兵力不足完全1統北方。2則，為避免司馬道子等人的猜忌，北伐之事當適可而止，免遭猜忌。
對謝玄而言，所慮者無非是力量不足，敵軍強大。至於後者，謝玄反倒認為，對司馬道子王國寶以及新進得勢的司馬曜的妻兄王恭等人而言，1個強大到他們不敢染指的謝氏才是保證。自己隻有率領北府軍打出威風打出風采，讓所有人都明白，北府軍是不可戰勝的。才能阻止司馬道子王國寶等人對謝氏的心思。也能徹底的讓司馬曜明白，謝氏有能力做到1些事情，但是謝氏不會做，除非他逼著謝氏去做。
鑒於眼前的情形，謝玄調整了策略。本來攻至黃河以南便已經是極限，但現在，謝玄所想的卻不僅僅是眼下的收獲了。
7月下旬，謝玄下令劉牢之進攻河南郡，並伺機奪取洛陽。1旦攻克洛陽，便打開了進入關中的大門。當然，謝玄知道，此刻還不是進攻關中的時候，那是下1步計劃。在進攻關中之前，要首先解決關東之敵，將盤踞在鄴城和北方的慕容垂的兵馬消滅殆儘，徹底的占領關東。之後，再集中力量從洛陽往西進攻。
為了實現這個雄心勃勃的計劃，謝玄開始了細心的準備。鑒於多年以前桓溫進攻關東，在坊頭遭遇的糧草物資不濟的危機，以至於大敗而歸的前車之鑒。謝玄1麵下令於秋季的枯水期到來之前廣運物資糧草做好準備，並且就地開始征發百姓疏浚河道，防止後勤保障不力。
不得不說，謝玄在作戰這件事上還是頗為謹慎的，雖然計劃宏大，但他並沒有激進的立刻進行，而是為此做出各方麵的提前的準備。不光是在軍事上準備，在物資糧草，甚至還準備了柴薪棉衣帳篷等物資於彭城備用，便是做好了冬天進攻的準備。
8月中，劉牢之攻克河南郡，兵臨洛陽城下。1路高歌猛進，本以為所向披靡的北府軍在洛陽遭遇了北伐以來的第1次挫敗。