嶽飛聽後笑著對牛皋說道：“賢弟啊，你如今也是正四品的要員，怎可動不動就喊打喊殺的。這裡又不是你領兵打仗，一言可決其生死。不過此人既然是張俊族侄，倒也不是不可利用一番。”說罷嶽飛附到牛皋耳邊，對其密語安頓。
牛皋聽後眼睛一亮，不住點頭。待嶽飛說完，牛皋興奮地說道：“哥哥之計甚妙，今次定要好好整治這廝一番不可。”
嶽飛也笑著說道：“今日你我兄弟相聚，卻是不能傾心相談，你私自出城，想來回到潭州，那張博文必有詰難之語，你也不必與其爭辯，暗中行事便可。”
隨後牛皋簡單地與嶽飛用了些飯食，便出衙上馬，臨去時說道：“哥哥在此間小心行事，若要起事時，隻需讓施全知會一聲，小弟定當景從。”說罷拍馬出城，往潭州而去。
及至天色擦黑，牛皋方回到潭州城下，入城之後便往自己大營而去。來到營門前，隱隱約約地看到有一群人在站在門口，為首的正是張博文。此時隻見張博文皮笑肉不笑地說道：“牛總管卻是好大的雅興，清早便不見影蹤，至夜方還，如此擅離職守，怎可為一軍之將？”
牛皋一路奔波，本就身上乏累，如今被張博文一刺，早把嶽飛安頓的話忘了大半，口中自然也沒什麼好話出來，張口便說道：“爺爺要去何處，哪裡消得你管？一個小小的團練使也敢來質問上官，若是在陣前，但這一條爺爺便可將你首級號令於軍中。今日看在清河郡王麵子上，不與你計較，再敢來大營聒噪，當心打爛你的狗頭。”說罷頭也不回往營中而去。
張博文被牛皋一番搶白，臉上青一陣白一陣，他本是文人出身，雖然也曾隨張俊見過陣，但隻是幕僚之中，正所謂秀才遇見兵，有理說不清，今日他聽營中親信說牛皋破天荒地未曾到營中訓練大軍，於是便候在大營外，一方麵想探探牛皋去了何處，另一方麵則是要借此事由言語上擠兌牛皋一番。但誰料這牛皋這般剛硬，竟然將他痛罵幾句後便回了軍營，隻留下他在營門外進退兩難。有心要將其拿下，但一來身份不符，二來也無什麼真憑實據，三來又怕牛皋雙鐧，於是隻能強自按下心中火氣，拂袖離去。
回到府中，張博文命人治了酒菜，便與幾個親信喝起了悶酒，想到當初離開鄂州時田師中對其仔細叮囑，讓他到了潭州就好生留意牛皋行止，若有機會，便將其麾下人馬奪到手中。但這幾年中，他施計無數，奈何除了原本跟隨張俊的行營中護軍舊部外，嶽家軍舊部上下則是一塊鐵板，無論他想了多少辦法，卻總是無功而返。而牛皋本人在他看來，更是一塊又臭又硬的石頭，一旦粗野起來便要動手打人，初來時，若不是有一眾同僚拉著，自己早不知被打了多少次。直至後來，他也知道厲害，雖然也時常言語相譏，但始終不敢太過。
想到這裡，張博文憤憤地將酒杯頓在桌上，咬牙切齒道：“這匹夫，他日若是落到我手中，定教他求生不得，求死不能！”
一旁的親信陪著笑說道：“一武夫耳，大人何必與其置氣，自從去了嶽飛這棵參天大樹，強如王貴、張憲，亦不得不含恨離去，其餘如董先、姚政等人，哪個不是唯田大人馬首是瞻？大人與田大人有如姻親，這關係哪裡是旁人可及的？若想收拾牛皋，還不是手到擒來之事？隻是如今時候未到，田大人也不敢操之過急，依小人看，隻怕再過些時候，田大人便要處置這廝，故大人不必為其動怒。來，我等滿飲此杯。”