嶽飛聽了他這一番迂腐的話，心中大失所望，但臉上卻不表現，隻是說道：“學生明白了。”
而王貴等三人見先生有些難堪，哪裡肯放過這等機會，立刻哄吵起來，惹得先生發怒，拿出戒尺，將三人每人抽打了幾下。這下可正好捅了馬蜂窩，三人自幼一起玩耍，而且個個有力，被先生責罰，哪裡忍得住，立刻衝上去將其拽倒在地。三個小家夥雖然都是些孩童，但先生是個文弱書生，哪裡能經得起這番折騰，不一會就被三人將胡子拔個精光。想要下些重手，但想到幾個公子都是富戶獨養兒子，父母愛惜，萬一自己不小心打傷了一兩個，卻不是自找麻煩。無奈之下，隻能忍氣吞聲，當日便要辭館而去，王明再三挽留，卻是無濟於事，隻能拿些銀錢，打發先生回去。
就這樣，一連換了幾個先生，都是一樣的結果，王貴等三人惡名就些傳播出去，後來便是再找到先生，一聽是王家便婉言拒絕。
這下可好，王貴等三人再無人管教，更是每日裡擾得村裡雞犬不寧，姚氏見三人胡鬨，再加上嶽飛也逐漸長大，便有心搬離王家。於是和何氏說起此事，何氏再三挽留，姚氏隻說嶽飛長大，王家院中丫環女眷不少，長在家中確有不便。何氏見她去意已經決，無奈找人將村東幾間空房打掃乾淨，讓姚氏母子二人居住，日常用度，仍然派人按時送來。
嶽飛母子搬離王家之後，姚氏每日裡給鄰居做些針線活，也算是些日常進項，又讓嶽飛平日裡上山打些柴火，以作家用，母子二人，倒也生活安逸。
這天一早，嶽飛剛剛出村，正要上山打柴，就見張顯灰頭土臉的跑了過來，見到嶽飛，連忙叫道：“嶽家兄弟，王貴和湯懷被人圍住了，你快去與我等助拳。”說罷不由分說，扯了嶽飛就跑。
來到一片空地，就見到王貴和湯懷正與幾個十來歲的孩童扭打在一起，雖然王貴生來有力，但雙拳難敵四手，再加上對方年齡稍長，自然不敵。
嶽飛見狀，丟下柴筐，衝出戰團，左推右拋，將眾人分開，原來是鄰村的李家老二，帶著同村幾個孩童。平日裡王貴等人常常欺負幾人，今天見他們人少，所以便上前挑釁。王貴等人哪裡吃這一套，於是便扭打起來，張顯眼見要吃虧，便回村來尋幫手，剛好看到嶽飛，知道他學得幾手功夫，就拉來助拳。
那李二也識得嶽飛，就說：“嶽兄弟，此事與你無乾，且閃遠些，今天定不放過王貴，你若是幫拳，失手打了你卻不要怪我。”
嶽飛笑了笑說道：“李二哥，大家左鄰右舍的，何苦傷了和氣，王貴等人與我自小玩大，若是看著你們打，隻怕我心難安。不如我們來場賭局，你等眾人一同來打我，若是打得贏，我便轉身離去。如若打不贏，那我便將我這三位兄弟帶走，今日之事，就些罷了，你看如何？”
那李二平日裡隻見嶽飛與人溫和，不像王貴等人那樣頑皮，所以並不把他放在眼裡，於是拍著胸脯說道：“也不用說我們人多欺負你，你若打得贏我，就依你所言。”