吳玠去後，劉子羽立即著手準備防禦，他仔細查看周遭地形，將防禦重點落在了利州境內潭毒山處，此山乃是入蜀要道，若取三泉，必自此山而入，此山山形鬥拔，其上寬平有水，乃是駐軍防禦良地。劉子羽心中大喜，起全城軍民於山上修築壁壘，十六日而成險關一座。
潭毒關已成，劉子羽收興元、三泉兩處人馬並百姓中勇者聚於關上，嚴陣以待金軍，而此時王俊亦整備所部五千人馬來至關上，與劉子羽一道守關，於是關中士氣大振。
正當吳玠和劉子羽於潭毒關和仙人關布防以待金軍時，饒風關兵敗，金軍攻占洋州、興元府之事也傳入張浚耳中，聽此消息劍南諸州皆驚，各自已經準備徙治之計，而張浚，亦下令移師潼川，但榜文一發，聞者皆憤，或取其榜毀之。
張浚欲移師潼川之事傳至潭毒關，劉子羽立即寫書於張浚，說道：“劉某屯兵潭毒關，又有吳節度於仙人關斷敵歸途，敵必不能久，劉某在此一日，則敵不得南進，望宣撫大人收拾民心，勿使百姓輕動。”張浚得書後下令大軍暫不撤離，並安撫民心，命劍南諸州不得輕動。
與此同時，完顏撒離喝先入洋州，又往興元，間欲就糧於當地，但劉子羽在其攻打饒風關時便已經將洋、梁二州糧草儘數遷走，及至饒風關破，更是將興元府燒得一空。使得完顏撤離喝雖占城池，卻是一無所獲，糧草日少。此時得知劉子羽屯兵於潭毒關，後方三泉有糧，完顏撒離喝便起大軍來攻。
當金軍來到時，劉子羽早已準備妥當，上關觀看完顏撒離喝軍勢，隻見金軍陳兵於關下十數裡外，連營數十座，果然軍勢浩大。劉子羽命人搬來胡床，坐於壘口處，麵向金軍，一旁諸將見狀大驚，跪泣道：“金人就在城下，一旦戰事起，弓矢無眼，此處非待製坐處。”
劉子羽聞言大笑道：“大丈夫生於亂世，當以死報國，今日金人若是登城，則子羽死於此。”諸將聞言，皆為其膽識所感，於是個個激奮，願與劉子羽死守此關。
見到關上嚴陣以待，完顏撒離喝親自拍馬出陣，來到關下，向上喊話道：“劉經略威名，某亦有所聞，如今饒風關已破，吾大軍過處，經略亦隻得焚城退避，如今又何苦固守於此死地，若肯開關來降，則不失封賞，豈不美哉！”
劉子羽聞言於胡床上起身，直視完顏撒離喝罵道：“無恥賊子，妄圖窺我川蜀，劉某先父死戰殉國，吾為人子，豈有背主求榮，大失祖宗顏麵之舉？前番爾等欲攻閬州，卻不得而入，如今劉某在此，若想寸進，先須從劉某屍首上踏過方可！”說罷彎弓搭箭，一箭向完顏撒離喝射去。
原來完顏撒離喝大軍攻下洋州後，見城中無糧，便向南而行，欲攻閬州，誰料於半途被王彥率殘兵所阻，一連月餘，不得寸進，於是複返興元。此時完顏撒離喝被劉子羽說中痛處，正要發怒，卻見關上箭若流星，劈麵射來，急閃避時卻被羽箭射中鐵盔，連忙掩麵而逃。
完顏撒離喝受挫歸營，心中憤怒，起大軍猛攻潭毒關，然關險難登，又有劉子羽身先士卒，率關中軍民拚死抵抗，一連數日，皆是無攻而返，隻在關下留下屍首無數。
這一日完顏撒離喝正在帳中愁惱，有軍士入報，說沿途劫掠糧草已儘，隻怕再過數日，便無糧可食。聽此消息，完顏撒離喝更添愁苦，便召眾將入帳相議，有左右提議分出數支遊騎向興元、洋州境內各處郡縣村莊劫掠，以供大軍。完顏撒離喝以為得計，便分兵數路，往各處劫掠，自率大軍依舊每日攻關不休。