要說蒙古人也不傻，對於潘羅歡開出是崇慶府知府職位的條件，並沒有答應。
蒙古人知道潘統製死後，潘羅歡根本控製不了下屬各縣。現在崇慶府的四縣中，永康城早已殘破，江源和新津城對潘羅歡的命令是聽調不聽宣，他隻能控製府城所在晉原縣，但能控製人口不過數千，兵力也隻有區區幾百。
得知潘羅歡在與蒙古人談判時，新津城直接宣布脫離崇慶府的治理，而府城的大部分守軍也在樂全安等人的策反下嘩變，並攜帶了全部戰船投奔了霹靂軍水軍營。
這讓潘羅歡失去了討價還價的籌碼，隻能在痛罵的同時，心有不甘地接受了晉原縣令的位置。
潘羅歡天真地以為投靠蒙古人之後還能繼續作威作福的生活。隻不過蒙軍一進城，他便發現自己錯了，而且錯得離譜。
蒙古人尊崇武力，隻靠拳頭講道理，在他們看來失敗者根本不值得尊重。
被征服的漢人都不過是可以生殺予奪的奴隸，是會說話的工具而已，至於漢人降官也不過是奴隸頭子而已。
要說潘羅歡也是個見風使舵的人，駐守府城的蒙古百人隊長蠻橫無理也罷，肆意辱罵也罷，吆來喝去也罷，他也能接受。
他雖然又狂又蠢，卻也懂得人在屋簷下不得不低頭的道理。他唯一不能忍受的是蒙古人一進城，便將城中女人全數霸占，姿色上佳的自然是被蒙古百人隊長收入囊中，其中就有潘羅歡的相好小翠花。
這小翠花原本是城中綢緞商人的小妾，潘羅歡入主府城之後，便以偷稅罪名將綢緞商人投入獄中活活餓死，將其家財和翠花一並奪占。
蒙古百人隊長奪走翠花後，潘羅歡憤恨得雙眼冒火卻也無可奈何，隻能繼續給蒙古人當龜孫子。
他雖然是縣令，手下卻隻有一百多號的老弱殘兵。蒙古人為了防止城中漢人反抗，又故意克扣糧食，潘羅歡的手下餓得連武器都拿不動，哪裡能反抗蒙古人？
潘羅歡實在受不了沒有女人的日子。他常常趁蒙軍百人隊長出城劫掠或喝醉的時候，偷偷與小翠花幽會。
這小翠花也被蒙古百人隊長蹂躪的不成樣子，每次都哭求潘羅歡帶她遠走高飛脫離苦海。
隻是潘羅歡在求歡前滿口答應，完事後便置之不理，明顯是個無情的渣男。
小翠花先是滿心期待，後來便是心灰意冷，再後來便是心生恨意，索性將兩人私通之事告訴了蒙古百人隊長，並哭訴說是潘羅歡脅迫。
這蒙古百人隊長聽後蠻性大發，拔刀就滿城尋潘羅歡。潘羅歡從親信處得知消息後大驚失色，偷了一匹馬便奪路而逃。
當前崇慶府已沒有他容身之地，霹靂軍更不待見他，他準備逃往嘉定府去投奔俞興之子俞大忠。
俞興派人收複邛州之後，命俞大忠執掌邛州。由於兩州府相鄰，相互之間公事交往頗多，加之兩人年齡相仿也都是紈絝子弟，氣味倒是十分相投。
成都之戰失敗後，蒙軍尚未進犯邛州，俞大忠便棄了城乘船沿水路逃往嘉定府。
在行經新津城時，他曾派快船來邀潘羅歡一同前往。這潘羅歡心知到了嘉定府，自己部屬財產必然被貪心極重的俞興父子奪去，失去了崇慶府城這個根基，自己便沒有了資本。
故他推脫了俞大忠不懷好意的邀請，而是留下來與蒙古人談判，試圖當一方土皇帝。