云中府的遼人復叛，是遼人初降復叛的序幕。
在這之后，時不常的就有遼人叛亂。
而且，還不全都是遼人中的契丹人叛亂，溪人、渤海人、甚至漢兒，也叛亂。
漢兒，最初是少數民族對漢人的稱呼，如漢樂府中有詩說：“我是虜家兒，不解漢兒歌。”，唐詩中也有：“漢兒盡作胡兒語，卻向城頭罵漢兒。”的詩句。
最初，“漢兒”這個詞語與漢人同義，并無褒貶意味。
在遼國獲得燕云十六州之后，特別是在遼國與北宋對峙期間，遼與宋對分屬于兩國境內的漢民的稱呼開始發生了變化。
遼人稱呼宋國境內的漢民為南人，而稱呼本國境內（主要是燕云地區）的漢民為漢兒。
宋人也稱呼遼國境內的漢民為漢兒，有時還罵他們為番人。
總之，遼、宋以及后來的金國，對燕云地區的漢民都一致稱呼為漢兒。
這表明漢兒已演變成了一種帶有蔑視口吻的特稱，也反映出了遼、宋和金國都對漢兒很不信任。
而漢兒也由于遼、宋以及后來的金國對他們不信任，不僅在民族認同上日顯孤立，且在政治態度上也沒有固定的傾向，并非趙佶君臣認為的那樣“心向中原”，而是以利益為中心，選擇對自己有利的一方，在遼、宋、金之間往來叛附，政治態度非常靈活。
遼彰國軍節度使耿守忠，就是一名漢兒。
在岳飛攻打應州時，耿守忠見岳飛勢大不可敵，便帶著手下將士果斷投降了，之后一直表現得很順從，還幫張憲攻打應州的各個堡寨以及幫張憲清剿應州遼國的抵抗勢力。
可因為天祚帝最近在遼西弄出來了不小的聲勢，以至于耿守忠等人誤以為遼國又有救了（遼國在這個地區統治了上百年，原來的權貴漢兒已經將他們自己當成了遼人，因此跟遼國最有感情），所以又紛紛起來反叛。
那次叛亂是有組織有紀律的，耿守忠等人分別從應州、蔚州、新州、武州出發，直奔云中府殺來。
早已經在各支投降了的遼軍中安插了眼線的軍情司，在第一時間獲悉了叛亂，并將他們的計劃上報給了李衍。
李衍將此事交給韓世忠和岳飛來解決。
韓世忠和岳飛很快就根據軍情司提供的完善情報，做了相應的部署。
耿守忠帶著所部以及他聯系的各部共七千人馬，剛出應州，就被早已等候多時的張憲截下。
張憲先命其部新成立的馬軍攻了遼軍一陣，缺少馬匹的遼軍被斬首了千余級。
隨后，張憲親率大軍與耿守忠決戰——張憲親率麾下李道軍（馬軍）和王經營（重甲步兵），沖入耿守忠的中軍，另外兩營從兩翼用強弩射殺遼軍。
雙方戰了兩個多時辰，遼軍幾被全殲，耿守忠不得已率領不到一百人騎馬向東逃竄。
與此同時，韓世忠、岳飛、王彥、楊沂中軍紛紛出擊，將其余三萬多遼軍全都剿滅，最后沒有一支遼軍能到達他們之前約定好的聚集點。
雖說遼人的叛亂都是徒勞的，但因為不斷有遼人叛亂，以至于李衍始終不能將在武州和新州徘徊的完顏宗翰和完顏希尹兩部攆出云地——倒不是李衍沒有這個實力，而是李助等人建議李衍，不能同時跟遼人開戰，又跟金人開戰，這樣很可能會出現收尾難兩顧的局面，李衍深以為然，才沒跟不斷派使者來商談的金人開戰。
后來，許貫忠和樂和帶著劉敏軍、房學度軍、李懹軍以及方臘義軍的頭頭腦腦和那近十萬方臘義軍精銳進入了云地。
這時，遼人的叛亂基本上已經完全被鎮壓了。
不過李衍又遇到了新的麻煩——妥善安置方臘義軍。
李衍先是下令，從解煩軍、韓世忠軍、岳飛軍、吳玠軍、劉锜軍、張憲軍、王彥軍、劉敏軍、房學度軍、李懹軍各抽出一都精銳共三千人，以他們為骨架再組一軍，由方七佛任代統制，張顯、王俊、解元、呂師囊任代統領各統帶一營，王勝任統領統帶方七佛軍所轄的馬軍。
從新組建的方七佛軍不難看出，李衍準備給各軍擴編，也就是一軍由四營步軍和三千馬軍組成。
這也是沒有辦法的事。
首先，李衍不能放著近十萬精銳不用，這也太浪費了，而且擱置久了定會生出變故。
其次，三營步軍，有時候實在是拉不開架勢，無法打大仗。
再次，李衍得妥善安置得自方臘的司行方、厲天閏、方杰、龐萬春、呂師囊、俞道安、裘日新、胡三、祝四等將。
至于為甚么不多成立幾軍，則是因為沒必要，十二支步軍（加上踏白軍）已經足夠用了，至少目前足夠用了，而且李衍手下也沒有那么多能帶一軍的將領。
這么一擴軍，近十萬方臘義軍精銳頓時就被李衍消化了一半，剩下的暫時充當民夫，同時繼續接受基礎訓練和政治教育。
擴軍了之后，李衍共有：
步軍十一個軍，分別是：解煩軍，韓世忠軍，岳飛軍，吳玠軍，劉锜軍，張憲軍，王彥軍，劉敏軍，房學度軍，李懹軍，方七佛軍，每軍一萬三千人左右，共約十五萬人。
馬軍十七個軍，分別是：第一營，解煩馬軍，鐵浮屠，拐子左軍，拐子右軍，契丹軍（精選出來的順從性良好的三千人馬，由耶律佛頂（李衍為之賜名李佛）統帶），渤海軍（精選出來的順從性良好的兩千多人馬，由高永昌的族弟高永亮（李衍為之賜名李野）統帶），溪軍（精選出來的順從性良好的兩千多人馬，由溪族降將溪離不（在遼國叫蕭贊，李衍為之賜名李贊）統帶），以及分散在岳飛軍等十支步軍中的十支馬軍，共有五萬人左右、七八萬匹戰馬。
再加上踏白軍、奏報機密特種軍、神機軍、兩棲軍等特種軍，以及參謀部、政治部、情報部、醫務軍、通訊軍等特殊部門。
李衍現在共有二十四萬正規軍。
同時，李衍還有六七萬精銳預備役。
另外，李衍還在云地募兵，準備再招募三萬馬軍預備役。
可以說，李衍如今是兵強馬壯，如果不考慮宋國、遼國、西夏、高麗等國以及蒙古諸部，李衍都可以跟金國一決雌雄了，畢竟現在的金國撐死了也就二十多萬人馬，而且其中還得有一大半是契丹兵、渤海兵、溪兵、漢兵等雜兵。
宣和四年四月底，天祚帝糾集了四萬蒙古大軍并三萬西夏大軍出了夾山，越過漁陽嶺，直奔天德軍而來……