天祚帝在西夏期間仍心神不定，他知道女真人是不會放過自己的。果然，不久金國便派遣使臣入夏，向李乾順提出：如天祚帝逃入夏境，應將其擒捕送給金國。夏國如果能以事遼之禮來事金國，那么，金國則可將原遼國西北一帶的土地割讓給夏國。李乾順見遼國滅亡已成定局，為了保全夏國，遂答應金國提出的條件。
耶律南仙將這個消息偷偷告訴了天祚帝，天祚帝害怕被李乾順執送金國，于是迅速離開西夏。
天祚帝重回夾山大本營，驚訝地發現耶律大石也正在這里，而且隊伍又壯大起來了，他很高興。耶律大石是去年九月的一天夜里，趁金軍不注意，帶領七千人馬逃出金營的。他們在夾山養精畜銳，以待時機。關于耶律大石曾被金軍俘虜并給金軍做向導一事，天祚帝似乎并不知曉。
不久，陰山韃靼毛割石部也來到夾山投靠天祚帝。有了這兩只隊伍，天祚帝自謂得到天助，信心大增。宣和六年七月，他決定兵出夾山，收復燕云地區失地。
耶律大石頭腦很清醒，他知道如果此時出擊金軍，無異于以卵擊石。他對天祚帝說道：“自金人初陷長春、遼陽兩路，則車駕不幸廣平淀，而都中京。及陷上京，則都燕山。及陷中京，則都云中。及陷云中，則奔夾山。向以全師不謀戰備，以至舉國漢地全為金人所有。國勢微弱至此，而力求戰，非計也。當養兵待時而動，不可輕舉。”
耶律大石這番話言簡意賅，內涵豐富，既嚴厲批評了天祚帝過去一味逃跑的錯誤路線，又對天祚帝現在冒險出戰的計劃做出了否定，同時也提出了正確的戰略方針即“養兵待時而動。”
可是，天祚帝“斥而不從”，一意孤行。耶律大石于是決定出走，獨立開辟新天地。一天夜里，耶律大石殺死負責監視他的北樞密使蕭乙薛與坡里括，率親信部屬鐵騎二百連夜出營，踏上了漫漫西行之路。
耶律大石走后，天祚帝并沒立即下山，他對駐守云中的金軍元帥宗翰有些打怵，遲遲不敢出兵。直到宣和六年冬天，天祚帝聽說宗翰回上京去了，云中由希尹代理元帥之職，他以為時機已成熟，遂率契丹與韃靼軍共五萬人馬出夾山，下漁陽嶺，接連攻下天德軍、東勝、云內、寧邊等州，大軍如入無人之境。
天祚帝這次出山南下，其真正目的并不是收復燕云失地，而是想趁機去投靠宋朝。他不僅帶走了夾山的全部軍馬，而且還“并攜其后妃、二子秦王趙王及宗屬”。此外，他還攜帶著各種珍玩珠玉金銀器皿等寶物五百多袋。很顯然，這是天祚帝有計劃的一次大搬家行動。
對于隱藏在夾山深處的天祚帝，宋朝一直在密切關注著。“童貫日夜為上謀，謂天祚在，必為后患。”童貫分析認為，“天祚心素侈，多慕中國”，現今他流離失所狼狽不堪，如果前去招納，他一定愿意“來歸”。如果天祚帝能來歸，那么燕山地區自然就會穩定，因為這樣便可“以絕其國人之望”。于是，宋徽宗決定暗中操作一下，讓童貫物色合適人選去夾山“誘之”。從事后眼光來看，童貫與宋徽宗對當時北方形勢的分析與判斷的確嚴重失策，他們太過于看重天祚帝的影響力，而對于金人的威脅力卻又看得過輕。
不久，童貫將一個番僧推薦給宋徽宗，宋徽宗令這個番僧持御筆絹書，秘密去夾山聯絡天祚帝。番僧來到夾山找到了天祚帝，天祚帝也給宋徽宗寫了回信。剛開始時，這事很注意保密，隨著往來次數增多，知道此事的人也越來越多。番僧“往來皆由云中，故金人盡知。”金人之所以對這個番僧不動聲色，不進行抓捕，是因為他們也在利用這個機會，在等待著天祚帝離開夾山，“是以不顧也”。“金人每以力不能入陰夾山，恨其不出，出必得之。”
天祚帝后來給宋徽宗回信，答應來歸大宋。宋徽宗于是“改書為詔，示欲臣之”，并向天祚帝保證，“歸則待以兄之禮，位燕、越二王上，筑第千間，女樂三百人，禮待優渥”。天祚帝大喜，于是“約期相接”。宋徽宗遂讓童貫落致仕，出任河東宣撫使，到太原“密迎之”。
這期間，因為宗翰一直駐扎在云中，天祚帝不敢出山。直到宣和六年冬天，“忽報國相歸金國稟議，以兀室代云中元帥職”，天祚帝這才敢率眾出山。
天祚帝并不知道，此時金軍正張網以待。他率軍剛過云中，忽然接到報告說，希尹“以大兵遮其歸路”；之后又接到報告說，宗翰已回到云中，正派軍前來追襲。天祚帝大驚，急令大軍速向武州挺進。
當時，希尹將蔚州、應州、奉圣州與云中府的漢兒鄉兵組成先頭部隊，追擊天祚帝，而將一千余女真騎兵埋伏在天祚帝必經的山谷之間，以逸待勞。當天祚帝率軍走到奄遏下水（今內蒙古涼城縣西岱海）之西時，女真騎兵突然從韃靼軍背后殺出，韃靼軍頓時潰亂。一番交戰之后，遼軍死傷無數。有的被擒，有的投降，有的逃亡。天祚帝急忙往南而逃，希尹派婁室率五百騎兵，一路緊追不舍。天祚帝本打算直接去武州，南投宋朝。當他跑到武州附近時，有一個隨行僧人勸他不要去大宋，這僧人說：“南朝弱，必不敢留，隱當為女真所索，等辱不可再辱，莫若徑歸女真，亦不失為王也”。
或許是天祚帝覺得這僧人言之有理，遂改變計劃，又轉向西逃，終于逃到了山金司。山金司在陰山，因為陰山產金，遼國在此置冶采煉，故名山金司，天祚帝來到后將其改為統軍司。
宣和七年正月，黨項小骨碌部族派人來山金司，請天祚帝“臨其地”。小骨碌部族是黨項一個很小的部族，分布在天德軍和云中之間，以前一直臣屬于遼國。天祚帝打算與小骨碌部族首領一起商量投靠西夏，遂急忙趕往天德軍，計劃從那里過沙漠。途中，忽然與金兵遭遇，天祚帝又狼狽而逃。