宣和五年四月初，完顏宗望從金國南京（平州）派出使者，來宋國河東宣撫司找譚稹，請求借軍糧二十萬斛。
金使說，“這是前任宣撫司曾答應的事。”
譚稹對此感到很為難！
如今宋國的日子也不好過。
去年，秦、鳳旱，河北、京東、淮南饑，幾處地方都需要賑濟。
這也就罷了，關鍵是燕地。
燕地久經戰火，以至于燕民好幾年沒有種地了，又不像云地一樣，曾被水泊梁山占據一年多，因此休養生息了一年多——水泊梁山只占據了燕地幾個月時間，而且還是從正月到三四月，根本沒法勸農。
如今，燕地已經成為重災區，所需一切糧食、物資都得從河北、河東、山東運。
為此，宋朝廷詔西京、淮、浙、江、湖、四川、閩、廣等地各組織民夫各數十萬（欲免調者每夫須納錢三十貫，違者從軍法。）往燕地運糧、運物資。
可問題是，這么多民夫從南往北調人吃馬嚼的，本身也是一種巨大的消耗，而且因為趙佶所用非人，動用幾百萬民夫運糧一事組織的極差，進而導致這數百萬民夫運的糧食他們自己在路上就得消耗九成，只有一成能運到燕地。
而且，因為把西京、淮、浙、江、湖、四川、閩、廣等地的青壯征集起來當民夫，西京、淮、浙、江、湖、四川、閩、廣等地的很多地都沒有人種了。
宋國費了這么大的勁運來了的糧食，自然是彌足珍貴的，因此，譚稹真有些舍不得借給完顏宗望，所以回答說：“二十萬斛糧食不是那么容易搞到的。再說，自我來宣撫司，就從沒看到答應借給你們軍糧的片紙只字，所以這件事很難辦。”
金使解釋說：“借糧之事是貴朝使者趙直閣在去年四月親口答應的。”
譚稹一聽是趙良嗣口頭答應的，便沒好氣地說：“口頭答應豈能為憑？那你們去找趙良嗣要吧。”
金國如今的確缺糧。
這些年，金國一直在打仗，之前又不善于經營建設，如果不是連戰連捷搶了不少東西，金國早就崩潰了。
可最近這一兩年，金國雖然也在打，但地盤卻沒能再擴張，進而也就導致金國的收入大減。
偏偏，這兩年年谷不登，民間饑荒嚴重，以至于都有易子相食的慘況。
所以，完顏宗望是真心希望譚稹能借他點糧食。
不成想，譚稹竟然一推二六五，根本不認前任宣撫司曾答應的事。
完顏宗望對譚稹的態度極為震怒！
完顏宗望覺得，宋國一而再、再而三的出爾反爾，不斷戲弄他們女真人，像這樣的鄰國是不可能成為友好鄰邦的，應該好好教訓宋國一下。
七月中旬，在金國的暗中授意下，西夏首先出兵，同時進攻武、朔二州。
對于云中地區，西夏早就有覬覦之心，因為這里繁榮、先進，得之，可以大大提升西夏的國力。
如今，有金國在背后支持，宋國又是那么不堪一擊，如此天賜良機，西夏怎么可能不把握？
譚稹此前對此毫無防備。
直到西夏大軍已經攻來，他才急忙令李嗣本率義勝軍迎戰。
可惜！
交戰數次，雖然雙方各有勝敗，但西夏兵一直不肯撤退。
西夏此次出兵，是從金肅州（后世的內蒙古準格爾旗西北）、河清軍（后世的內蒙古東勝北）渡過黃河，一路攻占了天德軍（后世的內蒙古額爾登布拉格蘇木北）、云內州（后世的內蒙古土左旗西北）以及河東八館（即兜答、廝刺、曷董、野鵲、神崖、榆林、保大、裕民八館，在后世山西西北部一帶）。
西夏這次出兵之前，完顏宗翰就秘密使人向西夏傳話：“汝可盡陷其地。”，也就是，西夏可以盡可能搶奪宋國的領土。
宋國對于這些情況似乎一無所知，或者是有所知而無所備，所以顯得處處被動。
八月初，完顏宗翰突然出兵云中，而完顏宗望也從南京出兵，他們合力趕跑了武州耿守忠、朔州孫團練、寰州張團練、新州沈團練和應州節度使蘇京，殺死蔚州守臣陳翊，駐守云中府的李嗣本率義勝軍迎戰金軍，結果是不堪一擊，一觸即敗，然后也狼狽逃竄。
金軍先后奪取了武、新、云、寰、朔、應、蔚七州，接著又相繼攻陷了媯、儒二州以及飛狐與靈邱，盡得云地。
此時，譚稹正坐鎮太原。
此前，他對西夏軍和金軍的動向缺乏清醒的認識，以至于現在坐視西夏軍和金軍攻城掠寨而束手無策。
事實上，譚稹根本無心這些政事、軍事，他一直忙于搜羅奇珍異寶、金銀珠玉以飽私囊。
許多人認為，譚稹“久之事不成，怯弱退敗，尤玷中國威靈”。
趙佶聽聞，云地被金國奪去了，大驚！
要知道，由于水泊梁山之前在云地的經營，那里是目前北面唯一一個不缺糧的地方，而且，在自保之余，還能救濟一下燕地。
如今，云地被金國奪去，宋國失了一片重要關隘、一片富饒之地不說，還失去了一個糧倉，維系燕京將更加艱難，更為重要的是還跟西夏和金國開戰了。
趙佶趕緊讓人將前因后果調查清楚，以便應對。
其實不用趙佶派人去調查。
很快，完顏宗望就派人給譚稹送來了一份文牒，對譚稹大加指責，其主要指責有以下三點：
一、招納叛人張覺；
二、收留原遼國外逃人口與職官；
三、拒不給付曾許諾的二十萬斛軍糧。
其實，這些全都是借口，金國之所以攻打云地，只是因為，附近地區只有云地和遼東有糧，他們不敢惹李衍，自然只能打云地弄糧，解決金國日益嚴重的缺糧問題。
這也是完顏吳乞買同意完顏宗翰和完顏宗望攻打云地的最主要原因。
云地得而復失，讓宋國上下痛惜不已的同時，又讓宋國上下全都陷入不安當中。
童貫與蔡攸看準機會，入宮進言，建議罷免譚稹。
對于金人所指責的三件事，責任到底在誰，趙佶君臣其實都很清楚。
第一件和第二件事全都是趙佶所主張的，第三件事譚稹也是在為宋國、為趙佶著想，否則譚稹也不可能賴前任宣撫司曾答應借的糧，畢竟對方可是可怕的金人。
可趙佶想來想去，還是只能讓譚稹來做這個替罪羊。
于是，宋朝廷以譚稹“處置無方”為由，免去其太尉與宣撫使職務，貶為順昌軍節度副使。
趙佶將責任全都推到了譚稹身上，還處置了譚稹，希望這么做能消除金人對大宋的怨恨。
接著，趙佶重新起用童貫，讓他重領樞密院事，繼續擔任河北、河東、燕山府路宣撫使，以太原知府張孝純為宣撫副使。
趙佶令童貫立即啟程，趕赴太原，趕緊想辦法緩和與西夏和金國之間的緊張局面，努力要回云地。
另外，趙佶還交給童貫一個外人無從知曉的秘密使命——尋找機會，迎候天祚帝來大宋。