在戰前動員會議上，解潛鄭重告誡諸將道：“大戰在即，禍福握于自己之手。迎敵者賞及子孫，退走者誅及妻子。如立奇功，定有高爵。”解潛希望以此鼓舞士氣，嚴明軍紀。
然而，對于這些賞罰政策，三軍將官們根本就聽不進去，他們都在下邊小聲議論道：“過去，童宣撫也曾有此言。可實際上怎么樣呢？明明是戰死者，往往被上報說成是逃跑；而對于奔潰者，則立賞招安。今日之令，也恐怕是空話罷了。”不久，戰斗打響了。
金軍在南線指揮作戰的將領叫完顏拔離速，是銀術可的弟弟。前不久，姚古也是被他所敗。剛開始，拔離速用于沖鋒的金人并不很多，似乎帶有試探性。但宋軍對金兵很懼怕，交戰不久，老毛病又犯了，前軍有些官兵就不顧軍令開始潰退。后軍見狀，人心也開始浮動。堡壘中的官兵為求自脫，紛紛抓著繩子往溝壑底處逃竄。結果混亂中墜落而死者重疊累積，幾乎填滿溝壑，約有幾千人。
拔離速見宋軍已亂，于是果斷下令鳴鼓大進。金軍抓住時機，將預備隊也投入戰斗，他們越戰越勇。而宋軍越來越抵擋不住，最后全線崩潰，潰不成軍。連解潛所在的中軍也四處潰散，他身邊僅剩下數十騎親兵，保護著他從山間小道，一路逃奔隆德府。從此，解潛所部戰斗力基本喪失。
拔離速指揮金軍乘勝前進，很快便兵臨威勝軍城下，知威勝軍張堯佐不戰而降。
解潛所部是正面救援太原的主力軍。主力軍潰敗所造成的影響往往是很大的。當時，威勝軍、隆德府以及汾州、晉州、澤州、絳州等地百姓聞聽官軍敗北，紛紛扶老攜幼渡過黃河，往南而奔。太原以南、黃河以北地區，州縣幾乎皆空。
這時，李綱仍在懷州。眼見形勢在不斷惡化，他很焦慮，可又無能為力。因為他無法有效行使宣撫使指揮權，無法掌控全局，他所能做的就是上奏朝廷，將自己的建議反映上去。他一方面指出節制不專之弊，另一方面，他也看出了軍事部署上的缺陷。分路進兵，因各路之間缺乏協同，實際上變成了孤軍深入，很容易被金人集中兵力各個擊破。李綱建議立即調整軍事部署，將兵馬集中起來，從一個方向展開進攻。恰好這時候范世雄率領著湖南兵到達懷州，李綱推薦范世雄擔任宣撫判官。李綱表示，若朝廷采納其建議，等到大軍集結完畢，他愿親自領軍開赴前線，與金人決一死戰。
然而，前方戰事很激烈，后方朝廷高層斗爭更激烈，朝廷政局忽然發生大變。八月三日，太宰徐處仁和少宰吳敏兩位宰相，被宋欽宗一并罷免。唐恪升為少宰、何栗任中書侍郎、陳過庭任尚書右丞、聶山同知樞密院事。李綱的好友許翰，被免去同知樞密院職務。
政局的突然巨變，讓李綱大吃一驚。特別是將唐恪晉升為少宰，更讓李綱不可思議。李綱領兵離開京城時曾特意對宋欽宗說過，唐恪是小人，不可重用。當時宋欽宗滿口答應，可現在為什么又變卦了呢？李綱很不理解，很失望，心情忽然消沉起來。
徐處仁在擔任太宰之前，曾在北京大名府擔任留守，社會聲望較高。太學生與京城百姓都認為他比較老成，性格剛廉，又富有政治經驗，若讓他出任宰相輔佐年輕皇上，肯定能有所作為。臣僚們對他也抱有很大的期望。然而，等他擔任太宰進入決策中心之后，他并沒貢獻出什么嘉謀良策，人們對他很失望。
徐處仁從三月初擔任太宰，到八月初正好五個月。這五個月，正是宋朝多事之時，也是宋朝扭轉危局的關鍵時期。各地符檄如雪片般飛來，急需朝廷做出英明決斷。可是，諸多復雜的政治軍事外交等問題，弄得徐處仁有些暈。他雖然有從政經驗，但他缺乏處理國家危難所需要的政治遠見與睿智。對一系列問題的處置，要么不及時，要么出現重大失誤。比如，為防金人秋天再次入侵，種師道建議集中諸道兵力屯駐在河陽一帶，守住黃河防線。但徐處仁不予采納，他認為金人既然已撤，豈能復來？不宜先自擾以示弱。其政治眼光之短淺，政治洞察力之暗弱，由此可見一斑。
徐處仁出任宰相，是吳敏向宋欽宗推薦的。吳敏覺得自己年輕，資歷較淺，擔心不能控制朝廷局面，于是廣招賢能，大造聲勢。徐處仁初到朝廷時，與吳敏、李綱政見比較一致，合作還算順利，但后來他和吳敏之間出現嚴重分歧。吳敏年輕氣盛，風流倜儻，喜歡攬權，但處理政事經驗很不足，當辦事人員將各種軍政文牒呈報給他請他做出批示時，他竟茫茫然不知如何裁處，只是說：“依舊例可也。”
徐處仁與吳敏之間的關系越來越糟糕，每次開會議事，二人都互相詆訾，互相拆臺。吳敏曾向吏部推薦了幾名官員，其中有自己的親戚。徐處仁審查名單時，毫不客氣地將吳敏親戚的名字一筆勾掉。
這天，散朝后，吳敏氣沖沖地來到東府即都堂，找徐處仁商量名單之事。吳敏剛坐下，二人交談了沒幾句，就激烈爭論起來。當時，徐處仁正拿著毛筆起草文件。一怒之下，他將毛筆猛地朝吳敏扔了過去，正中吳敏面額，唇鼻皆黑。
這件事很快傳遍朝廷內外，影響很壞。
唐恪、耿南仲、聶山早就想將徐處仁和吳敏趕下臺，由他們取而代之。這時候，他們抓住這件事不放，趁機指使御史中丞李回上奏彈劾徐處仁與吳敏。李回上奏道：
“太宰徐處仁，當初因蔡京推薦而得到重用。自金人退師，陛下以其有治理地方的才能，提拔為太宰。然而，其器局凡陋，不識大體，智識滯暗，不通時變，完全不能領導百官。少宰吳敏，其實是蔡京死黨。其在相位，悉效蔡京，意在專權固寵。徐處仁與吳敏不和，致使天下之事日漸壞缺。現今，金人猖獗，重兵壓境，河東之役師老糧匱，天下之憂日甚一日。徐處仁與吳敏，誤國負恩，罪在不赦。伏望陛下亟罷二奸，別圖任用。”