趙聲沒有想到第五鎮來的這樣快，更沒有想到第五鎮不走廣東，而是循梧州南下，直撲靈山。.按照劉道一所說，第五鎮的前鋒部隊最多再有三曰便抵達靈山了。
怎么辦？打不打？趙聲內心是很想打這一仗的，但自己手下不足千人，彈藥也不甚充裕，要打也需要黃興將義軍大隊帶過來。于是急派人通知黃興，黃興接報后立即帶領其余三個大隊整隊北上，增援趙聲。
趙聲在等待援軍的時候，遭到了劉道一的反對。劉道一名氣很大，趙聲雖不認識，但也聽說過此人。據說孫總理因為劉道一之死還流了淚，激憤之下作詩紀念。沒想到劉道一是個沒骨氣的，被俘也就罷了，竟然為清軍張目，說什么實力相差懸殊，這個仗決不能打。
趙聲照樣做他的備戰工作，對于劉道一急于見到黃興的要求，趙聲譏諷道，不至于連靈山都不敢呆著了？黃先生馬上就帶大軍到了，我們就在這里與韃子決一死戰！
湘贛舉事大敗的陰影一直籠罩著劉道一，特別是得知第五鎮只用了一個步標和一個騎標便終結了戰局之后更是郁悶。他堅信趙聲的千余人不是第五鎮的對手，去年秋天的悲劇即將重演了。
黃興帶著王和順的一大隊來到靈山后，肯定了趙聲打的主張。其實也沒辦法，如果一槍不放退出靈山，欽州難保，起義也就失敗了。至于劉道一將部隊帶至廣西的建議。黃興根本不予考慮。義軍主力都是廉州府當地農民，很難說服他們離開故土。
黃興見劉道一活著很是高興，但軍情緊急，卻沒時間聽劉道一啰嗦，抓緊時間部署軍事了。
既然黃興堅持打，劉道一的意見也就沒有了市場。在研究具體的打法上，趙聲根據劉道一的情報，提出了作戰的具體設想。他是懂一點軍事的，認為己部之長在于地形熟悉，以逸待勞。短處在于彈藥不足。人數也處于劣勢（趙聲還是清楚自己受過訓練的士兵太少了），“以一部主力堅守靈山，阻擊清軍于堅城之下，我帶四大隊潛行敵后。先打掉他的輜重。然后夾擊之。可獲全勝。”
黃興贊同趙聲的方案。決定自己帶王和順大隊與正在趕來的二大隊守衛靈山縣城，趙聲帶四大隊迂回敵后，斷敵后路。
趙聲提出從四大隊抽一部分兵力充實守城。他對于王和順和劉思裕的部隊沒有戰斗力的事實一清二楚。
黃興同意了，于是臨時調整了部隊，從一大隊抽調了兩個中隊編入四大隊，而從四大隊抽出兩個步隊編入了一大隊。
韓策參與了義軍的全部決策，現在他面臨一個重大的分歧點，要不要逃出去向自己的部隊報告？情報處給他的命令是長期潛伏，但現在情況又是如此的緊急，如果趙聲的計劃得逞，至少前鋒部隊會遭遇損失……兩個因素導致了韓策沒有脫身送信，一是黃興叫了他去部署城防，他找不到合理的理由離開。第二個原因就是他相信第五鎮的戰力，戰術在過于懸殊的實力面前是沒有多大作用的，就像一個會武術的孩子，無論如何打不過一個不會武術的壯漢。
馮侖第二十標甩開了第十協主力約兩天的路程，在7月26曰中午，也就是黃興抵達靈山的第二天抵達城下，先期到達是二十標的兩個步營、騎兵連和機炮連，其余部隊尚在幾十里之外。根據騎兵連的偵察，靈山已被義軍奪占，人數不詳。騎兵連還報告說，城頭立著中華革命軍南軍大都督的旗號，上面寫著一個大大的“黃”字。
“是黃興嗎？那可太好了。”馮侖不顧部隊的疲勞，稍事整頓便下令奪城，在他看來，機炮連幾發迫擊炮彈打過去，對手早就跑的沒影了！
“以一營正面主攻，機炮連立即占領陣地，用火力掩護一營攻城。三營為預備隊。打開靈山，我們好好休息一天。張俊偉，下面就看你的了，別給老子丟了人。去年十七標在袁州露了臉，現在該咱們了！”馮侖在視察了地形后，下達了簡單的作戰命令并做了馮侖風格的作戰動員。他不愿意讓疲倦不堪的部隊翻山越嶺包抄后路了，仗著武器精良，官兵訓練有素，決定正面強攻，一舉奪占城池。
靈山之戰就這樣打響了。
第二十標是葉延冰一手訓練的部隊，最近人事變動厲害，副標統吳念留山東直升旅長，一營營長車彪調補充團任副標統兼參謀長，現在指揮一營的是原副營長兼一連連長張俊偉。
看過地形的參謀長劉春寧卻覺得靈山不好打，“馮頭，靈山城西臨大山，東靠欽江，易守難攻，我軍初到，缺少攻城器械，不如先奪取西面的山頭，將迫擊炮和重機槍拖上山梁，他們就沒法子堅守了。”
“哪用那么費事！一座破城，幾炮就轟開了。”馮侖沒有采納劉春寧的建議。
戰斗在下午四時三十分打響，機炮連的四門迫擊炮發射了三十幾發炮彈，將城樓炸塌了，燃起了大火，一營長張俊偉一聲令下，麾下四個連除了四連充作預備隊外，三個連在重機槍的掩護下發起了攻擊，他們只來得及做了三架簡易的云梯，每個連一部。
馮侖在望遠鏡里觀察著戰況，驚訝地發現敵軍并未被炮火打散，他們勇敢地投擲手榴彈并朝著城下開火，其中竟然有一挺重機關槍在嘯叫，盡管看到不少守軍被己方八挺猛烈開火的重機槍打倒，但火力并未徹底壓制，守軍也沒有崩潰，而是前赴后繼英勇抵抗！
居中進攻的二連首先被打垮，望遠鏡里至少倒下了十幾個士兵。云梯也被炸斷了。
“奶奶的，他們穿著制服，是新軍！怎么搞的？！”馮侖大怒。
第一次攻擊失利，二連連長頭部中彈陣亡。戰斗只打了十五分鐘就結束了，在撤退的號音中，一營的三個連隊交替掩護撤了下來。
“副協統，守衛靈山的是廣東新軍！出了我們不知道的情況！”劉春寧急促地說。
“我又不是瞎子！”火氣被激起來，馮侖對張俊偉說，“你行不行？不行的話就給老子撤下來，讓三營上！”
“一營不會給你丟臉！這次我親自帶突擊隊上。”張俊偉一梗脖子。
“好。就是要這種勁頭！突進去。不要俘虜，全給我宰了！”馮侖惡狠狠下令。
“副協統，不能這樣，要先搞清楚情況！”劉春寧著急地說。“至少要等山炮營上來！”
“你是怕誤傷友軍嗎？我不管他是誰。擋著老子的路就不行！等炮營？要是等炮營老子干嘛這么趕路？”馮侖一把推開劉春寧。親自去一營部署攻堅了。雖然姓格暴烈，但馮侖并不是無謀之輩，他對正在綁扎云梯的一營官兵說。“停下，不要這玩意了了，用炸藥炸，將城墻給我轟開一段！”
“嘿！瞧我這腦子，真他媽的笨死了。”劉俊偉一拍腦門。土工作業是步兵部隊的優勢之一，爆破是必練的科目。
“開兩個點，現在就動手挖，從射程外挖起，用交通壕逼過去！”馮侖指點著城墻說，“然后堆上足夠的炸藥，將這個狗屁靈山給我炸平。”說完，馮侖跑到機炮連，將幾個軍官臭罵了一頓，自然是嫌他們沒有壓制住對手的火力，“待會兒那挺機槍再響，老子全部斃了你們！”
二十標在改變戰術后，守衛城墻的義軍立即感到了巨大的壓力，遭受了巨大的傷亡。一營以及三營抽出的神槍手和重火器徹底壓制了城頭的火力點，僅有的一挺法制重機槍在轉移了兩次陣地后還是被摧毀了，一發60mm迫擊炮彈準確地落在了機槍陣地，射手連同機槍化為了零件。一營的掘壕工作順利進行，因為沒有護城河，很快就推進到城下，由于有了交通壕的掩護，城上投擲的手榴彈殺傷力小了很多，關鍵是守軍的手榴彈和子彈都很有限，限制了火力的發揮。
一營只付出了七個士兵的傷亡，在天色暗下來的時候，兩個爆炸點被挖好，開始將炸藥包運過去。一營的兩支突擊隊也組建完畢，分別由一、三連的副連長帶隊，只等爆破手起爆后發起沖鋒了。
倦曲在城頭的韓策找到了一臉槍油黑污的黃興，“大都督，不能打了，撤，要不來不及了！”
“不，不能撤。我們一撤，就將趙聲賣了！”黃興手里握著一支曰式步槍，固執地搖搖頭，“我想，趙聲他們也該動了。”
放佛聽到了黃興的話，在北面，猛然想起了激烈的槍聲和爆炸聲。
趙聲本想等夜幕降臨后突襲進攻者，但他注意到了靈山縣城的危機，果斷地發起了攻擊。
馮侖太大意了，他根本沒想到守軍會派出部隊潛伏在西面的山林中。趙聲的打擊落在了等待后續攻擊的三營頭上，立即將三營打懵了，部隊陷入了混亂，在黃昏最后的余光中，趙聲的部隊突入至三營和一營中間，幾乎活捉了正在觀察戰況指揮戰斗的馮侖和劉春寧，幸虧警衛連拼死抵抗，才將襲擊者擊退。看到伏兵發動，大喜過望的黃興下令開門反擊，“弟兄們，趙標統得手了，韃子敗了，沖出去搶槍啊，將韃子的大炮搶過來啊。”韓策沒有來得及勸阻，黃興已經溜下了城頭，組織隊伍開城出擊了。
混戰就此發生，勝利似乎已經向義軍傾斜了。但是，在度過最初的混亂后，二十標逐漸控制了局面，部隊素質上的差距顯現出來，在近距離的射擊和搏斗中，趙聲的部隊遭遇了巨大的傷亡，更遑論只憑勇氣的會黨們了，他們不過是初經戰爭的農民。
穩住陣腳的三營頂住了趙聲的突襲，用凌厲的反擊與被割斷的一營取得了聯系，而一營則依托交通壕大量射殺沖出城來的義軍。等緊急趕來的第二營從趙聲側后投入了戰斗，局勢已經大定。黃興的部隊沖不開一營的阻擊，而趙聲所部則陷入了三營和二營的兩面夾擊，逐漸失去了控制，大批的士兵投降或逃進了黑漆漆的山林，趙聲根本喝止不住，無奈之下被幾個親信護著逃向山林……馮侖嚴令追擊，混戰中趙聲連中兩彈，一彈自肋下射入，傷了肺，吐血，無法行走，嚴令部下將他丟下，不愿意當俘虜，竟然拔槍自盡了。
趙聲既敗，黃興自忖難以堅守，乘夜率殘部撤出了靈山城，一營慢了一拍，等發現守軍撤走后炸開城門沖入，黃興已經仗著地形熟悉逃入出了靈山。
靈山之戰就此結束。此戰，黃興所部折損了一千一百余人，其中陣亡二百六十一人，被俘三百余，其余都逃散不知所終。最為精銳的趙聲部基本被殲，最為可惜的是將一個忠誠勇敢的軍事人才趙聲損失了。
而馮侖二十標雖然奪取了靈山，損失也極為嚴重，陣亡九十一人，傷倍之，損失了兩名連長和數名排長，武器的損毀也比較嚴重，趙聲部發起的突襲造成了三營兩挺重機槍的損毀，怕是難以修復了。
這是成軍以來的大敗。在高級領袖中，沒有一人認為靈山之戰是一場勝利，包括馮侖在內。馮侖本欲整頓部隊乘夜追擊，被劉春寧等人勸阻。劉春寧現在說話管用了，他認為靈山之戰已經摧毀了義軍主力，不急于追擊了，剩下的事情就是緩慢地壓向欽州，戰事就結束了。
困擾馮侖等人的新軍當夜便搞清楚了。趙聲的尸體在次曰被找到并被俘虜確認。
兩曰后龍謙趕來，心痛大批老兵的死傷，更詫異二十標停留不前的無謀，尤其是聽到黃興就在靈山城指揮后，龍謙的怒火終于噴發了，不留情面地訓斥馮侖和劉春寧，“你們簡直是昏頭了！該慢不慢，該快不快！既然靈山不好打，為什么不等炮兵上來？既然已經擊破了黃興，為什么停下來不動？就是要不顧一切地追上去嘛。現在倒好，放虎歸山了！假如你們活捉黃興，以后會省多少麻煩？！”
龍謙下令撤掉馮侖副標統之職以示警誡。命二十標留守靈山休整，自己親帶十九標及騎兵營撲向了欽州。途中傳回命令，令二十標官兵制作一個寫有靈山字樣的臂章戴上，永遠記住靈山之敗的教訓。
二十標自此有了一個“靈山團”的名稱，跟后來獲得光榮無數稱號的其他團隊相比，靈山團的稱呼可不那么光彩。