0
| 本文作者： 鄭佳美 | 2025-09-24 16:24 |
過去幾年，大模型幾乎都依賴 Transformer，它支撐了 GPT、Claude、Gemini 等一眾前沿模型的進(jìn)步，但也一直被詬病：一旦文本變長(zhǎng)，計(jì)算量和內(nèi)存消耗就會(huì)成倍膨脹，百萬級(jí) token 幾乎不可承受。與此同時(shí)，大模型訓(xùn)練幾乎完全依賴 NVIDIA 的 GPU 體系。從算力到軟件棧，整個(gè)行業(yè)被牢牢綁定在 CUDA 上，硬件自主化成了遲遲邁不過去的門檻。
正因?yàn)槿绱耍瑯I(yè)界一直在尋找“下一條路”。有人嘗試混合架構(gòu)，有人研究稀疏專家，也有人試水類腦計(jì)算。但這些探索往往停留在小規(guī)模實(shí)驗(yàn)，很少能真正跑到大模型層面。
直到最近，中科院團(tuán)隊(duì)拋出了一篇新論文，提出了一個(gè)全新系列的類腦大模型 SpikingBrain。他們通過引入 spiking 神經(jīng)元、線性注意力和稀疏專家機(jī)制，不僅在超長(zhǎng)文本處理上實(shí)現(xiàn)了 百倍加速，還首次在 國產(chǎn) GPU 平臺(tái) MetaX 上穩(wěn)定訓(xùn)練出 76B 規(guī)模的模型。
同時(shí)，SpikingBrain 的問世也證明了大模型并不是只能依賴 Transformer + NVIDIA 的組合，另一條通往未來的道路正在被打開。
論文鏈接：https://www.arxiv.org/pdf/2509.05276
在實(shí)驗(yàn)中，研究團(tuán)隊(duì)在超長(zhǎng)上下文任務(wù)上取得了突破性成果。以 SpikingBrain-7B 為例，當(dāng)輸入長(zhǎng)度達(dá)到 400 萬 token 時(shí)，其 Time-to-First-Token（首個(gè) token 生成延遲）比傳統(tǒng) Transformer 快了 100 倍。換句話說，原本需要長(zhǎng)時(shí)間等待的超長(zhǎng)文本任務(wù)，如今幾乎可以做到即時(shí)響應(yīng)。
由于脈沖神經(jīng)元只在必要時(shí)才會(huì)“放電”，模型在推理過程中保持了 69.15% 的稀疏激活率——也就是說，大多數(shù)神經(jīng)元在大部分時(shí)間處于靜默狀態(tài)，不參與計(jì)算。相比始終全量激活的 lf，這種機(jī)制顯著降低了算力消耗和能耗。
在訓(xùn)練規(guī)模上，研究團(tuán)隊(duì)共使用 1500 億 token，先后訓(xùn)練了兩個(gè)核心模型：SpikingBrain-7B 和 SpikingBrain-76B。盡管所用數(shù)據(jù)量遠(yuǎn)少于許多主流開源大模型，這兩款模型在多項(xiàng)基準(zhǔn)測(cè)試中的表現(xiàn)依然能夠接近，甚至在部分任務(wù)上追平傳統(tǒng) Transformer。雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))
更關(guān)鍵的是，這些訓(xùn)練完全在 國產(chǎn) MetaX C550 GPU 集群上完成。實(shí)驗(yàn)結(jié)果顯示，7B 模型在該平臺(tái)上達(dá)到了 23.4% 的 FLOPs 利用率，充分證明了它在非 NVIDIA 硬件環(huán)境下依舊能夠保持穩(wěn)定高效的運(yùn)行。
為了實(shí)現(xiàn)這些結(jié)果，研究團(tuán)隊(duì)在模型結(jié)構(gòu)、訓(xùn)練方法和系統(tǒng)工程三個(gè)層面都做了實(shí)驗(yàn)探索。
在架構(gòu)實(shí)驗(yàn)中，團(tuán)隊(duì)對(duì)傳統(tǒng) Transformer 做了關(guān)鍵改造。首先，他們將全連接注意力替換為 線性注意力和混合注意力，從根本上緩解了計(jì)算復(fù)雜度隨序列長(zhǎng)度平方級(jí)增長(zhǎng)的瓶頸。
與此同時(shí)，他們引入了 spiking 神經(jīng)元，讓模型像大腦一樣“按需放電”：只有在需要時(shí)才被激活，大多數(shù)時(shí)間保持靜默。這種類腦機(jī)制帶來了天然的稀疏性，大幅降低了無效計(jì)算，是 SpikingBrain 在能效上實(shí)現(xiàn)提升的關(guān)鍵所在。
而在系統(tǒng)實(shí)驗(yàn)中，最棘手的挑戰(zhàn)來自硬件環(huán)境。團(tuán)隊(duì)沒有沿用 NVIDIA 的成熟體系，而是選擇在國產(chǎn) MetaX GPU 集群上完成全部訓(xùn)練。
為了讓大模型在這一平臺(tái)穩(wěn)定運(yùn)行，他們對(duì)底層系統(tǒng)進(jìn)行了大規(guī)模優(yōu)化：重寫關(guān)鍵算子庫，改造分布式通信機(jī)制，并針對(duì)長(zhǎng)時(shí)間訓(xùn)練中常見的內(nèi)存溢出與死鎖問題設(shè)計(jì)了專門的解決方案。
憑借這些工程改造，SpikingBrain 不僅在數(shù)百張 MetaX GPU 上成功完成了 7B 模型的穩(wěn)定訓(xùn)練，還順利擴(kuò)展到 76B 參數(shù)規(guī)模，并在此基礎(chǔ)上引入 MoE 稀疏專家機(jī)制，進(jìn)一步提升了模型的性能與效率。
到了訓(xùn)練實(shí)驗(yàn)環(huán)節(jié)，為了讓新架構(gòu)真正跑通，團(tuán)隊(duì)設(shè)計(jì)了一個(gè) conversion-based pipeline，把 Transformer 成熟的訓(xùn)練經(jīng)驗(yàn)遷移到 SpikingBrain。配合事件觸發(fā)的 spike 編碼，模型中的脈沖神經(jīng)元依然可以通過反向傳播學(xué)習(xí)，避免了“不可微”帶來的訓(xùn)練障礙。通過這種遷移式實(shí)驗(yàn)設(shè)計(jì)，他們?cè)诒ＷC穩(wěn)定性的同時(shí)，也逐步擴(kuò)展了模型規(guī)模。
總體來看，SpikingBrain 的價(jià)值不只是跑通了一個(gè)新模型，而是用系統(tǒng)性的嘗試回應(yīng)了當(dāng)下大模型最核心的幾個(gè)痛點(diǎn)。它在百萬級(jí) token 的長(zhǎng)文本上實(shí)現(xiàn)了數(shù)量級(jí)的加速，說明類腦機(jī)制在大規(guī)模模型里并不是紙上談兵，而是能帶來真實(shí)收益的方向。雷峰網(wǎng)
同時(shí)，它第一次在國產(chǎn) GPU 上完成了 76B 規(guī)模訓(xùn)練，讓人看到大模型不一定要綁死在 CUDA 上，硬件路線其實(shí)有多種可能。再加上稀疏激活機(jī)制顯著降低了能耗，SpikingBrain 給“大模型能否可持續(xù)”這個(gè)老問題提供了一個(gè)新答案。
當(dāng)然，SpikingBrain 暫時(shí)還不能取代 Transformer，它更像是給行業(yè)提供了一個(gè)全新的實(shí)驗(yàn)樣本：證明大模型還有其他路徑可走。至于它能否在更復(fù)雜任務(wù)、更大規(guī)模下保持穩(wěn)定，以及類腦機(jī)制能否發(fā)展成成熟的工具鏈，還需要時(shí)間和進(jìn)一步驗(yàn)證。”
但至少現(xiàn)在，我們已經(jīng)看到，大模型的發(fā)展并不是只有一條路，新的路徑正在一點(diǎn)點(diǎn)被點(diǎn)亮。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
