全球首發(fā) | SLAI基于國(guó)產(chǎn)算力集群完成DeepSeek-V4-Pro全參數(shù)后訓(xùn)練

在小說(shuō)閱讀器讀本章

去閱讀

在小說(shuō)閱讀器中沉浸閱讀

當(dāng)今人工智能時(shí)代，基于國(guó)產(chǎn)算力的大模型高效訓(xùn)練和推理是國(guó)家發(fā)展戰(zhàn)略的大問(wèn)題。DeepSeek-V4-Pro在效率和性能方面是業(yè)界大模型的杰出代表。DeepSeek-V4-Pro已經(jīng)成功完成在國(guó)產(chǎn)算力上推理部署，但訓(xùn)練還未完全實(shí)現(xiàn)國(guó)產(chǎn)算力化。

在此背景下，深圳河套學(xué)院Al訓(xùn)練平臺(tái)項(xiàng)目團(tuán)隊(duì)，聯(lián)合哈爾濱工業(yè)大學(xué)(深圳)、深圳市大數(shù)據(jù)研究院、華為GTS(全球技術(shù)服務(wù))、計(jì)算產(chǎn)品線、2012實(shí)驗(yàn)室，協(xié)同深智城AI算力平臺(tái)，面向國(guó)產(chǎn)算力大模型訓(xùn)練開(kāi)展聯(lián)合攻關(guān)。目前，僅用1個(gè)月時(shí)間，項(xiàng)目已基于昇騰910C國(guó)產(chǎn)算力集群實(shí)現(xiàn)DeepSeek-V4-Pro全參數(shù)續(xù)訓(xùn)練/SFT穩(wěn)定運(yùn)行，完成長(zhǎng)穩(wěn)訓(xùn)練1500+步，訓(xùn)練MFU超30%，關(guān)鍵訓(xùn)練算子效率提升14%。

據(jù)公開(kāi)資料檢索，本工作是公開(kāi)可查范圍內(nèi)，業(yè)界首個(gè)由第三方機(jī)構(gòu)基于國(guó)產(chǎn)算力集群完成的DeepSeek-V4-Pro全參數(shù)后訓(xùn)練工程實(shí)踐，標(biāo)志著國(guó)產(chǎn)AI基礎(chǔ)設(shè)施正在從推理部署和輕量化微調(diào)邁向超大模型全參數(shù)后訓(xùn)練。

01

為什么萬(wàn)億級(jí)模型的“全參數(shù)后訓(xùn)練”是一塊硬骨頭？

DeepSeek-V4-Pro，一款1.6萬(wàn)億參數(shù)級(jí)MoE開(kāi)源旗艦?zāi)Ｐ停捎昧薈SA+HCA混合稀疏注意力、mHC連接等新機(jī)制。相比于上一代DeepSeek-V3/R1，它對(duì)國(guó)產(chǎn)訓(xùn)練框架提出了全方位的“極限挑戰(zhàn)”。

稀疏MoE結(jié)構(gòu)：專家路由帶來(lái)的跨節(jié)點(diǎn)通信，是傳統(tǒng)密集模型的數(shù)十倍；

混合稀疏注意力：注意力模式的動(dòng)態(tài)切換，對(duì)算子效率和顯存管理極為敏感；

萬(wàn)億參數(shù)級(jí)狀態(tài)：權(quán)重、梯度、激活、優(yōu)化器狀態(tài)——僅單副本就需數(shù)TB顯存。

02

核心進(jìn)展：千卡集群上，1500+步穩(wěn)定奔跑

經(jīng)過(guò)聯(lián)合攻關(guān)，項(xiàng)目已基于千卡級(jí)昇騰 910C 國(guó)產(chǎn)算力集群，成功實(shí)現(xiàn)DeepSeek-V4-Pro在國(guó)產(chǎn)算力集群上的全參數(shù)后訓(xùn)練穩(wěn)定運(yùn)行。

長(zhǎng)穩(wěn)SFT訓(xùn)練：完成1500+步迭代，skipped iterations = 0，NaN iterations = 0；

訓(xùn)練效率：MFU（模型算力利用率）達(dá)到約30%，關(guān)鍵訓(xùn)練算子計(jì)算效率較初始版本提升約14%；

最終表現(xiàn)：在昇騰超節(jié)點(diǎn)上，MFU穩(wěn)定在34.9%。

與此同時(shí)，DeepSeek-V4-Flash的全參數(shù)續(xù)訓(xùn)練與SFT鏈路也已同步打通。

DeepSeek-V4-Pro@昇騰超節(jié)點(diǎn)訓(xùn)練，MFU最終穩(wěn)定在34.9%

一組數(shù)據(jù)足以說(shuō)明差距：在同等參數(shù)量下，業(yè)界公開(kāi)的國(guó)產(chǎn)算力全參數(shù)后訓(xùn)練案例幾乎為零。而我們將一個(gè)1.6T MoE模型，在千卡集群上以27秒/步的穩(wěn)定節(jié)奏，連續(xù)奔跑1500余步——這不是實(shí)驗(yàn)室的“單次演示”，而是可復(fù)現(xiàn)、可工程化交付的穩(wěn)定能力。

更重要的是，該平臺(tái)已快速驗(yàn)證了垂直領(lǐng)域價(jià)值。團(tuán)隊(duì)圍繞工業(yè)級(jí)自動(dòng)化運(yùn)籌建模場(chǎng)景，在數(shù)周內(nèi)完成了從數(shù)據(jù)生產(chǎn)、樣本篩選、訓(xùn)練鏈路打通到效果評(píng)測(cè)的閉環(huán)驗(yàn)證。這意味著：國(guó)產(chǎn)算力平臺(tái)不僅能夠“訓(xùn)大模型”，更能“訓(xùn)好行業(yè)模型”——以短周期、低成本構(gòu)建面向?qū)I(yè)任務(wù)的增強(qiáng)能力。

03

三大關(guān)鍵技術(shù)突破：從“能跑”到“能訓(xùn)、訓(xùn)穩(wěn)、訓(xùn)優(yōu)”

本次攻關(guān)面向DeepSeek-V4-Pro全參數(shù)后訓(xùn)練，而非LoRA等少量參數(shù)微調(diào)。聯(lián)合團(tuán)隊(duì)在以下三個(gè)層面實(shí)現(xiàn)了系統(tǒng)性突破：

1. 分布式承載：1.6T參數(shù)的“顯存拼圖”

洞察：萬(wàn)億參數(shù)不能只靠顯存大，更要靠“放得巧”。

項(xiàng)目成功構(gòu)建了權(quán)重、梯度、激活、優(yōu)化器狀態(tài)的分布式承載方案，使得數(shù)據(jù)并行、張量并行、流水并行與專家并行四者協(xié)同工作。每一張卡上，該放什么、怎么放、如何動(dòng)態(tài)調(diào)度——這套“顯存拼圖”是穩(wěn)定訓(xùn)練的地基。

2. 稀疏與通信：讓專家不“吵架”，讓注意力不“堵車”

洞察：MoE模型訓(xùn)練最怕“專家負(fù)載失衡”和“跨節(jié)點(diǎn)通信風(fēng)暴”。

團(tuán)隊(duì)針對(duì)混合稀疏注意力、MoE路由、歸一化、矩陣計(jì)算等關(guān)鍵訓(xùn)練算子進(jìn)行了深度適配與優(yōu)化，算子效率較初始版本提升14%。同時(shí)建立了專家負(fù)載的實(shí)時(shí)監(jiān)控與均衡機(jī)制，避免部分專家過(guò)載而部分專家閑置。

3. 長(zhǎng)穩(wěn)監(jiān)控：當(dāng)訓(xùn)練跑上幾天幾夜，誰(shuí)來(lái)守夜？

洞察：全參數(shù)后訓(xùn)練最可怕的不是慢，而是“跑著跑著就崩了”。

聯(lián)合團(tuán)隊(duì)搭建了一套完整的監(jiān)控體系：Loss曲線、梯度范數(shù)、專家負(fù)載、顯存占用、異常自動(dòng)恢復(fù)……所有指標(biāo)均可視、可告警、可自愈。在1500+步的訓(xùn)練中，未出現(xiàn)一次Loss失控或NaN值——這是“長(zhǎng)穩(wěn)能力”最直接的證明。

04

實(shí)戰(zhàn)驗(yàn)證：數(shù)學(xué)建模能力在后訓(xùn)練中顯著躍升

為了檢驗(yàn)DeepSeek-V4在昇騰集群上進(jìn)行全參數(shù)后訓(xùn)練的真實(shí)價(jià)值，項(xiàng)目設(shè)計(jì)了一項(xiàng)“硬核”實(shí)驗(yàn)：增強(qiáng)大模型的數(shù)學(xué)建模能力。

團(tuán)隊(duì)搭建了一條SFT建模數(shù)據(jù)生產(chǎn)workflow，產(chǎn)出3000條高質(zhì)量數(shù)學(xué)建模任務(wù)SFT樣本，覆蓋4類目標(biāo)任務(wù)和3種問(wèn)題形態(tài)。隨后，對(duì)DeepSeek-V4進(jìn)行后訓(xùn)練。

優(yōu)化建模SFT數(shù)據(jù)飛輪流程

訓(xùn)練曲線給出了清晰的信號(hào)：

LM loss從高位快速下降，最終收斂至0.2056；

MTP-1 loss收斂至0.2538；

梯度范數(shù)平穩(wěn)下降，未出現(xiàn)震蕩或發(fā)散；

單步耗時(shí)穩(wěn)定在27秒左右。

3K SFT訓(xùn)練過(guò)程概覽

更直觀的結(jié)果來(lái)自Benchmark對(duì)比：

四項(xiàng)關(guān)鍵指標(biāo)均顯著超越原模型，其中ORGEval WL提升超過(guò)5個(gè)百分點(diǎn)。這意味著：在國(guó)產(chǎn)算力上完成的全參數(shù)后訓(xùn)練，不僅能“跑穩(wěn)”，更能“訓(xùn)強(qiáng)”——模型在復(fù)雜推理任務(wù)上的能力得到了真實(shí)增益。

05

以戰(zhàn)育才：在真實(shí)攻關(guān)中培養(yǎng)“能訓(xùn)大模型”的人

本次攻關(guān)的另一個(gè)獨(dú)特價(jià)值，在于它是一次人才培養(yǎng)模式的范式實(shí)驗(yàn)。

深圳河套學(xué)院將萬(wàn)億級(jí)模型訓(xùn)練攻關(guān)作為“練兵場(chǎng)”，把學(xué)生直接嵌入國(guó)產(chǎn)算力真實(shí)訓(xùn)練場(chǎng)景。截至目前，項(xiàng)目已培養(yǎng)學(xué)生42名，形成了由青年教師指導(dǎo)、博士生核心攻堅(jiān)、工程團(tuán)隊(duì)支撐的協(xié)同培養(yǎng)機(jī)制。

在這一過(guò)程中，同學(xué)們不只是參與項(xiàng)目進(jìn)展，更是承擔(dān)具體任務(wù)的“戰(zhàn)斗員”：有的負(fù)責(zé)訓(xùn)練數(shù)據(jù)構(gòu)造與樣本質(zhì)量分析，有的負(fù)責(zé)分布式并行策略驗(yàn)證，有的跟進(jìn)長(zhǎng)穩(wěn)監(jiān)控與異常恢復(fù)，有的撰寫(xiě)技術(shù)報(bào)告與工程文檔。

一次訓(xùn)練啟動(dòng)、一次報(bào)錯(cuò)定位、一次參數(shù)調(diào)整、一次結(jié)果復(fù)盤(pán)——在這些真實(shí)而瑣碎的工程實(shí)踐中，學(xué)生們從“會(huì)調(diào)用大模型”真正走向了“理解并參與訓(xùn)練大模型”。

能力提升體現(xiàn)在三個(gè)方面：

建立了對(duì)國(guó)產(chǎn)算力大模型訓(xùn)練全鏈路的系統(tǒng)性認(rèn)識(shí)；

掌握了從領(lǐng)域數(shù)據(jù)到模型能力增強(qiáng)的全過(guò)程實(shí)操能力；

在真實(shí)項(xiàng)目中形成了問(wèn)題拆解、實(shí)驗(yàn)設(shè)計(jì)、訓(xùn)練復(fù)盤(pán)與團(tuán)隊(duì)協(xié)作的工程素養(yǎng)。

后續(xù)，這些真實(shí)任務(wù)將沉淀為課程案例、實(shí)訓(xùn)資源和學(xué)生科研項(xiàng)目，將持續(xù)支撐深圳河套學(xué)院培養(yǎng)“懂模型、懂系統(tǒng)、能工程、敢攻關(guān)”的高水平復(fù)合型AI人才。

項(xiàng)目團(tuán)隊(duì)開(kāi)展技術(shù)復(fù)盤(pán)與學(xué)生實(shí)戰(zhàn)培養(yǎng)

06

未來(lái)展望：從“全參數(shù)后訓(xùn)練”走向“Agentic RL + 超長(zhǎng)上下文”

下一階段，深圳河套學(xué)院將繼續(xù)聯(lián)合哈爾濱工業(yè)大學(xué)（深圳）、深圳市大數(shù)據(jù)研究院、華為GTS(全球技術(shù)服務(wù))、計(jì)算產(chǎn)品線、2012實(shí)驗(yàn)室、深智城等合作伙伴，在現(xiàn)有全參數(shù)續(xù)訓(xùn)練/SFT鏈路基礎(chǔ)上，重點(diǎn)推進(jìn)三項(xiàng)任務(wù)：

1. 訓(xùn)練效率再突破

持續(xù)優(yōu)化訓(xùn)練框架與關(guān)鍵算子，進(jìn)一步提升訓(xùn)練效率（MFU），降低萬(wàn)億模型訓(xùn)練的算力成本。

2. 超長(zhǎng)上下文訓(xùn)練

支撐512K至1M超長(zhǎng)上下文訓(xùn)練，提升復(fù)雜專業(yè)任務(wù)中的長(zhǎng)文檔理解與長(zhǎng)鏈路推理能力；

3. 強(qiáng)化學(xué)習(xí)后訓(xùn)練閉環(huán)

突破DeepSeek-V4-Pro強(qiáng)化學(xué)習(xí)后訓(xùn)練技術(shù)，圍繞數(shù)學(xué)建模優(yōu)化、代碼Agent、長(zhǎng)上下文推理等任務(wù)，構(gòu)建rollout生成 → 工具執(zhí)行 → reward/verifier → 策略更新 → 評(píng)測(cè)反饋的完整Agentic RL鏈路。

同時(shí)，項(xiàng)目將堅(jiān)定推進(jìn)技術(shù)開(kāi)源與人才培養(yǎng)沉淀：

分階段開(kāi)放訓(xùn)練配置、評(píng)測(cè)腳本、合成數(shù)據(jù)、技術(shù)報(bào)告及相關(guān)模型與框架能力；

將真實(shí)訓(xùn)練任務(wù)、數(shù)據(jù)構(gòu)造方法、故障排查案例和評(píng)測(cè)流程轉(zhuǎn)化為課程案例與實(shí)訓(xùn)任務(wù)；

持續(xù)完善“國(guó)產(chǎn)算力支撐、真實(shí)任務(wù)牽引、學(xué)生團(tuán)隊(duì)實(shí)戰(zhàn)、工程能力沉淀”的培養(yǎng)路徑。

在此基礎(chǔ)上，項(xiàng)目還將依托這一訓(xùn)練場(chǎng)，開(kāi)展新一代通用人工智能的基礎(chǔ)理論、新范式和新架構(gòu)的研究——包括符號(hào)、連接與行為主義有機(jī)融合，從單一智能體到群體智能再到人機(jī)融合的建模探索。

結(jié)語(yǔ)

DeepSeek-V4-Pro在國(guó)產(chǎn)算力上的全參數(shù)后訓(xùn)練，不是一次孤立的工程突破。

它驗(yàn)證了一條道路：國(guó)產(chǎn)開(kāi)源旗艦?zāi)Ｐ?+ 國(guó)產(chǎn)AI算力 + 高水平訓(xùn)練團(tuán)隊(duì) + 國(guó)產(chǎn)廠商技術(shù)支持——這個(gè)四角閉環(huán)，是可持續(xù)的、可復(fù)制的、可信任的。

它發(fā)出了一聲宣告：國(guó)產(chǎn)AI基礎(chǔ)設(shè)施，從今天起，不再只是“能推理”，而是真正“能訓(xùn)練、能訓(xùn)穩(wěn)、能訓(xùn)優(yōu)”。

更重要的是，它點(diǎn)燃了一個(gè)希望：在下一代通用人工智能的征途上，中國(guó)的高校、科研機(jī)構(gòu)和年輕學(xué)子，可以站在自己的算力土壤上，開(kāi)展人工智能的研究，親手訓(xùn)練屬于自己的萬(wàn)億模型。

這不是終點(diǎn)，而是發(fā)令槍。

?項(xiàng)目后續(xù)將逐步開(kāi)源技術(shù)報(bào)告、訓(xùn)練配置與評(píng)測(cè)腳本，敬請(qǐng)關(guān)注深圳河套學(xué)院官方發(fā)布。