不用人類(lèi)手寫(xiě)訓(xùn)練框架了！AI自己寫(xiě)代碼，訓(xùn)出1B端側(cè)「小鋼炮」

機(jī)器之心編輯部

你的電腦里，或許很快會(huì)住進(jìn)一只會(huì)聊天的「小怪獸」。

它不需要龐大的云端算力，也不必每一次對(duì)話都把請(qǐng)求發(fā)往遠(yuǎn)處的數(shù)據(jù)中心。它可以安靜地待在本地設(shè)備里，隨時(shí)被喚醒，陪你聊天、回答問(wèn)題、處理簡(jiǎn)單任務(wù)，甚至在沒(méi)有網(wǎng)絡(luò)的時(shí)候繼續(xù)運(yùn)行。

這聽(tīng)起來(lái)像是一個(gè)輕量、有趣的 AI「桌寵」場(chǎng)景，但背后其實(shí)對(duì)應(yīng)著大模型行業(yè)正在發(fā)生的一次路線分化。

過(guò)去很長(zhǎng)一段時(shí)間，大模型給人的印象都是龐然大物：數(shù)百億甚至上千億參數(shù)起步，推理依賴云端數(shù)據(jù)中心，背后是高昂的算力、電力和調(diào)用成本。模型越大，能力越強(qiáng)，幾乎成了行業(yè)默認(rèn)的進(jìn)步方向。

但端側(cè)模型不能簡(jiǎn)單復(fù)制這條路。

它要進(jìn)入個(gè)人電腦、手機(jī)、車(chē)機(jī)和邊緣設(shè)備，就必須足夠高效、足夠快，也必須足夠省資源；并且，端側(cè)模型要真正留在用戶身邊，還需要低延遲、低成本，最好還能本地運(yùn)行、斷網(wǎng)可用。

這也是面壁一直押注的方向：用極致高效模型，盡可能換取極強(qiáng)的能力。

5 月 25 日，面壁開(kāi)源最新一代端側(cè)文本基座大模型 MiniCPM5-1B。這是一款面向開(kāi)發(fā)者和終端設(shè)備的 1B 級(jí)「小鋼炮」模型，主打低成本部署、高效運(yùn)行和端側(cè)友好

相比動(dòng)輒幾十億、幾百億參數(shù)的主流模型，面壁發(fā)布的 1B 規(guī)模已經(jīng)小到一個(gè)近乎反直覺(jué)的程度。但在終端設(shè)備上，這個(gè)模型已經(jīng)具備本地部署的基礎(chǔ)條件，可以支撐一類(lèi)輕量、本地化的 AI 應(yīng)用，如回答問(wèn)題，輔助工作，陪你聊天，甚至驅(qū)動(dòng)一只桌面上隨時(shí)待命的數(shù)字「桌寵」。

基于面壁 MiniCPM 系列端側(cè)模型開(kāi)發(fā)的 AI 桌寵交互演示。項(xiàng)目地址：https://github.com/OpenBMB/MiniCPM-Desk-Pet（本項(xiàng)目基于 clawd-on-desk 項(xiàng)目二次開(kāi)發(fā)）

面壁想讓 MiniCPM5-1B 成為「每個(gè)人都養(yǎng)得起的 AI」。

更特別的是，MiniCPM5-1B 背后還「站著」ForgeTrain，全球首個(gè)完全由 AI 編寫(xiě)的生產(chǎn)級(jí)大模型訓(xùn)練框架，訓(xùn)練效果與英偉達(dá) Megatron 對(duì)齊，訓(xùn)練速度比后者快 10%，相當(dāng)于同等算力下成本降低 10%。

也就是說(shuō)，面壁這次不只是開(kāi)源了一個(gè) 1B 小尺寸模型，更是一條完整的路線：用 AI 編寫(xiě)預(yù)訓(xùn)練框架，再由這個(gè)框架參與端側(cè)基座模型的預(yù)訓(xùn)練，已經(jīng)跑通了。

榜單上的小鋼炮：僅憑 1B 參數(shù)，超越不止一檔

端側(cè)模型的難點(diǎn)在于，模型越小，能力損失往往越明顯。

在云端，大模型可以通過(guò)更大的參數(shù)規(guī)模、更高的訓(xùn)練成本、更復(fù)雜的推理機(jī)制來(lái)?yè)Q取能力。

但端側(cè)模型不能簡(jiǎn)單走這條路，它需要在有限參數(shù)、有限算力、有限內(nèi)存中，盡可能榨出更高的智能密度。還要盡可能減少延遲，在網(wǎng)絡(luò)不穩(wěn)定甚至斷網(wǎng)的情況下保持可用。

這也是 MiniCPM5-1B 最值得關(guān)注的地方。它不是單純把參數(shù)規(guī)模壓到 1B，而是在壓縮模型體量的同時(shí)，盡可能保住了端側(cè)模型最需要的通用能力。

在公開(kāi)榜單中，MiniCPM5-1B 在同尺寸模型中打出了很強(qiáng)的競(jìng)爭(zhēng)力：綜合知識(shí)、數(shù)學(xué)推理、代碼編程、工具調(diào)用等核心能力維度，均超越了同規(guī)模的主要競(jìng)爭(zhēng)對(duì)手，包括 Qwen3.5-0.8B/think 和 LFM2.5-1.2B-Thinking 等。

在權(quán)威模型評(píng)測(cè)榜單 Artificial Analysis Intelligence Index（AA-Index）上，MiniCPM5-1B 再次刷新模型的智能密度上限：僅以 1B 參數(shù)規(guī)模取得17.9 分位列「小尺寸模型」榜單第一，超越了所有 2B 參數(shù)以下模型，相比 3 個(gè)月前發(fā)布的 Qwen3.5-2B（16.3 分），MiniCPM5-1B 不僅效果更優(yōu)，參數(shù)量還減少了一半。

這一結(jié)果進(jìn)一步驗(yàn)證了面壁持續(xù)觀察到的密度定律大模型的智能密度正在以約每 3.5 個(gè)月翻一番的速度持續(xù)提升。更小的模型，正在承載更高的智能密度

由此可見(jiàn)，MiniCPM5-1B 的應(yīng)用邊界被進(jìn)一步打開(kāi)。過(guò)去，這類(lèi)小模型更多被用于簡(jiǎn)單對(duì)話、基礎(chǔ)問(wèn)答和輕量任務(wù)；但 MiniCPM5-1B 的表現(xiàn)說(shuō)明，在有限參數(shù)和有限算力條件下，小尺寸模型也可以承載更復(fù)雜的推理、代碼和工具調(diào)用能力。

低門(mén)檻部署，才是端側(cè) AI 的入口

對(duì)于開(kāi)發(fā)者來(lái)說(shuō)，MiniCPM5-1B 最實(shí)在的價(jià)值在于：它真的很好部署。

這件事聽(tīng)起來(lái)簡(jiǎn)單，但在端側(cè)大模型里并不容易。很多模型在論文和榜單上表現(xiàn)不錯(cuò)，一到真實(shí)設(shè)備上就會(huì)遇到各種問(wèn)題：模型權(quán)重太大，普通電腦內(nèi)存根本吃不消；顯存要求太高，消費(fèi)級(jí)設(shè)備跑不動(dòng)；量化后能力掉點(diǎn)明顯；推理框架適配麻煩；環(huán)境配置復(fù)雜；換一臺(tái)設(shè)備，又要重新踩一遍坑。

結(jié)果就是，模型雖然開(kāi)源了，但真正能把它順利跑起來(lái)的開(kāi)發(fā)者并不多。對(duì)普通用戶而言，更不用說(shuō)把它放進(jìn)本地應(yīng)用里長(zhǎng)期使用了。

這正是端側(cè)模型面臨的困境：它不只是要「開(kāi)源可下載」，還要「本地能部署」。MiniCPM5-1B 很好的解決了這些問(wèn)題。

從精度選擇上看，FP16 精度權(quán)重約 2GB，適合 GPU 和高端筆記本以及服務(wù)器；INT8 量化后約 1GB，幾乎無(wú)性能損失，覆蓋主流筆電和邊緣計(jì)算盒子；INT4 / Q4 量化后僅 0.5GB，手機(jī)、平板、車(chē)機(jī)都能跑。也就是說(shuō)，一張半張 SD 卡的空間，就能裝進(jìn)一個(gè)達(dá)到同級(jí)全球最優(yōu)水平的語(yǔ)言模型。

更進(jìn)一步，MiniCPM5-1B 還支持純 CPU 環(huán)境運(yùn)行，也可以在瀏覽器中部署。這表明它不再只屬于服務(wù)器和高端顯卡，更是有機(jī)會(huì)進(jìn)入普通設(shè)備，成為一個(gè)真正本地化的語(yǔ)言模型。

這帶來(lái)的變化很直接：許多輕量 AI 應(yīng)用不必再完全依賴云端 API，也不必每一次交互都把請(qǐng)求發(fā)往數(shù)據(jù)中心。只要設(shè)備性能滿足要求，模型就可以在本地完成推理，在弱網(wǎng)甚至離線環(huán)境下繼續(xù)運(yùn)行。

這也是端側(cè)模型真正走向應(yīng)用的前提：不是讓用戶知道模型已經(jīng)開(kāi)源，而是讓開(kāi)發(fā)者真的能把它裝進(jìn)設(shè)備、接入應(yīng)用，并在真實(shí)場(chǎng)景里跑起來(lái)。

從本地助手到 AI 桌寵：小模型真正進(jìn)入應(yīng)用

一個(gè)端側(cè)模型好不好用，還取決于能不能方便微調(diào)、推理、部署和集成。

MiniCPM5-1B 在微調(diào)側(cè)支持 LlamaFactory、ms-swift，開(kāi)發(fā)者如果想基于私有數(shù)據(jù)做領(lǐng)域適配，可以直接接入已有工具鏈，而不必從頭搭建訓(xùn)練流程。

推理側(cè)，支持 SGLang、vLLM、llama.cpp、Ollama、Hugging Face、ArcLight 等工具和框架，如此一來(lái)開(kāi)發(fā)者不需要從零搭建一整套模型使用鏈路，而可以在已有生態(tài)中快速上手。

更進(jìn)一步，面壁還提供了安裝部署相關(guān)的 skills。用戶可以直接調(diào)用自己的龍蝦，或者使用 Claude Code 等代碼智能體，按照 skills 自動(dòng)完成安裝和部署。這進(jìn)一步降低了從「下載模型」到「本地跑起來(lái)」之間的操作門(mén)檻。

Skills 鏈接：https://github.com/OpenBMB/MiniCPM/tree/minicpm5#agent-skills--one-click-deploy--finetune

上述這些能力對(duì)端側(cè)模型來(lái)說(shuō)非常重要。

因?yàn)槎藗?cè)應(yīng)用的場(chǎng)景非常碎片化，大家需求各不相同，比如離線客服、桌面寵物、車(chē)機(jī)交互等，這些場(chǎng)景有一個(gè)共同點(diǎn)，它們不一定需要最大的模型，但需要一個(gè)足夠輕、便宜、容易部署、還足夠穩(wěn)定的模型。

MiniCPM5-1B 正好適配這些場(chǎng)景，它讓開(kāi)發(fā)者有機(jī)會(huì)把一個(gè)具備真實(shí)語(yǔ)言能力的模型，放進(jìn)日常的終端入口里。

前面提到的 AI 桌寵就是一個(gè)很好的例子。

首先，桌寵需要長(zhǎng)期常駐。它不能像一個(gè)臨時(shí)打開(kāi)的網(wǎng)頁(yè)應(yīng)用，用完即走，而是要像一個(gè)輕量系統(tǒng)組件一樣停留在用戶桌面上。這就要求模型足夠小，不能長(zhǎng)期占用太多內(nèi)存和算力。

其次，桌寵需要即時(shí)響應(yīng)。用戶問(wèn)它一個(gè)問(wèn)題，或者讓它提醒一個(gè)事項(xiàng)，它都要快速給出反饋。如果每次都依賴云端調(diào)用，不僅延遲更高，成本也會(huì)隨著使用頻率迅速增加。

這正是 MiniCPM5-1B 這類(lèi)端側(cè)模型的優(yōu)勢(shì)所在。它小到可以被放進(jìn)普通終端，支持本地運(yùn)行，可以減少對(duì)云端 API 的依賴；還保留了對(duì)話、理解、推理和工具調(diào)用等基礎(chǔ)能力，足以支撐一類(lèi)輕量但高頻的本地 AI 應(yīng)用。

MiniCPM5-1B 不僅能聊天，更擁有深入系統(tǒng)底層的端側(cè) Agent 自主執(zhí)行能力。

當(dāng)模型足夠小，開(kāi)發(fā)者才有空間把它放進(jìn)更多設(shè)備；從而圍繞它做二次開(kāi)發(fā)。這是大模型走向「?jìng)€(gè)人 AI」時(shí)代的一個(gè)微小但堅(jiān)實(shí)的腳印。

模型尺寸變小以后，數(shù)據(jù)質(zhì)量變得更重要

性能躍升的背后，是數(shù)據(jù)質(zhì)量的底層支撐。

這次，面壁同步開(kāi)放了數(shù)據(jù)治理相關(guān)成果，包括開(kāi)源高質(zhì)量預(yù)訓(xùn)練數(shù)據(jù)集 UltraData（含最新版本Ultra?FineWeb?L3）。

現(xiàn)階段，大模型訓(xùn)練中有一個(gè)逐漸被行業(yè)接受的判斷：?jiǎn)渭償U(kuò)大數(shù)據(jù)規(guī)模的邊際收益在下降，模型能力的提升越來(lái)越依賴數(shù)據(jù)質(zhì)量而不是數(shù)據(jù)數(shù)量。

這對(duì)小尺寸模型尤其重要。

大模型參數(shù)多，多少還能吸收一部分?jǐn)?shù)據(jù)噪聲；但對(duì) 1B 級(jí)模型來(lái)說(shuō)，什么數(shù)據(jù)進(jìn)入訓(xùn)練集、數(shù)據(jù)如何配比、低質(zhì)量數(shù)據(jù)如何剔除等等，都會(huì)直接影響最終能力。

面壁建立了一套從 L0 到 L4 的分級(jí)數(shù)據(jù)治理體系，對(duì)高知識(shí)密度的中文網(wǎng)頁(yè)、英文網(wǎng)頁(yè)和數(shù)學(xué)語(yǔ)料進(jìn)行了大量數(shù)據(jù)合成工作，最終形成的開(kāi)源數(shù)據(jù)集隨模型一起發(fā)布。

來(lái)源論文：https://arxiv.org/pdf/2602.09003

基于這套開(kāi)源數(shù)據(jù)，開(kāi)發(fā)者可以直接微調(diào)或訓(xùn)練自己的小模型，而不必從頭建立數(shù)據(jù)處理管線。這是面壁在小模型路線上一貫的開(kāi)放策略，開(kāi)源不只是發(fā)布權(quán)重，而是把整個(gè)工程體系的關(guān)鍵環(huán)節(jié)都開(kāi)放出來(lái)。

ForgeTrain：AI 寫(xiě)出的訓(xùn)練框架

MiniCPM5-1B 有兩個(gè)發(fā)布版本：一個(gè)后訓(xùn)練版本；另一個(gè)是預(yù)訓(xùn)練完成的 Base Model 版本。而這個(gè) Base Model，有一個(gè)不尋常的出身，由 ForgeTrain 參與預(yù)訓(xùn)練完成。

ForgeTrain 是一個(gè)大模型訓(xùn)練框架，類(lèi)似于英偉達(dá)的 Megatron。但 ForgeTrain 有一個(gè)根本性的不同：構(gòu)成它的每一行代碼，沒(méi)有一位人類(lèi)工程師參與，都是由 AI 完成的

這和 Vibe Coding 有根本上的不同，F(xiàn)orgeTrain 使用 Harness + Agent loop 技術(shù)，一旦 Agent 開(kāi)始編寫(xiě)代碼，不需要人類(lèi)介入。此外，作為訓(xùn)練框架，它要處理分布式訓(xùn)練、并行策略、顯存管理、通信效率、算子調(diào)用、硬件適配和訓(xùn)練穩(wěn)定性。任何一個(gè)細(xì)節(jié)出錯(cuò)，都可能讓一次預(yù)訓(xùn)練消耗掉大量算力。

所以，F(xiàn)orgeTrain 真正要證明的是 AI 能不能寫(xiě)出一套能支撐真實(shí)模型訓(xùn)練的生產(chǎn)級(jí)系統(tǒng)軟件。

其結(jié)果是，在英偉達(dá) H100 GPU 上，F(xiàn)orgeTrain 的訓(xùn)練效果與 Megatron 對(duì)齊，速度領(lǐng)先 10%。換算成成本，相當(dāng)于同等計(jì)算預(yù)算下，訓(xùn)練成本有望下降約 10%。在大模型預(yù)訓(xùn)練這種高成本環(huán)節(jié)里，幾個(gè)百分點(diǎn)的效率提升，都會(huì)直接對(duì)應(yīng)算力、電力和時(shí)間成本的下降。

更重要的是，ForgeTrain 也完成了對(duì)華為昇騰系列等國(guó)產(chǎn)算力的適配。ForgeTrain 在華為昇騰上預(yù)訓(xùn)練 MiniCPM5-1B，相比昇騰大模型訓(xùn)練框架 MindSpeed 也有10%的加速。

未來(lái)國(guó)產(chǎn)芯片的軟件生態(tài)，或許不再需要完全依賴人力去一點(diǎn)點(diǎn)修補(bǔ)和追趕，而可以由 AI 快速「鍛造」出來(lái)。

由此可見(jiàn)，MiniCPM5-1B 不只是一個(gè)模型版本，它更像是一次真實(shí)壓力測(cè)試：AI 寫(xiě)出的訓(xùn)練框架，已經(jīng)開(kāi)始參與訓(xùn)練新的 AI 模型。

這也是「AI 制造 AI」在這次發(fā)布中最實(shí)在的一層含義：AI 還沒(méi)有替代完整模型研發(fā)流程，但已經(jīng)進(jìn)入了模型生產(chǎn)鏈路中的關(guān)鍵軟件環(huán)節(jié)。

業(yè)內(nèi)對(duì)這一方向已有共識(shí)。Anthropic 創(chuàng)始人 Dario Amodei 將自動(dòng)化 AI 研究定性為 AGI 時(shí)間表最強(qiáng)的加速器；OpenAI、谷歌 DeepMind、xAI 也把「AI 加速 AI 研究」寫(xiě)進(jìn)戰(zhàn)略核心；Andrej Karpathy 今年 3 月提出的 AutoResearcher，則從算法層面展示了 AI 自主優(yōu)化模型的可行性。

但在此之前，所有探索都停留在算法層面或研究原型階段。面壁的 ForgeTrain，第一次在「生產(chǎn)級(jí)訓(xùn)練框架」這一基礎(chǔ)設(shè)施粒度上完成了驗(yàn)證，是率先交卷的。

這背后，是面壁首創(chuàng)的「鍛造工程」（Forge Engineering）軟件范式在支撐，它不是維護(hù)一個(gè)通用框架，而是讓 AI 為每一款芯片、每一個(gè)模型「現(xiàn)場(chǎng)鍛造」出專(zhuān)屬的、高效的軟件。

結(jié)語(yǔ)

MiniCPM5-1B 背后，是面壁兩年多來(lái)在「極致端側(cè)大模型」這條路上的持續(xù)積累。

2024 年 2 月，第一代 MiniCPM 以 2.4B 的身軀超越了 Mistral-7B，打響了「小鋼炮」系列的第一炮。MiniCPM 3.0 將 4B 參數(shù)做出了超越 GPT-3.5 的水準(zhǔn)，量化后僅 2GB 內(nèi)存，讓「端側(cè) ChatGPT 時(shí)刻」第一次不再是噱頭。MiniCPM 4.0 則把稀疏架構(gòu)引入端側(cè)，以 22% 的訓(xùn)練開(kāi)銷(xiāo)追平 Qwen3-8B，并實(shí)現(xiàn)了 600 Token/s 的極速推理。

而 MiniCPM5-1B 的特殊之處在于兩點(diǎn)：能力更強(qiáng)，用 1B 體量實(shí)現(xiàn)對(duì)同級(jí)甚至更高級(jí)模型的性能超越；出身不同，其基座模型版本，由 AI 自己編寫(xiě)的訓(xùn)練框架 ForgeTrain 鍛造而成。

面壁選擇的這條路線，從來(lái)不是單純把模型做小。而是在小參數(shù)、低內(nèi)存、低算力的約束下，依然保住足夠高的智能密度。

MiniCPM5-1B 要回答的，正是這個(gè)問(wèn)題：當(dāng)一個(gè)模型足夠輕、足夠便宜、足夠容易部署時(shí)，它還能不能足夠聰明？

這一次，面壁給出的答案不只來(lái)自模型本身。ForgeTrain 參與 Base Model 預(yù)訓(xùn)練，表明 MiniCPM5-1B 是「AI 制造 AI」路線的一次模型級(jí)驗(yàn)證；UltraData 則指向另一條暗線，小規(guī)模模型要做強(qiáng)，不能只靠堆數(shù)據(jù)規(guī)模，更要依賴高質(zhì)量的數(shù)據(jù)治理。

MiniCPM5-1B 的發(fā)布，不只是「小鋼炮」系列的又一次升級(jí)。它更像是面壁把端側(cè)模型背后的生產(chǎn)方式也一起推到了臺(tái)前：模型能力、訓(xùn)練框架、數(shù)據(jù)治理、部署生態(tài)，共同決定了一個(gè) 1B 模型能走多遠(yuǎn)。

如果說(shuō)云端大模型的主戰(zhàn)場(chǎng)是能力上限，那么端側(cè)模型的主戰(zhàn)場(chǎng)就是智能密度。MiniCPM5-1B 的意義正在于此：一個(gè)足夠小的模型，也可以在合適的工程體系支撐下，進(jìn)入個(gè)人電腦、手機(jī)、車(chē)機(jī)和邊緣設(shè)備，成為開(kāi)發(fā)者真正能部署、用戶真正能感知的本地智能。

現(xiàn)在，MiniCPM5-1B 已經(jīng)開(kāi)源，部署指南與微調(diào)文檔同步上線。

下一只住進(jìn)你電腦里的 AI「桌寵」，或許就從這個(gè) MiniCPM5-1B 模型開(kāi)始。

最后，附上一些鏈接供大家參考：

• Hugging Face 鏈接：https://huggingface.openbmb.com/model/openbmb/MiniCPM5-1B
• GitHub 鏈接：https://github.com/OpenBMB/MiniCPM
• ModelScope 鏈接：https://modelscope.cn/models/OpenBMB/MiniCPM5-1B
• GitCode：https://ai.gitcode.com/OpenBMB/MiniCPM5-1B
• 魔樂(lè)社區(qū)：https://modelers.cn/models/OpenBMB/MiniCPM5-1B
• ForgeTrain開(kāi)源鏈接：https://github.com/OpenBMB/ForgeTrain

文中視頻鏈接：https://mp.weixin.qq.com/s/2tdHV01FL_YGUmZQ12DS2A