清華姚權銘團隊提出LMNet，讓語言模型學會自己「組網」

大語言模型正在成為人工智能系統(tǒng)的核心組件。從文本生成、數(shù)學推理到代碼編寫，單個大模型已經展現(xiàn)出強大的能力。

然而，隨著任務復雜度不斷提升，一個新的問題也逐漸浮現(xiàn)：未來的智能系統(tǒng)，是否一定要依賴一個越來越大的“單體模型”？還是可以像人類社會、神經系統(tǒng)和計算網絡一樣，通過多個智能單元之間的連接、通信與協(xié)同，形成更強大的系統(tǒng)能力？

圍繞這一問題，清華大學姚權銘團隊提出了一種新的 AI 系統(tǒng)組織方式：Language Model Networks。相關論文發(fā)表于 ICML 2026，作者為 Shiguang Wu、Yaqing Wang 和 Quanming Yao。該工作進一步設計了LMNet，讓語言模型之間能夠通過稠密、可微、可訓練的方式進行通信，從而探索從“單模型智能”走向“模型網絡智能”的新路徑。

• 論文標題：Language Model Networks: Supervision-Efficient Learning through Dense Communication
• 論文鏈接：https://arxiv.org/abs/2505.12741

一、從“更大的模型”到“更會協(xié)作的系統(tǒng)”

過去幾年，大模型研究很大程度上圍繞“規(guī)模”展開：更大的參數(shù)量、更多的數(shù)據(jù)、更長的上下文、更強的訓練策略。規(guī)模擴展帶來了能力躍遷，也推動了大模型在真實場景中的廣泛應用。

但當模型開始承擔更復雜、更持續(xù)、更需要分工的任務時，單體模型也面臨新的邊界：它需要同時完成規(guī)劃、推理、檢索、驗證、調用工具和生成結果，系統(tǒng)壓力不斷集中在一個模型內部。

Language Model Networks 提供了另一種視角：預訓練語言模型不必只被看作一個獨立預測器，也可以被看作可復用的計算節(jié)點；模型之間的連接、通信和協(xié)同，也可以成為智能能力的重要來源。

換句話說，AI 的能力不只來自“模型本身有多強”，也來自“模型被如何組織起來”。

二、為什么僅靠自然語言“聊天”還不夠

在現(xiàn)有的大模型推理 test-time scaling、多模型協(xié)作和多智能體系統(tǒng)中，模型之間通常通過自然語言進行交流。例如，一個模型先生成一段文字，另一個模型再讀取這段文字并繼續(xù)推理。這種方式直觀、易用，也方便人類理解，因此非常適合快速搭建應用型系統(tǒng)。

但從機器通信的角度看，自然語言并不是最高效的媒介。

語言是離散的、符號化的，模型之間每次交流都需要經歷“內部表示到文本、文本再到內部表示”的轉換過程。這個過程可能帶來信息損失，也會打斷梯度傳播，使得整個系統(tǒng)很難直接根據(jù)最終任務目標進行端到端優(yōu)化。

對于模型與模型之間的協(xié)同而言，真正關鍵的問題不只是“怎樣寫提示詞”，而是“怎樣讓通信本身變成可以學習的對象”。

圖 1 ：離散的自然語言對于模型間通信是非必需的，且傳遞信息效率低、難以優(yōu)化；LMNet 利用稠密連續(xù)向量進行模型間通信。

三、LMNet：在語言模型之上構建“模型級神經網絡”

LMNet 的設計可以被直觀理解為：在語言模型之上，再構建一個“模型級神經網絡”。

在普通神經網絡中，神經元通過連接形成層級結構；而在 LMNet 中，預訓練語言模型被視為可復用的計算節(jié)點，模型之間的通信模塊則構成可訓練的連接邊。

具體來說，LMNet 保留系統(tǒng)最外層的自然語言輸入和輸出，但在中間模型節(jié)點之間，盡量繞開反復的文本生成與文本理解過程，讓節(jié)點直接交換連續(xù)的稠密向量。這樣一來，模型之間的溝通不再完全依賴人工設計的提示詞、角色分工或中間推理文本，而是可以在訓練過程中自動學習出來。

圖 2 ：LMNet 模型網絡結構示意圖。語言模型作為節(jié)點，通信模塊（如 attention block）作為邊，形成可端到端優(yōu)化的模型網絡。

四、讓通信從人工設計變?yōu)樽约簩W習

這項工作的關鍵意義在于，它把“通信”從外部設計的規(guī)則，推進為系統(tǒng)內部可優(yōu)化的能力。系統(tǒng)不需要人為標注每個中間節(jié)點應該說什么，也不需要提前規(guī)定每個模型必須扮演什么角色。只要最終任務有監(jiān)督信號，LMNet 就可以通過梯度優(yōu)化自動調整模型節(jié)點之間的信息流，學習“誰該向誰傳遞什么信息”。

從這個意義上看，LMNet 更像是一項關于“智能組織方式”的探索。它將大語言模型從單個預測器，推進為可連接、可組合、可協(xié)同的網絡化組件；也將 AI 系統(tǒng)設計從“如何提示一個模型”，進一步推進到“如何組織一組模型”。

這與測試時推理、多智能體協(xié)作、工作流優(yōu)化等方向存在自然聯(lián)系，但 LMNet 更進一步關注底層通信機制本身：讓通信變成可微、可訓練、可優(yōu)化的系統(tǒng)能力。

五、實驗數(shù)字：小額外成本下的能力提升

實驗結果顯示，LMNet 在通用能力提升和有限監(jiān)督適應兩個場景中均展現(xiàn)出良好效果。

在通用能力提升實驗中，研究團隊以 Qwen2.5-0.5B 作為基礎語言模型節(jié)點，構建 1/4/4/4/1 結構（共 4 層通信，14 個節(jié)點共享參數(shù)）的約 1.14B 參數(shù)的 LMNet-1B。在額外訓練 token 少于 0.1T、訓練成本不到基礎模型預訓練成本 0.2% 的情況下，LMNet 在多個通用任務上取得了明顯提升（圖 3）。

圖 3：相近參數(shù)規(guī)模 LLM 的性能比較

此外，考慮利用單個模型進行推理時 test-time scaling 的方法，以在接近的推理時間開銷的條件下進行比較，LMNet 同樣展現(xiàn)了明顯的性能優(yōu)勢（圖 4）。

圖 4：Qwen2.5-0.5B 不同的 test-time scaling 方法的性能比較

在有限監(jiān)督適應的場景中，LMNet 通過學習如何交流通信來進行適應。構造更小型的 LMNet，并凍結節(jié)點大模型參數(shù)只訓練邊模型的參數(shù)，以防止更新大量參數(shù)導致的過擬合。和其他 SFT 包括 PEFT 方法相比，LMNet 也展現(xiàn)出明顯性能優(yōu)勢（圖 5、6）。

圖 5：以不同的 LLM 為底座/節(jié)點，在 MMLU 上微調并測試的性能比較

圖 6：在 E2E 數(shù)據(jù)集上用不同的 PEFT 方法微調 GPT2-M 并測試的性能比較

這些數(shù)字并不是全文最重要的部分，但它們提供了一個清晰信號：模型之間的可學習通信，確實可能成為提升系統(tǒng)能力的一條有效路徑。LMNet 的價值不只在于某個 benchmark 的提升，更在于它證明了一個方向：通信方式本身可以被學習，模型網絡可以從最終任務監(jiān)督中自動形成更有效的信息流。

六、從單體智能走向網絡智能

這項工作提示了一種可能的未來方向：下一代 AI 系統(tǒng)未必只是一個不斷擴大的模型，而可能是由多個模型、工具、記憶和反饋模塊共同構成的可學習網絡。

在這樣的系統(tǒng)中，智能不只來自單個模塊的能力，也來自模塊之間如何連接、如何交流、如何共同適應任務。

“溝通即智能”并不是一句簡單的口號，而是對未來 AI 系統(tǒng)形態(tài)的一種判斷。當語言模型開始學會自己“組網”，人工智能將從單體模型能力的競爭，走向系統(tǒng)組織能力、通信效率和協(xié)同學習能力的競爭。

值得注意的是，這一方向與技術已經受到大模型系統(tǒng)應用的國際前沿研究的持續(xù)關注。如近期的 Google DeepMind 和 AWS Agentic AI。這些工作也從不同角度說明：模型間通信媒介、通信拓撲和可學習接口，正在成為構建下一代 AI 系統(tǒng)的重要技術方向。