對(duì)話面壁CEO李大海：端側(cè)AI模型趕上GPT-4，國(guó)產(chǎn)芯軟件要補(bǔ)課

智東西
作者 江宇
編輯 漠影

智東西6月12日?qǐng)?bào)道，剛剛，在智源大會(huì)期間，面壁智能CEO李大海與AI Infra負(fù)責(zé)人李宇軒與智東西等媒體進(jìn)行了深入交流。從端側(cè)模型進(jìn)展、國(guó)產(chǎn)算力適配、智能體落地、開(kāi)源策略到汽車、手機(jī)等終端場(chǎng)景，李大海回應(yīng)了外界關(guān)注的多個(gè)問(wèn)題，并拋出不少關(guān)鍵判斷：

1、端側(cè)模型進(jìn)展：此前預(yù)測(cè)2026年底端側(cè)模型智能水平達(dá)到GPT-4水平，如今已經(jīng)提前達(dá)到。

2、端側(cè)落地：2025年是端側(cè)模型落地元年，汽車量產(chǎn)是重要標(biāo)志，今年會(huì)有更多端側(cè)應(yīng)用落地。

3、端側(cè)角色：面壁會(huì)持續(xù)發(fā)布端側(cè)基礎(chǔ)模型，同時(shí)服務(wù)重要設(shè)備廠商，也會(huì)探索AI原生端側(cè)設(shè)備。

4、智能體：很多場(chǎng)景已經(jīng)可以落地，但外界對(duì)零介入、100%完成、100%負(fù)責(zé)的期待仍然偏高。

5、手機(jī)智能體：端側(cè)模型與智能體結(jié)合，重要方向是改變?nèi)伺c設(shè)備的交互方式。

6、國(guó)產(chǎn)算力：國(guó)產(chǎn)芯片用于訓(xùn)練還需要模型公司與芯片公司更深合作，軟件生態(tài)仍需補(bǔ)課。

7、開(kāi)源：開(kāi)源是高效商業(yè)模式，可以用更低成本觸達(dá)潛在客戶，其核心競(jìng)爭(zhēng)力仍在“冰山之下”。

8、端側(cè)AI終局：長(zhǎng)期看，模型與芯片會(huì)走向更深協(xié)同，甚至模型公司也可能生產(chǎn)自己的芯片，但這仍是較遠(yuǎn)的終局。

一、端側(cè)模型提前追上GPT-4，落地還要等芯片一起跟上

在近四十分鐘的群訪中，李大海和李宇軒回答了十余個(gè)問(wèn)題。

我們將關(guān)鍵問(wèn)題整理如下：

Q1：2024年曾預(yù)測(cè)，到2026年底端側(cè)模型智能水平可以達(dá)到GPT-4水平。現(xiàn)在看，這個(gè)目標(biāo)會(huì)提前還是延后？

李大海判斷，這個(gè)目標(biāo)已經(jīng)提前達(dá)到。

他提到，面壁近期發(fā)布MiniCPM-5 1B版本后，在Artificial Analysis榜單上拿到17.6分。社區(qū)研究者對(duì)比發(fā)現(xiàn)，2024年5月OpenAI發(fā)布的GPT-4o在該榜單上得分大約只高零點(diǎn)幾分，而GPT-4o參數(shù)規(guī)模約為200B，MiniCPM-5 1B只有1B參數(shù)。

李大海認(rèn)為，這說(shuō)明面壁仍在踐行其提出的“大模型知識(shí)密度定律”。

Q2：端側(cè)模型現(xiàn)在落地到哪些生活場(chǎng)景？為什么用戶感知還不強(qiáng)？

李大海認(rèn)為，2025年可以算作端側(cè)模型落地元年，面壁去年四季度在汽車上正式量產(chǎn)，是一個(gè)重要標(biāo)志。

他提到，目前端側(cè)模型能力增長(zhǎng)很快，但真正往下落地時(shí)，最大制約仍然是模型與芯片的結(jié)合。現(xiàn)在一批國(guó)產(chǎn)存算一體端側(cè)AI芯片公司正在流片，一旦芯片回來(lái)，能夠提供更有競(jìng)爭(zhēng)力的功耗、算力和帶寬，端側(cè)應(yīng)用會(huì)有更多爆發(fā)。

在他看來(lái)，今年會(huì)有大量端側(cè)應(yīng)用落地。以“小龍蝦”這類形態(tài)為例，合理方式不是所有推理都放在云端，而是上下文管理放在端上，一部分高頻推理也放在端上，最終形成端云協(xié)同。

Q3：面壁在端側(cè)模型領(lǐng)域的長(zhǎng)期定位是什么？

李大海說(shuō)，面壁對(duì)自己的定位是“端側(cè)模型的基礎(chǔ)設(shè)施”。

具體來(lái)看，面壁會(huì)做三層事情：第一，持續(xù)發(fā)布世界領(lǐng)先的端側(cè)基礎(chǔ)模型，賦能更多開(kāi)發(fā)者；第二，直接服務(wù)一些出貨量大的重要設(shè)備廠商；第三，在新的AI原生端側(cè)設(shè)備上探索自己的硬件產(chǎn)品。

二、智能體已經(jīng)能落地，但“零介入”還需要時(shí)間

Q4：面壁怎么看智能體當(dāng)前的局限？最大問(wèn)題是成本、穩(wěn)定性、記憶，還是權(quán)限？

李大海認(rèn)為，智能體正在快速進(jìn)化。若要說(shuō)問(wèn)題，“哪哪都是問(wèn)題”，但從技術(shù)發(fā)展角度看，模型與智能體的結(jié)合正在以很快速度推進(jìn)。

他提到，面壁早在2024年就已經(jīng)用智能體技術(shù)，在人工智能輔助審判方向協(xié)助法官落地。

不過(guò)，李大海也提到，外界對(duì)智能體的期待可能偏高，比如希望它零介入、100%做好，并且還能100%負(fù)責(zé)。他認(rèn)為，技術(shù)打磨需要時(shí)間，這是自然規(guī)律。

Q5：怎么看豆包手機(jī)這類把智能體放到手機(jī)上的嘗試？

李大海認(rèn)為，這是非常自然的方向。

他解釋說(shuō)，端側(cè)模型的重要方向之一，就是改變?nèi)伺c設(shè)備的交互方式。端側(cè)模型更隱私友好，實(shí)時(shí)性和可靠性也更強(qiáng)，因此適合承擔(dān)人機(jī)交互任務(wù)。

他還用云游戲做了類比：云游戲一直不溫不火，一個(gè)重要原因是用戶對(duì)交互幀率和穩(wěn)定性要求很高，不希望出現(xiàn)無(wú)預(yù)期卡頓。類似地，人與設(shè)備交互也需要很高實(shí)時(shí)性和可靠性，這些能力更適合在端上完成。

Q6：做端側(cè)智能體會(huì)遇到哪些困難？

李大海說(shuō)，關(guān)鍵仍然是模型與芯片的結(jié)合。

他把問(wèn)題概括為三個(gè)因素：能力、成本和場(chǎng)景。一個(gè)場(chǎng)景能不能落地，要看模型表現(xiàn)、可接受成本和具體應(yīng)用場(chǎng)景之間能否匹配。目前限制主要來(lái)自芯片、內(nèi)存和帶寬，但在端側(cè)摩爾定律和端側(cè)模型知識(shí)密度定律共同推動(dòng)下，這些問(wèn)題正在改善。

三、國(guó)產(chǎn)算力開(kāi)始進(jìn)入訓(xùn)練環(huán)節(jié)，軟件生態(tài)還要補(bǔ)課

Q7：依托國(guó)產(chǎn)智算集群做訓(xùn)練和推理時(shí)，如何提高算力利用率？如何與國(guó)產(chǎn)AI芯片廠商、智算中心、算力服務(wù)商協(xié)作？

李大海說(shuō)，過(guò)去行業(yè)更多用英偉達(dá)芯片和集群做訓(xùn)練，推理逐步轉(zhuǎn)移到國(guó)產(chǎn)芯片上。今年開(kāi)始，訓(xùn)練工作也在逐步轉(zhuǎn)向國(guó)產(chǎn)卡。

他坦言，相比英偉達(dá)集群，國(guó)產(chǎn)芯片集群在軟件生態(tài)上還有很多課要補(bǔ)，模型公司不能完全靠自己完成所有適配工作，需要芯片公司提供更多支持。

李大海提到，面壁一方面與國(guó)產(chǎn)芯片公司做深入配合，另一方面也與智源主導(dǎo)的FlagOS軟件生態(tài)有深度合作。前者更像是模型訓(xùn)練牽引下的逐步完善，后者則是自頂向下做頂層規(guī)劃，把芯片公司拉進(jìn)來(lái)，明確哪些工作更重要，再一步步推進(jìn)。

李宇軒補(bǔ)充說(shuō)，訓(xùn)練相比推理，對(duì)精度要求更高。如果一張卡只做過(guò)推理、沒(méi)有做過(guò)訓(xùn)練，可能會(huì)遇到一些意想不到的精度問(wèn)題。

面壁此前提出“模型風(fēng)洞”技術(shù)，即用小模型實(shí)驗(yàn)預(yù)測(cè)大模型效果。李宇軒說(shuō)，面壁把這套基礎(chǔ)設(shè)施先在華為等國(guó)產(chǎn)卡上做深度評(píng)測(cè)，并與英偉達(dá)進(jìn)行對(duì)齊，確認(rèn)精度可用，再繼續(xù)推進(jìn)更大模型訓(xùn)練。

Q8：此前提到在昇騰上達(dá)到95%訓(xùn)練效率，另外5%差距來(lái)自哪里？

李宇軒澄清說(shuō)，這里的95%并不是指華為平臺(tái)相對(duì)英偉達(dá)平臺(tái)達(dá)到95%，而是指在華為平臺(tái)上，極低位寬量化感知訓(xùn)練相比普通訓(xùn)練達(dá)到95%的效率。

他解釋，訓(xùn)練量化模型時(shí)需要加入量化器，這會(huì)帶來(lái)額外開(kāi)銷和性能損失。面壁與華為合作優(yōu)化量化器開(kāi)銷，將損失控制在5%以內(nèi)，從而驗(yàn)證極低位寬訓(xùn)練pipeline在華為平臺(tái)上可用。

四、蘋(píng)果端側(cè)AI落地不算早，手機(jī)廠商差距還沒(méi)拉開(kāi)

Q9：怎么看蘋(píng)果推出端側(cè)大模型？會(huì)不會(huì)擠壓高端安卓手機(jī)市場(chǎng)？

李大海認(rèn)為，蘋(píng)果早在2024年6月就公布了端側(cè)模型與云端協(xié)同戰(zhàn)略。以蘋(píng)果的風(fēng)格來(lái)看，今天才落地，已經(jīng)晚于行業(yè)預(yù)期。

他還提到，蘋(píng)果在大模型上與谷歌有較深合作，這反而凸顯出第三方專業(yè)大模型公司的價(jià)值。

李大海認(rèn)為，這件事與安卓還是蘋(píng)果沒(méi)有本質(zhì)關(guān)系，更重要的是是否找到更好的芯片，以及是否在場(chǎng)景和產(chǎn)品定義上做出更好設(shè)計(jì)。以他的觀察，國(guó)內(nèi)手機(jī)廠商對(duì)這一方向理解都較深，差距并不大。

Q10：手機(jī)廠商選擇面壁，主要看重哪些因素？

對(duì)此，李大海總結(jié)了三點(diǎn)。

第一，面壁能持續(xù)訓(xùn)練出知識(shí)密度足夠高的端側(cè)模型。第二，面壁與很多端側(cè)芯片公司有深度合作，比如與高通已經(jīng)形成全球戰(zhàn)略合作，并達(dá)到協(xié)同設(shè)計(jì)程度。第三，面壁在高效推理上積累較多，這對(duì)手機(jī)、汽車等功耗敏感設(shè)備很重要。

他說(shuō)，在同等效果下，如果推理功耗能顯著降低，就是巨大的競(jìng)爭(zhēng)優(yōu)勢(shì)。

Q11：端側(cè)模型壓縮是否有極限？

李大海說(shuō)，據(jù)他了解，1.58比特應(yīng)該已經(jīng)算是極限。更重要的是，在這樣的壓縮比下，保持足夠少的性能損失。

他提到，李宇軒團(tuán)隊(duì)主導(dǎo)的工作，是在訓(xùn)練階段就把三值量化作為量化感知訓(xùn)練的一部分，從訓(xùn)練第一步就持續(xù)考慮和對(duì)齊，這對(duì)降低量化損失很重要。

五、開(kāi)源不是簡(jiǎn)單開(kāi)放技術(shù)，而是降低客戶驗(yàn)證成本

Q12：中國(guó)大模型公司出海時(shí)，如何平衡自主可控與全球開(kāi)放合作？

李大海認(rèn)為，這兩個(gè)方向不沖突。

他解釋說(shuō)，自主可控是企業(yè)對(duì)自身底層能力的內(nèi)生要求；開(kāi)放合作則體現(xiàn)在靈活商業(yè)合作模式、重視用戶和客戶利益，以及尊重海外客戶和伙伴的文化與需求。

他同時(shí)強(qiáng)調(diào)，開(kāi)放不等于無(wú)底線開(kāi)放自己的技術(shù)，技術(shù)對(duì)外輸出與開(kāi)放合作是兩個(gè)層面的概念。面壁會(huì)在國(guó)家技術(shù)出口相關(guān)指導(dǎo)方針下推進(jìn)海外合作。

Q13：行業(yè)競(jìng)爭(zhēng)激烈，面壁為什么仍然堅(jiān)持開(kāi)源？

李大海認(rèn)為，開(kāi)源是一個(gè)非常高效的商業(yè)模式，因?yàn)樗苡酶统杀居|達(dá)潛在客戶。

他說(shuō)，當(dāng)客戶做基礎(chǔ)研究或技術(shù)驗(yàn)證時(shí)，如果模型是開(kāi)源的，就能低成本試用，也能幫助客戶在內(nèi)部用更扎實(shí)的數(shù)據(jù)和證據(jù)說(shuō)服上級(jí)，最終提升從技術(shù)影響力到商業(yè)合作的轉(zhuǎn)化效率。

對(duì)于開(kāi)源是否會(huì)培養(yǎng)競(jìng)爭(zhēng)對(duì)手，李大海認(rèn)為，開(kāi)源模型和框架會(huì)產(chǎn)生影響，但不會(huì)產(chǎn)生特別實(shí)質(zhì)的影響，因?yàn)?strong>一家公司的核心競(jìng)爭(zhēng)力在“冰山之下”。已經(jīng)開(kāi)源出來(lái)的東西，不足以讓別人完全學(xué)會(huì)公司的核心能力。

他還提到，企業(yè)不能只靠把一時(shí)的競(jìng)爭(zhēng)優(yōu)勢(shì)關(guān)起來(lái)，而應(yīng)靠技術(shù)前瞻性和速度，持續(xù)構(gòu)建更復(fù)雜的競(jìng)爭(zhēng)優(yōu)勢(shì)。

六、汽車、手機(jī)、無(wú)人機(jī)、潛水器都在落地，法律場(chǎng)景也在推進(jìn)

Q14：過(guò)去一年，面壁主要有哪些進(jìn)展？未來(lái)規(guī)劃是什么？

李大海說(shuō)，過(guò)去一年，面壁在資本市場(chǎng)、技術(shù)和產(chǎn)業(yè)落地上都有進(jìn)展。

資本層面，面壁獲得了更多投資人支持，其中包括具有國(guó)家隊(duì)屬性的資本和產(chǎn)業(yè)資本。李大海認(rèn)為，這些融資是產(chǎn)業(yè)推進(jìn)的結(jié)果，不是原因。

技術(shù)層面，面壁持續(xù)推進(jìn)基礎(chǔ)模型、數(shù)據(jù)治理、AI訓(xùn)練AI框架等工作，并推出了流式全雙工端側(cè)全模態(tài)模型。

產(chǎn)業(yè)層面，除了智能汽車，面壁也把端側(cè)模型部署到手機(jī)上，并在無(wú)人機(jī)、潛水器等智能終端上推進(jìn)端側(cè)模型落地。李大海稱，這些方向可以概括為“上天入地、上天下海”。

此外，面壁在法律領(lǐng)域的工作也在繼續(xù)推進(jìn)。李大海提到，面壁協(xié)助最高人民法院做的全國(guó)法院“一張網(wǎng)”試點(diǎn)，今年已經(jīng)落到全國(guó)20到30個(gè)城市。

Q15：汽車場(chǎng)景中，用戶和車企反饋如何？

李大海以吉利銀河M9為例說(shuō)，面壁上車的功能并不是默認(rèn)開(kāi)放，需要用戶主動(dòng)打開(kāi)。車廠反饋顯示，用戶主動(dòng)打開(kāi)比例非常高。他認(rèn)為，這代表了用戶對(duì)相關(guān)功能的認(rèn)可。

七、端側(cè)AI終局可能是模型與芯片深度合一，但不會(huì)很快到來(lái)

Q16：端側(cè)AI的終局是模型適應(yīng)芯片，還是芯片適應(yīng)模型？面壁的護(hù)城河是什么？

李大海判斷，未來(lái)終局可能是“模型即芯片”，即大模型公司最終生產(chǎn)出自己的模型后，也會(huì)同時(shí)生產(chǎn)自己的芯片。

不過(guò)他認(rèn)為，這仍是較遠(yuǎn)的終局，可能需要10年起步。原因在于模型側(cè)可以跑得很快，但芯片流片背后仍有大量不能被AI自動(dòng)完成的工作。

李大海提到，面壁已經(jīng)初步完成用AI訓(xùn)練AI，下一步自然會(huì)考慮如何用AI去流片。但AI流片要克服的問(wèn)題更多，不會(huì)很快到來(lái)。