手機AI芯片走過8年，潛力為何仍被白白浪費？

八年前，我們第一次見識到了手機里的神經網絡處理器（NPU），你還記得2017年華為Mate10的麒麟970吧，它比上不足（蘋果A11、驍龍835），比下有余（驍龍660、聯發科P60），卻是世界上第一款集成NPU的移動SoC。從此，“手機本地也能跑AI”成為一種可能。

老實說，這八年變化挺大的，蘋果和三星終于也開始搞端側AI了，雖說效果有好有壞；谷歌則將自家數據中心的張量處理器（TPU）運用得愈發成熟，并在Tensor芯片中借鑒了TPU 的AI計算核心理念。從ARM、高通，到蘋果、三星，所有大科技公司在發布新產品時都要提那么一句：AI是智能手機未來的核心。

但實際應用下來，移動AI總感覺施展不開：手機本地能用到的AI功能就那么些：基本是語音助手、拍照修圖、即時翻譯老三樣，應用開發者想搞出點新東西卻困難重重。這一現狀，NPU得承擔一部分責任，不是它不好用，而是從未真正開放給開發者作為平臺使用。這就讓人有些納悶了：手機里這塊叫NPU的芯片，到底能用來干什么？

先搞懂：NPU到底是什么？

就像手機里負責跑APP的CPU、玩游戲時渲染畫面的GPU，還有專門處理拍照錄像數據的ISP一樣，NPU也是專用計算單元——專門用來跑AI任務，追求既快又省電。如今不只是手機芯片，連英特爾和AMD的移動處理器同樣集成了專用NPU，盡管與手機SoC的NPU功能側重不同。

具體來說，NPU擅長處理小體量的數據（比如4位甚至2位的精簡模型）、特殊的內存使用模式，還有一大堆數學運算（比如融合乘加、融合乘積累加這些）。移動NPU之所以能流行，就是因為有些AI任務，傳統處理器處理起來效率又低又費電，它卻能更高效搞定。

當然，早在2017年NPU初現時就有一種反對意見：跑AI任務不一定非得要NPU，很多簡單的小算法，就算是性能一般的CPU也能扛；而那些支撐大語言模型的數據中心，用的硬件更像英偉達顯卡，跟手機里的NPU不是一回事。

但有了專用NPU，就能流暢跑那些CPU、GPU不擅長的模型，而且通常更省電。這種分工合作的計算方式，雖然會讓芯片設計更復雜、占更多空間，但能在性能和耗電之間找到平衡，這對手機太重要了，沒人想讓AI功能把電池很快耗光吧？

AI不是本應在顯卡上跑嗎？

關注內存漲價的朋友都知道，AI數據中心特別需要高性能的AI和GPU加速器（尤其是英偉達的），而配套顯存和內存都是海量的：單臺AI訓練/推理服務器需配置8張H200算力卡，其整合的顯存容量可達1.2TB，同時配備最高8TB的系統內存，以滿足高負載算力需求，這就是內存不夠用、價格飛漲的主要原因。

英偉達的CUDA架構之所以能高效跑AI和圖形任務，核心在于其具備大規模并行計算和資源調度能力。它的張量核心能搞定各種數據格式的復雜數學運算，包括現在AI模型常用的精簡數據格式。

雖然現在手機里的GPU，比如ARM的Mali、高通的Adreno，也能處理16位甚至8位的數據，但遇到4位及以下的超精簡模型時，效率就差了很多。而且手機GPU就算理論上支持這些運算，也不是專門為AI設計的，AI只是它們的副業。

手機GPU首先要考慮省電，跟桌面端那些性能超強的顯卡不一樣。它們使用的一些技術，比如瓦片渲染（Tiled Rendering）、分片執行（Shard Execution），不太適合長時間高強度的計算任務。手機GPU當然能跑AI，有些場景下也還行，但遇到專門的AI運算，還是有更省電的選擇。

軟件開發也很關鍵。英偉達的CUDA會把芯片的核心能力開放給開發者，讓他們能深度優化AI任務的運行。但手機平臺沒有這么底層的訪問權限，開發者和手機廠商只能用高通神經處理SDK、ARM計算庫這些工具，而且大多是某家廠商專屬的，通用性不強。

這就是移動AI開發的大難題：桌面端開發基本都圍繞CUDA轉（雖然AMD的ROCm也在慢慢起來），但手機里的NPU五花八門——谷歌的Tensor、驍龍的Hexagon、蘋果的神經網絡引擎，每種都有自己的規矩和開發工具，開發者很難兼顧。

NPU未解決“平臺不統一”的麻煩

現在幾乎所有手機芯片都集成了NPU，設計它的初衷是高效處理小數據、復雜運算和特殊內存模式，還不用大改GPU的架構。但獨立NPU也帶來了新問題，尤其是第三方開發者想做適配的時候。

雖然蘋果、驍龍、聯發科這些芯片都提供了開發工具，但開發者得為每個平臺單獨做適配優化。就算是谷歌自己的Pixel手機，也沒給開發者提供方便的通用訪問權限：Tensor ML SDK還在測試階段，能不能正式開放還不一定。開發者只能通過谷歌的ML Kit用一些高層級的Gemini Nano功能，想深入用到底層硬件，根本做不到。

更糟的是，三星已經停止了自家Neural SDK的維護和更新，谷歌之前搞的通用Android NNAPI也充滿了局限性。這就導致移動AI開發變成了一團亂麻，各種規格、各種廢棄的工具，第三方想高效做個移動AI應用太難了。每家廠商自己搞的優化方案，根本沒法推廣開來，最后開發者能用的，還是谷歌這些大廠掌控的云端AI或者他們自己做的精簡模型。

轉機：跨平臺工具LiteRT來了

還好，谷歌2024年推出了LiteRT（其實是Tensor Flow Lite框架的升級組件），它能統一支持CPU、GPU和各家廠商的NPU（目前支持高通、聯發科）。LiteRT的設計初衷是在運行時最大限度地利用硬件加速，讓軟件自行選擇最合適的方法，從而解決了NNAPI的最大缺陷——NNAPI本來想讓開發者不用顧忌不同廠商的硬件差異，結果只統一了接口，實際運行效果還是看廠商的驅動；而LiteRT自己掌控運行過程，就是想把這個漏洞補上。

有意思的是，LiteRT不僅能在Android、iOS上使用，嵌入式設備甚至桌面電腦都能用，全程在設備本地運行AI推理，看得出來谷歌想把它做成通用的精簡模型運行工具。不過和桌面端的AI框架不一樣，LiteRT是提前設定好的，精度、精簡方式這些都定死了，這樣才能在手機這種資源有限的設備上穩定運行。

雖然LiteRT解決了不同廠商NPU不兼容的問題，但結合現在的技術發展，我們仍需要思考：NPU以后還能像現在這樣重要嗎？

比如ARM最新的C1系列CPU，增加了SME2擴展指令，一些AI任務能提速4倍，而且很多開發框架都支持，不用專門的工具。另外，手機GPU的架構也可能會改，變得更適合跑AI任務，說不定以后就用不到專門的NPU了。聽說三星也正在搞專門優化AI的GPU，未來最早可能在Galaxy S28系列上用；Imagination的E系列GPU也是針對AI加速設計的，支持FP8和INT8精度，說不定Pixel以后也會用這款芯片。

而LiteRT正好能配合這些技術進步，開發者不用再操心硬件怎么變。CPU對復雜指令的支持越來越好，以后跑AI任務也會越來越高效，不再是備胎；而那些對AI優化更好的GPU，說不定以后會取代NPU成為默認的AI加速器，這些變化LiteRT都能應對。這么看，LiteRT有點像移動端的“CUDA”，它不是開放硬件，而是把不同硬件的差異抹平了，讓開發者不用再糾結。

NPU不會消失，但AI生態終于有點盼頭了

專用的移動NPU短期內肯定不會消失，但最開始那種“圍著NPU轉、被廠商限制”的端側AI模式，顯然不是最終形態。對于大多數第三方應用來說，CPU和GPU還是會承擔大部分AI任務，尤其是它們對AI運算的支持越來越好了。

如果LiteRT能成功，開發者就不用再依賴某家芯片廠商的路線圖，也能開發端側AI應用了。盡管如此，設備端AI想擁有一個充滿活力的第三方生態，可能還有一段路要走，但我們現在總算朝著這個方向邁進了一步。