北京
我盯了這塊樹莓派5好一陣子。主動散熱風扇貼著主芯片，M.2固態硬盤指示燈明明滅滅，4GB內存的規格就這么刻在板子上。一個念頭轉了很久：能不能在這張信用卡大小的主板上，跑一個完整的、可用的20億參數AI模型？
幾個月前，我在主力工作站上試過Gemma 3的1B版本。說實話，那個小模型的表現完全超出預期。日常的文字任務、頭腦風暴輔助，它處理得異常流暢，整套運行完全本地化，沒察覺到半點延遲。因為主力機的硬件配置不錯，當時跑起來毫無壓力，但也正因為這一次體驗，我開始琢磨——能不能把這種離線AI的能力，干脆搬到一個功耗極低的設備上？不用依賴主力機，不用聯網，所有運算就在一塊單板計算機上完成。
之前從沒在樹莓派5上運行過任何大語言模型。這次我直接跳過那些更輕量的型號，決定把硬件逼到真正意義上的極限。目標很明確：把最新的Gemma 4 2B模型，使用8比特量化版本，部署到這臺只有4GB內存的樹莓派5上。這塊板子能不能撐起一個現代化、可實際使用的AI服務？這個測試本身就讓人興奮。
能下定決心在4GB內存板上跑這種體量的模型，得歸功于手頭這兩項升級：一個主動散熱風扇和一塊高速固態硬盤。如果沒有主動散熱，樹莓派5的處理器全力運算時很快會撞到溫度墻，頻繁降頻；沒有SSD的快速讀寫，模型的加載和上下文切換會直接拖垮體驗。在這么緊張的資源包里，這兩樣東西不是可有可無的配件，而是決定“能不能跑”的關鍵。
硬件準備就緒后，軟件部分就得極度克制。既然運行環境的內存和算力都緊湊，操作系統本身就需要“瘦身”。我選了官方的Raspberry Pi OS Lite 64位版，放棄了帶有完整桌面環境的版本。整臺機器跑在純命令行模式下，不啟動任何圖形界面，這意味著樹莓派5的每一兆內存、每一個空閑的CPU周期，都會被省下來，全部留給后面的本地大模型任務。
系統裝好，第一步是拉取更新包，保持基礎環境健壯。緊接著因為Lite版為了精簡，默認沒有裝完整的Vim編輯器，我手動補上了這個工具。接下來的軟件棧選型，對資源敏感型的部署來說同樣重要——我需要一個既不占資源又能穩定管理容器的方案。最終決定用Podman而非Docker。關于這個選擇，原文給出的理由很直接：Podman在設計上更適合這類優化場景（具體描述因原文截斷未完整展開），但可以在極簡系統中完成容器化部署。
此時，底層的準備工作告一段落。樹莓派5當前的狀態已經完全為單一任務調優：精簡的操作系統、無圖形開銷、更新到最新、關鍵工具到位。接下來該進入核心步驟——拉取Gemma 4 2B的量化模型鏡像，把它“喂”進這塊小板的4GB內存里。試驗才剛剛開始，但看著風扇穩穩旋轉、命令行提示符安靜等待，我對結果還真有那么一點期待。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
