![]()
你有沒有過這樣的體驗:對著AI助手下達指令,它能精準理解、快速回復,可一旦需要操作電腦桌面——點擊彈窗按鈕、填寫表單、切換窗口,它就瞬間"失明",只能干看著,最后還得你自己動手收尾。這正是此前AI代理(Agent)的核心痛點:只會動口,不會動手。
近期,開源項目OpenClaw迎來關鍵突破——配套工具Peekaboo完成重大升級,為AI補上了"眼睛"(屏幕識別)和"手"(鍵鼠操作)。從停更許久到一日三更,從純聊天網關到可落地執行的系統,OpenClaw正帶著AI從"副駕駛指路"走向"主駕駛實操",真正走進我們的電腦桌面。
![]()
一、熱度褪去,核心痛點浮出水面
半年前,OpenClaw(昵稱"龍蝦")剛出圈時,熱度堪比沸水。作為開源AI代理平臺,它解決了一個關鍵問題:打通微信、iMessage、WhatsApp等主流聊天渠道,讓用戶在熟悉的聊天窗口就能調用AI,無需切換網頁或工具。
巔峰時期,GitHub星標超20萬,社區討論熱火朝天。但熱度褪去后,大家的提問從"這是什么"變成"它還能做什么",一個老問題始終繞不開:AI能理解指令,卻碰不到真實世界。
我們的大部分工作,最后一步都要落在電腦桌面:點擊軟件按鈕、處理彈窗、滾動頁面、輸入賬號密碼。而當時的OpenClaw,更像一個"只會說不會做"的助手——能幫你梳理操作步驟,卻沒法自己動手完成,最終還是要把待辦清單交還給你。
就像開車時,副駕駛的人再懂路線,碰不到方向盤、踩不到油門,也沒法把車開到目的地。AI要真正成為實用工具,必須突破"屏幕操作"這最后一公里。
![]()
二、Peekaboo歸來:為AI裝上"眼和手"
就在大家期待突破時,曾一度停更的Peekaboo正式歸來,帶著v3.0.0正式版重磅上線,
![]()
隨后開啟"狂飆更新"模式——一天內連發v3.1.0、v3.1.1、v3.1.2三個版本,修復細節、優化體驗。
![]()
1.從停更到爆發:半年磨一劍
Peekaboo的名字很俏皮,直譯是"躲貓貓",恰好對應電腦界面的特點:按鈕藏在彈窗里、菜單躲在系統欄、窗口一動坐標全變,總跟自動化工具"躲貓貓"。
它并非新項目,早在2025年6月就推出初版,年末發布v3.0.0-beta3后便暫停更新。當時開發者Peter把全部精力投入OpenClaw——搭建多渠道網關、優化本地運行、調度Agent,每一件都是讓普通用戶"用得上、跑得穩"的關鍵事。
直到最近兩周,OpenClaw的基礎框架趨于成熟,Peekaboo才重新回歸。這次爆發式更新,不是"救火修bug",而是"蓄力大釋放"——過去半年的技術積累,終于集中落地。
2.核心能力:看懂屏幕,精準操作
對普通用戶來說,Peekaboo就是一套macOS專屬的AI自動化工具包,核心就兩件事:"看得清"和"動得了"。
眼睛:把像素變成"可讀懂的地圖"
它不只是簡單截圖,而是能實現像素級捕捉,精準識別窗口、菜單欄、彈窗等界面元素,還能讀取每個按鈕、輸入框、文本的位置和屬性。傳統腳本遇到窗口移動、彈窗遮擋就失效,而Peekaboo能把雜亂的桌面整理成"結構化地圖",讓AI看到的不是模糊像素,而是清晰的界面關系。
手:復刻人類的桌面操作
點擊按鈕、輸入文字、滾動頁面、切換應用、操作菜單、按快捷鍵……人類能做的基礎桌面操作,它幾乎都能完成。更重要的是,它能"邊看邊做邊等"——點擊后等待界面變化,截圖確認狀態,再執行下一步,全程可追蹤、可復盤。
簡單說,OpenClaw負責"接消息、派任務",Peekaboo負責"看屏幕、做操作",兩者結合,AI才算真正擁有了"落地干活"的能力。
三、為什么是現在:AI能力跨過"臨界點"
很多人好奇,Peekaboo的功能不算新奇,為什么直到現在才真正好用?核心原因是:AI視覺能力和桌面操作能力,近期剛好跨過"實用臨界點"。
去年,視覺模型能看圖,但看不懂復雜界面;自動化工具能點擊,但精準度低,像"第一次摸觸控板的人",動作僵硬、容易出錯。而今年,模型的界面理解、文字識別、邏輯判斷能力同步提升,疊加Peekaboo的精準操控,體驗發生質變——AI不再只能演示簡單操作,而是能穩定跑完完整工作流。
與此同時,用戶需求也到了爆發點。大家早已習慣在聊天窗口發指令,沒人愿意為每個AI任務打開新網頁、來回搬運上下文。當模型足夠聰明、工具足夠穩定時,"讓AI直接操作桌面"的需求,自然從"可有可無"變成"必不可少"。
四、從"聊天機器人"到"桌面工人":應用場景全面落地
Peekaboo接入后,OpenClaw徹底擺脫"聊天機器人"的標簽,變成能幫你處理電腦工作的"專屬工人",實用場景遠超想象。
1.日常辦公自動化
讓AI自動打開Excel、整理數據、生成圖表;自動登錄辦公系統、填寫日報、提交審批;自動回復郵件、分類歸檔,全程無需手動操作。
2.軟件測試與調試
社區已有用戶用它驅動遠程iOS模擬器:識別應用歡迎頁、點擊"創建賬號"按鈕、等待界面加載、截圖確認結果,全程自動探索,無需人工干預。對開發者來說,這能大幅減少重復測試工作,提升效率。
![]()
3.個人工作流托管
你只需在聊天窗口說一句"整理今天的會議紀要并歸檔",OpenClaw接收指令后,調度Peekaboo打開文檔、提取關鍵信息、整理排版、保存到指定文件夾,全程自主完成。
這些場景的核心價值,是讓AI從"偶爾演示的玩具"變成"持續干活的工具"——每一步操作都可觀察、可復盤、可修正,真正解決實際工作問題。
五、看不見的"臟活":為普通用戶掃清障礙
很多人只看到Peekaboo的酷炫功能,卻忽略了開發者背后做的大量"臟活"——這些工作不吸睛,卻是AI工具"能用、好用"的關鍵。
近期更新日志里,滿是"模型目錄優化""工具schema調整""打包產物修復""權限適配"等瑣碎內容。說白了,就是解決普通用戶安裝使用時會遇到的各種問題:權限不足、路徑錯誤、模型加載失敗、截圖卡頓、輸入法沖突……
![]()
AI工具最尷尬的場景,就是"演示時行云流水,用戶一裝就各種報錯"。Peekaboo的連續更新,就是要讓不同系統、不同模型、不同設備之間的"摩擦"降到最低,讓一次點擊、一次截圖、一次窗口切換都變得穩定可控。
好工具的最高境界是"沒存在感"——你不用關心它怎么識別屏幕、怎么點擊按鈕,只需下達指令,它就能穩定完成任務。Peekaboo正在朝著這個方向努力,把復雜的技術細節藏在背后,把簡單的操作留給用戶。
六、AI的下一步,是走進你的電腦
從OpenClaw打通聊天渠道,到Peekaboo補上桌面操作能力,AI正完成從"云端對話"到"本地執行"的關鍵跨越。
過去,AI是"屏幕里的助手",只能聽你說、跟你聊;現在,有了"眼和手"的AI,將成為"電腦里的工人",能幫你看屏幕、點按鈕、跑流程。
未來,OpenClaw不會只局限于AI入口,更會成為AI操作個人電腦的本地控制層。我們不用再為簡單的電腦操作重復勞動,只需專注思考、下達指令,剩下的工作,交給AI完成。
AI時代的終極目標,從來不是替代人類,而是把人類從繁瑣的重復勞動中解放出來——而OpenClaw與Peekaboo的組合,正是朝著這個目標,邁出了堅實的一大步。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.