機器人學會“腦補”觸感，疊衣服端茶水成功率暴漲90%

近年來，人形機器人的研發重心正逐漸從單純的行走轉向復雜的操控。盡管人形機器人已經在實驗室環境中實現了奔跑和跳躍，但在處理諸如疊衣服、使用工具或搬運易碎品等精細家務時，表現依然稍顯遜色，難以應對復雜多變的物理接觸場景。這一難題的核心在于，如何在機器人上半身進行頻繁且復雜的物理接觸時，依然維持全身的動態平衡。

近日，卡內基梅隆大學（CMU）聯合博世人工智能中心的團隊提出了一種名為 HTD（Humanoid Transformer with Touch Dreaming） 的 AI 模型，其讓機器人預判觸覺，能夠顯著提升人形機器人在復雜現實環境中的全身協作與靈巧操作能力，在整理書籍、鏟貓砂、端茶送水等 5 項真實任務上，任務成功率相對提升了 90.9%。

圖 | 人形機器人進行不同任務測試（來源：上述論文）

長期以來，人形機器人在處理精密任務時面臨巨大挑戰。機器人全身各部分相互耦合，手部用力或接觸物體時，身體容易晃動甚至失衡；很多操作需要精細感知接觸力、滑移和形變，僅靠視覺遠遠不夠?，F有系統往往只能處理簡單動作，或局限于固定基座操作，難以實現穩定的走路和雙手靈巧操作。

為了突破這一瓶頸，研究團隊構建了一套完整的軟硬件系統。

首先，他們訓練了一個基于強化學習的下身控制器（LBC），為機器人提供穩定的身體支撐。研究團隊采用師生式訓練框架：先在仿真環境中訓練教師模型，使其掌握重心分布、足部接觸狀態等深層信息，學習穩定的下肢動作邏輯；再通過知識蒸餾，將教師模型的能力遷移至學生模型，使其僅依靠關節角度、身體姿態等可觀測信息，即可在現實環境中穩定運行。

最終，機器人可精準控制身高、軀干俯仰、傾斜與旋轉，彎腰、下蹲、側身等動作均可穩定完成，上半身操作不受平衡限制。

（來源：上述論文）

在此基礎上，團隊搭建了 VR 遠程操控數據采集平臺，實現高效、高質量的動作學習。操作人員佩戴 VR 設備，將頭部、手腕、手指及身體姿態實時映射至機器人，機器人同步復刻人類動作，并全程記錄多視角視覺、全身關節運動、手部受力及分布式觸覺數據。

這種方式無需復雜編程，即可快速積累大量貼近真實場景的操作數據，讓機器人直接學習人類的動作邏輯與操作習慣，大幅提升動作自然度與任務適配性。

同時，機器人雙手配備了分布式觸覺傳感器，每只手有 1,062 維觸覺信號，覆蓋手指各段和手掌，能精準捕捉接觸位置和壓力。

最重要也是最創新的點是，研究團隊所設計的 HTD 模型，這是一個多模態 Transformer 模型，它同時處理多視角視覺、本體感覺、手部力反饋和觸覺信號。其核心創新在于“觸覺夢境”（Touch Dreaming）機制：就像人做動作時，腦子里會預判下一秒手會碰到什么、用多大勁。這項機制讓機器人也學會在腦子里想象未來幾秒的觸覺和受力，從而真正學會接觸式操作。

為了驗證這套系統的實用性，研究人員讓機器人在實驗室中挑戰了五項任務，包括高精度插零件、整理書籍、折疊毛巾、鏟貓砂和端茶送水等任務。

在高精度插零件任務中，機器人需抓起 T 型塊，插入間隙僅 3.5 毫米的 T 型底座，微小誤差就會失敗。HTD 憑借觸覺預判，能實時微調位置和力度，成功率遠超傳統模型；在整理書本任務中，平放的書難以直接抓取，機器人需先將書推出臺邊，再抓起放到書架。HTD 精準控制推力和抓握力，避免書本掉落或損壞。

在折疊毛巾任務中，毛巾柔軟易變形，需多步驟、持續接觸調整。HTD 預判毛巾變形和接觸變化，能穩定完成折疊，適配多種初始擺放狀態；鏟貓砂任務中，機器人需蹲下拿起鏟子，鏟起貓砂倒入垃圾桶，涉及彎腰、工具使用、全身協調。HTD 完美平衡動作幅度和身體穩定，高效完成任務。端茶送水任務中，機器人需端著兩杯茶行走，全程保持平衡不灑漏。HTD 能預判移動中杯子的晃動和受力變化，協調雙手和全身動作，穩定完成端送。

實驗結果顯示，HTD 模型在這些任務中的表現遠超目前的同類主流模型。在平均成功率上，HTD 比目前較強的基準模型提升了約 90.9%。研究團隊通過消融實驗進一步證實，在潛空間中進行觸覺預測比直接預測原始觸覺信號更有效，其成功率相對增益達到了 30%。

在機器人與人工智能研究領域，消融實驗是一種通過系統性移除、替換或修改模型中的特定組件、功能或輸入數據，來評估該部件對整體系統性能貢獻程度的實驗方法。類似于在控制變量法中逐步去掉某一因素，從而探究其是否是系統達到當前性能的關鍵。

（來源：GitHub）

據悉，系統的部分底層代碼是開源的，其他研究人員可以通過 GitHub 訪問這些代碼。

作為后續研究的一部分，研究人員還計劃進一步擴展其學習框架規模，并在涉及人機協作的實驗中進行測試。為此，他們希望讓系統能夠吸收更多的視覺數據和人類示教數據。長遠來看，研究團隊致力于開發能夠輕松應用于具有不同身體結構和傳感器配置的 AI 框架。此外，他們還希望創建能夠靈活適配各種復雜操控任務的系統。

1.https://arxiv.org/pdf/2604.13015

2.https://humanoid-touch-dream.github.io/

運營/排版：何晨龍

注：封面/首圖由 AI 輔助生成