獨家｜兩位清華教授聯手創業，要打造以人為中心的具身模型范式

2026 年，機器人正在準備走進家庭，和人類同處一個屋檐下。

但在這背后，一個難以忽略的現實是：當前幾乎所有具身智能模型的訓練中，“人”是缺席的。

模型已經學會了抓取水杯、折疊衣物、執行一條條指令，卻幾乎無法理解坐在沙發上的人此刻是疲憊還是焦躁。然而對于人類來說，有時遞過一杯水的時機與方式，可能比“遞水”這個動作本身更重要。

這個問題吸引了兩位學者：馮瑤和劉淼的注意。在他們看來，具身智能要真正落地生活場景，必須把對“人”的理解加入模型。對物體的操作能力和對人的理解需要同步推進，而非先后分離。

馮瑤目前是斯坦福大學的博士后，明年即將入職清華人工智能學院任教。她在博士階段師從計算機視覺領域的重要學者 Michael J. Black，在德國馬普所專注"人"的數字化建模，用算法重建人體的三維形態、動作與姿態，讓機器理解人類身體如何在空間中移動、交互。到斯坦福后轉入機器人方向，試圖把對人的理解帶進物理世界。

而剛從海外回國的劉淼，目前擔任清華大學人工智能學院的助理教授。他在過去三年在 Meta GenAI 參與了 Llama 3 與 Llama 4 等多模態大模型的研發，博士期間在佐治亞理工研究第一視角視覺與具身感知。

雖然兩人的研究路徑不同，但他們看到了同一塊缺失：當前的具身智能訓練中，"人"并沒有被放在一個重要的位置。無論是對人體進行三維建模，還是用第一視角數據訓練模型，畫面中的"人"往往只是背景而非交互主體。模型學會了識別場景中的一切物體，卻讀不懂對面那個人的狀態、意圖與需求。

于是他們決定一起創業——打造一種以人為中心（Human-Centric）的全新具身模型范式，讓機器人真正理解“人”的行為、意圖、記憶與偏好，并最終在真實的共處場景中建立信任。

在這場對話中，我們的問題始終圍繞“人”展開：機器人該如何捕捉需求、推斷意圖，進而贏得信任？答案可能藏在尚未成型的數據范式里，可能指向仍在探索的模型架構，也可能依賴一套需要徹底重構的評測體系……

一切還在探索之中。

以下是我們的對話：

為什么是“人”？從大模型到具身智能的轉向

DeepTech：兩位為什么會選擇具身智能這個方向進行研究？

劉淼：其實我在博士階段做的就是機器人方向，比如基于第一視角視覺（egocentric vision），結合 learning from demonstration 或 imitation learning，讓機器人通過模仿學習去完成更接近人類的操作任務。

當時受限于項目條件，我們更多只能做一些偏“純視覺”的研究。后來在 Meta 工作期間，由于研究方向相對自上而下（top-down），個人能夠選擇的空間比較有限，這條路徑依然沒有被系統性推進。

但具身智能在我心里其實一直沒有放下。我始終希望有機會把“讓機器人真正像人一樣在物理世界中行動”這件事做好。

馮瑤：我的路徑和劉淼有些不同。我的出發點就是“人”，在博士階段，我在德國主要的工作是做“人”的建模，比如什么是好的 human representation（人體表征），以及如何從網絡數據中理解人類行為。我也嘗試過結合大模型做行為理解，但這些大多在“數字世界”里完成。

但純數字環境的問題在于缺乏真實的交互感，也很難評估模型是否真的“理解了人”。因為缺少可靠的 benchmark。

后來我去了斯坦福，加入機器人團隊，把這些關于“人”的建模放到物理世界中驗證。我逐漸意識到：只有當模型既能理解人類行為，又能驅動一個實體在真實世界中與人交互時，我們才真正有機會判斷它是否“做對了”。

而機器人就像一個天然的測試平臺。你讓它去行動、去互動，很多問題會立刻暴露出來，推動研究從“看起來有效”轉向“真正可用”。

DeepTech：劉淼老師之前在 Meta GenAI 參與過 Llama 3/4 等大模型訓練，那是純粹的數字世界；但具身智能需要處理復雜的物理世界。除了熱愛，這種轉變背后是什么原因？

劉淼：費曼有一句很有名的話：“What I cannot create, I do not understand.”（我無法創造的東西，我就無法真正理解。）

但在今天這個時代，這句話其實可以被“反過來”看。一個模型即使能夠生成文本、圖像甚至視頻，也不意味著它真正理解了物理世界。

什么才算真正的理解？一個標準是：它能否在物理世界中行動，并理解行動帶來的后果。包括物理規律、因果關系，以及“動作如何改變環境”。這正是具身智能被重視的原因：只有進入真實世界、與環境交互，模型才可能形成類似人類的“世界模型”。

更重要的是，現實世界不只是由物體構成的，它更是一個“有人存在的世界”。當前的大模型在“理解人”上很有限。它們能識別動作、服飾、年齡，但很難理解情緒、意圖，以及“心智理論”。

如果把這些模型直接放進真實環境與人類互動，它們很難穩定工作。這個世界從來不是空的物理空間，而是充滿人的世界。忽略這一點，具身智能走不遠。這也是我在 Meta 時逐漸意識到的局限，所以我回國后，希望在這些方向上繼續探索。

DeepTech：相比海量的第三視角數據，你所研究的第一視角數據的不可替代性在哪里？

劉淼：第一視角最核心的獨特性是“具身性”（embodiment）：感知和動作緊密耦合。感知驅動動作、動作改變環境、環境反過來影響下一步的觀測。這種閉環是第一視角天然具備的，也更符合人類的感知和行為方式。

另外，長時間的第一視角視頻還隱含了人類的認知層級：它記錄了你的意圖（視線主動聚焦在哪里）、探索路徑（如何尋找目標），以及到達目標后如何利用環境完成任務。

這對應了機器學習中的“探索與利用”的權衡（exploration vs. exploitation）。第一視角數據天然把兩者結合在了一起，對機器人學習非常有價值。

DeepTech：如果放在一個具體任務中，基于第一視角和第三視角的數據，機器人實際表現會有什么差別？

劉淼：以廚房場景為例，比如洗菜或切菜。從第三視角看，你能大致判斷這個人在做什么。是站在水池邊或案板前，知道是洗菜或切菜。

但很多關鍵細節是捕捉不到的：具體洗到哪個位置、哪只手握菜、哪只手開水龍頭，或者切菜時的角度、雙手配合、切到哪一步。這些細粒度的動作信息，第三視角很難獲取。

而第一視角能直接對齊“手—眼—動作”的關系，這對機器人學習可執行的操作策略非常關鍵。

DeepTech：馮瑤老師，從 DECA、PIXIE 這樣的人體重建工作，到語言模型相關研究，再到近一兩年的人形機器人控制，這條路徑其實跨度很大。你的研究思路是怎樣的？

馮瑤：我一直想構建一個真正的“實體智能體”，它能夠像人一樣存在和行動。

從這個目標往回看，第一步一定是理解“人本身”。早期的工作，比如 DECA、PIXIE，關注的是如何在數字世界中重建人，也就是學習一個有效的 human representation，以及從大規?；ヂ摼W數據中提取人的行為模式。

但一個很自然的問題是：學到這些表示之后，下一步該做什么？大約在 2022 年，大模型的出現讓我很快意識到，這類模型在建模和推理能力上是一個非常關鍵的突破。于是我們開始嘗試把大模型和此前的人體表示結合起來，讓模型不僅能“看到人”，還能在語義層面理解人類行為。

再往前走，就遇到了一個很現實的問題：我們很難判斷模型是否真的理解了人類。即使構建各種數據集和 benchmark，也很難覆蓋復雜、多變的真實行為。所以我后來去了斯坦福，進入機器人方向，把模型放到真實的物理系統中，讓它和人發生交互。

在這個過程中也發現，傳統強化學習（RL）往往更關注任務成功率或精度，但與人交互時，柔順性（compliance）、安全性等因素同樣重要，這些在過去的算法設計中是被低估的。因此，后續的工作也會更多關注這些維度。

DeepTech：如果用一句話定義，你們理想中的 human-centric（以人為中心）的具身基礎模型是什么樣的？

劉淼：我希望這個模型能夠通過理解世界中的“人”，從而獲得對世界更完整的認知。

馮瑤：我會覺得是通過理解人、以及人與人之間的交互，讓機器人更像“人”。

端到端還是模塊化？以及具身智能的“陷阱”

DeepTech：目前行業里存在端到端（end-to-end）和模塊化（modular）的路線之爭。兩位設想中的具身基礎模型，會更接近 VLA 這種端到端模型，還是會保留清晰的控制邊界？

馮瑤：我覺得“端到端 vs 模塊化”某種程度上是個偽命題。關鍵在于：在系統的哪一層引入可解釋性，哪一層做語義介入。比如疊衣服任務，機器人不能只是“看到衣服就疊”，而是要先理解指令（“幫我把衣服疊一下”），找到衣服，執行。

更關鍵的是，任務會動態變化。如果疊到一半，你說馬上要穿，它就得中止并切換任務。這就要求系統能在中間層插入語義理解與決策。

另外，可解釋性也很重要。如果機器人遞水失敗了，要知道是意圖理解錯了、抓取失敗了，還是遞交位置不對。這些都需要分層語義表達。

所以我們的思路是：高層保留明確的語義結構和可解釋性，底層控制（如抓?。┎捎酶咏说蕉说膬灮绞?，兼顧效率。這有點像人類神經系統。把“緩慢的社會認知”與“快速的本能控制”解耦，避免用一個龐大網絡同時處理極難和極簡單的問題。

劉淼：我覺得現在之所以有“端到端 vs 模塊化”的討論，是因為目前任務還比較簡單。放到復雜場景（比如既要對話又要同時做飯），很難用一個統一模型同時輸出語言和動作策略。

所以架構的選擇，本質上是由任務需求決定的。如果是高度結構化、重復性的工業場景，比如“抓—取—放”，做成端到端系統是有可能的；但在開放環境中，尤其是涉及人機交互的復雜任務，就很難用單一架構覆蓋。換句話說，不太可能存在一個統一的框架適用于所有場景，系統結構會隨著任務復雜度和能力邊界不斷演化。

DeepTech：聽起來你們的方案中有很多“語義插入”和動態決策的設計，你們認為實現它最大的困難在哪里？

馮瑤：這條路線的難點在于它對“人”的理解要求更高。比如語義插入不僅僅是理解一句話的表層含義，還涉及對用戶的長期建模：包括記憶（memory）、行為模式，以及具體情境。

舉個例子：用戶說“這件衣服不用疊了”，系統需要理解原因?？赡苁沁@件衣服剛穿過，需要放去清洗；也可能是馬上要穿，需要直接遞給用戶。這背后其實是一個復雜的決策過程，需要結合歷史信息、用戶習慣以及當前狀態。因此，這不僅是一個感知或控制問題，更是一個關于“人類建模”的問題，需要多模態信息融合和長期記憶機制的支持。

從技術角度看，這一整套系統的復雜度是比較高的。 不僅是架構復雜，更是數據壁壘。工業操作數據可以靠人工遙控在工廠里大規模刷出來，但‘人機真實交互的信任數據’是無法在實驗室里靠遙控演出來的，它必須通過真實用戶的長期日常使用才能自然生長。

劉淼：從行業角度來說，過去很多團隊沒有優先做這件事情，也有現實原因：是技術成熟度還不夠，另一方面大家普遍認為“機器人進入家庭”還比較遙遠，所以更傾向于先把基礎能力，比如抓取和操作，做好。

但現在我們判斷，這個時間點正在發生變化。雖然真正進入家庭可能還需要幾年，但已經不再是一個很遙遠的目標了。在這個階段，如果仍然只關注“抓取效率”或“操作精度”，其實是不夠的。因為一個機器人如果不能理解人，就很難安全、可靠地和人共處。至少從用戶角度來看，很難信任這樣一個系統。

所以我們更多是從“人”的視角出發，把“理解人”作為具身智能進入現實場景的一個前提條件，而不僅僅是把任務完成好。

馮瑤：像今年一些 AI agent 產品（比如可以操作電腦的系統），一開始用戶其實是不太愿意把個人信息交給它的。但隨著使用過程，你會先通過對話建立信任，確認它真的理解你的需求，然后才逐步開放更多權限。讀取文件、處理郵件、甚至幫你完成復雜任務。

這個過程本質上是“逐步建立信任”。 我認為機器人進入家庭也是類似的路徑：它需要先理解人、獲得信任，然后再逐漸擴展能力，而不是一開始就承擔所有任務。用戶也更傾向于持續使用同一個系統，而不是頻繁更換。因為其中已經建立了一種“關系”。

DeepTech：如果從更客觀的技術指標來看，兩位認為衡量一個具身模型優劣的根本標準是什么？比如推理延遲、操作成功率，還是泛化能力？

劉淼：這是很關鍵的問題。我最近一直在反思：評測本身可能成為具身智能最大的“陷阱”之一。

多模態大模型有相對成熟的評測體系：自動化 benchmark（如 MMLU）加上人工評測。但具身智能完全不同。由于硬件形態不統一，實驗平臺各異，所以沒有公認的標準化 benchmark。常見的做法是在真實機器人上做簡單任務（如 zero-shot 抓取），但成本極高、可復現性很差。

大家常說數據最重要，但我越來越覺得，評測體系的不完善本身，可能是一個很大的瓶頸，甚至會誤導技術路線。

馮瑤：我非常同意這一點。所以現在很多研究者開始更主動地和工業界結合，因為當一個系統真正進入用戶場景之后，用戶才是最好的評測者。

不管機器人是什么形態。是陪伴型、護理型，還是家庭助手；是輪式還是腿式，單臂還是雙臂。這些都不是最核心的。關鍵在于：當它被用戶實際使用時，用戶的反饋是什么，他們是否愿意持續使用。

從這個角度看，真實用戶反饋可能才是唯一的黃金標準。而系統需要根據這些反饋不斷調整自身，無論是模型能力還是機器人形態。

DeepTech：有沒有一種可能是，現在真實反饋還不夠多，所以還無法形成統一標準？

劉淼：我覺得不只是“數量不夠”，而是“數據本身不對”。很多現有數據像“糖水”而不是“牛奶”。來自過于干凈、簡單的環境（比如桌面抓取），與真實家庭環境差距很大。

如果模型在這種“假分布”上訓練和評測，就會學到錯誤的模式，甚至帶偏技術路線。本質上，模型是在擬合數據分布。如果分布本身偏離真實世界，再好的模型設計也會被帶偏。

所以我們更關心的是如何獲得“真實世界”的數據。如果機器人能更好地理解人，即使功能還不夠全面，用戶也更可能接受它、愿意使用它。這樣我們才能以更可擴展（scalable）的方式獲取高質量數據，而不是依賴“數據采集工廠”。

DeepTech：但現實問題是，第一視角和人機交互數據的獲取成本非常高，甚至互聯網里幾乎沒有現成數據。未來你們打算怎么構建一個低成本、可規?；臄祿]環？

馮瑤：這是一個很好的問題。我先說結論：互聯網數據其實是可以用的，而且會是一個非常重要的數據來源。關鍵在于“重建能力”。如果你能把視頻中的人體行為高精度重建出來，它本質上就可以轉化為可學習的數據。包括姿態、動作、手部操作等 3D 行為信息。

這部分其實是我的一個長期研究方向，也和人體重建、行為建模是直接相關的。中間會涉及一些關鍵技術，比如人體動作 prior、3D 重建優化等。

在這個基礎上，我們會做兩件事：第一，利用互聯網視頻數據作為最大規模的數據源；第二，在此基礎上進行低成本的真實數據采集，由我們自己設計采集環境和硬件系統，再通過算法保證高質量重建。

另外，合成數據（simulation）我認為是一個重要的“增強器”。它更像是一種數據 augmentation 的工具，而不是憑空生成數據的來源。比如，我們可以把多個短視頻片段進行組合，在物理約束下進行重建和補全，從而生成更長的行為序列。這一類方法可以幫助模型學習更長時序的行為結構。

劉淼：如果你上周問我，我可能會說我不太信任合成數據。但現在不一樣了，比如 GPT-image2 能力已經提升很快，從肉眼來看，很多情況下已經很難區分真實和合成數據。

所以這件事其實是動態演化的：當合成數據的質量和成本達到一個臨界點，它就會自然進入訓練體系。但更重要的一點不是“用不用合成數據”，而是“如何更合理地使用數據”。包括如何利用真實數據和合成數據之間的互補關系，這里其實還有很多沒有被充分探索的空間。

從學術到創業：為什么選擇家庭場景？

DeepTech：聽說兩位有計劃從學術走向創業？你們是如何相識，并最終決定在具身智能這個方向上展開合作的？

馮瑤：其實我和劉淼很早就認識了，但之前一直覺得我們在做不同方向的事情。我長期聚焦在人本身。包括人體表征、人類行為理解以及機器人控制；而劉老師更多是從多模態學習、以模型為中心（model-centric）的視角來推進相關問題。

直到前段時間我們有了比較深入的交流，才發現我們在“具身智能大腦”這個問題上，其實有一個很一致的判斷：如果要構建一個能夠與人長期共處的具身系統，它既需要強大的多模態感知能力，也必須真正理解“人”本身。這兩件事情是缺一不可的。所以我們會覺得，這種結合其實是比較自然的。而且從個人層面來說，能找到一個在技術上互補、同時也值得信任的合作伙伴，是一件挺難得的事情。

另外一個很現實的原因是，前面也提到，這一類系統的迭代高度依賴真實世界的數據和用戶反饋。要做到這一點，就必須有大規模的真實部署，而這在工程復雜度、資金、算力等方面的要求，已經超出了一個學術實驗室所能承擔的范圍。從這個角度看，走向創業其實是一個比較自然、甚至可以說是“必經”的路徑。只有進入真實用戶場景，才能完成模型的閉環迭代。

劉淼：我和馮瑤也算是“相識于微時”。我當時去她導師 Michael Black 的團隊訪問過一段時間。

雖然那時候我們的研究方向不完全一樣，但有一個共同的關注點。“人”在系統中的角色。無論是從人的視角去感知世界，還是去理解環境中的人，本質上都是圍繞“人”展開的。當時其實沒有想到，未來會一起做產業化。但現在回過頭來看，這種結合是有一定內在邏輯的。后來馮老師回國，我們才有機會更深入地討論這些問題，也逐漸發現雙方在技術上是高度互補的。

簡單來說，她更多是在做偏底層的 human behavior understanding，比如運動信號、動作層面的建模；我則更偏向認知層，比如 memory、intention、attention，以及多模態融合。這兩部分正好可以形成一個比較完整的閉環。

DeepTech：那從學術走向產業的過程中，你們有沒有遇到一些落差或挑戰？畢竟學術研究往往更偏理想化。

劉淼：我們其實都不算完全“純學術”的路徑。我之前在 Meta 工作過幾年，對產業側還是有一定了解的，也很清楚“寫論文”和“做產品”之間的差別。但我個人的一個判斷是：在某個階段，確實需要考慮商業化，這是不可避免的；但模型本身的迭代邏輯，仍然應該以研究為主導，而不是完全由產品需求驅動。否則很容易出現方向性的偏差。

馮瑤：我其實也接觸過不少產業環境。早期我在 Horizon Robotics、CloudWalk Technology 實習，后來也在 Meta 有過經歷。再往后，我還參與過我博士導師的創業公司，開始接觸一些更核心的決策問題。那段經歷對我影響挺大的。你會發現，一個團隊里不僅有研究者，還有 3D 藝術家、前后端工程師、以及業務和銷售團隊。不同角色會帶來完全不同的視角，這些視角反過來會幫助我們把研究真正落地。

我自己一直比較在意的一點是：無論是研究還是產品，最終都應該被人使用。如果一個技術只是停留在論文里，它的價值是有限的。從這個角度來說，我也比較幸運。之前做的一些開源項目，在社區里有比較多的使用和反饋，這讓我更堅定了一個想法：技術只有進入真實世界，才會真正“長出來”。

DeepTech：回到路線選擇的問題?，F在很多具身公司一開始會選擇工業場景，比如工廠或倉庫。但你們更強調家庭環境和人機共融，為什么一開始就沒有選擇工業路徑？

馮瑤：本質的原因還是愿景不同。我們更希望做的是進入家庭、進入日常生活，讓更多普通人可以使用。另外，工業場景在某種程度上是“結構化的”，人的參與較少，行為也更可預測。但我們關注的恰恰是人本身，所以方向自然不同。

劉淼：對。我回國之后，其實也有很多工業落地的合作機會，但我覺得這和我們想做的 human-centric AI 不是一件事。工業環境里，人是弱存在的，行為模式也比較固定。但如果目標是讓機器人進入人類生活空間，那它必須先理解“人”，否則我個人是很難信任它和我共處在一個空間里的。所以這更多是一個價值選擇的問題，而不是單純的技術路線選擇。

DeepTech：從時間尺度上看，兩位覺得具身智能目前處在什么階段？距離理想狀態大概還有多久？

馮瑤：我覺得可以分兩條路徑來看。如果是傳統“任務驅動”的路線，比如只做抓取、疊衣服這種能力，那進入家庭可能還需要較長時間，因為用戶接受“機器進入生活空間”本身就需要一個過程。但如果是我們這條“以理解人為核心”的路線，我認為進入家庭的時間會更短?？赡茉谝坏絻赡陜龋涂梢韵纫浴坝邢薰δ?+ 建立信任”的形式進入家庭，然后逐步迭代能力。

劉淼：我整體判斷是類似的。短期來看，一到兩年內，確實會出現一些“初級可用”的家庭機器人，它們可能已經開始進入真實家庭，但功能仍然比較有限，甚至有點“實驗性”，可能會出現大家說的“買回去吃灰”的情況。

所以如果沿著當前的技術路線發展，目標是一個真正意義上的“家庭智能體”。類似可以長期陪伴、理解需求、承擔多任務的系統。我認為至少還需要五年以上。這個差距主要不在硬件，而在于對“人”的理解能力，以及在復雜家庭環境中的長期學習能力。這也是為什么我想探索一種新的具身模型范式。

運營/排版：何晨龍

注：封面/首圖由 AI 輔助生成