CVPR 2026 | 1000萬段駕駛視頻，教會模型如何估計相機(jī)位姿

不用百萬級 3D 標(biāo)注，模型也能從普通駕駛視頻中學(xué)會「自己是怎么動的」。Wayve 的 LA-Pose 試圖把未標(biāo)注視頻里的運(yùn)動信號，轉(zhuǎn)化為自動駕駛系統(tǒng)所需的相機(jī)位姿估計能力。

一輛車駛過一段路，它該如何知道自己剛才在三維空間中怎樣移動？

對人來說，答案似乎很自然：看一段行車視頻，道路、車輛、路燈和建筑如何在畫面中移動，幾乎就能判斷相機(jī)是在直行、轉(zhuǎn)彎、減速，還是停下。但對自動駕駛系統(tǒng)來說，這是一項(xiàng)核心幾何感知能力。系統(tǒng)不僅要看見場景，還要知道相機(jī)在連續(xù)幀之間發(fā)生了怎樣的平移和旋轉(zhuǎn)。

過去，訓(xùn)練這類模型往往依賴高質(zhì)量 3D 真值標(biāo)注。為了得到這些標(biāo)注，通常需要 LiDAR、精密標(biāo)定、重建管線或仿真系統(tǒng)。數(shù)據(jù)越準(zhǔn)，成本越高；成本越高，覆蓋的城市、天氣和道路類型就越有限。模型最后也容易繼承這些數(shù)據(jù)集本身的邊界。

Wayve 的最新研究 LA-Pose 換了一個切入點(diǎn)：先不要求模型直接學(xué)習(xí)精確 3D 位姿，而是讓它從海量未標(biāo)注駕駛視頻里理解「運(yùn)動長什么樣」。這篇論文已被 CVPR 2026 接收，完整題目是 LA-Pose: Latent Action Pretraining Meets Pose Estimation。

論文標(biāo)題：LA-Pose: Latent Action Pretraining Meets Pose Estimation

• 項(xiàng)目地址：https://la-pose.github.io/
• 論文地址：https://arxiv.org/abs/2604.27448
• Wayve 博客：https://wayve.ai/thinking/la-pose/
• 作者：Zhengqing Wang, Saurabh Nair, Prajwal Chidananda, Pujith Kachana, Samuel Li, Matthew Brown, Yasutaka Furukawa
• 機(jī)構(gòu)：Wayve、Simon Fraser University
• 會議：CVPR 2026

一句話概括這篇論文

LA-Pose 先從約 1000 萬段未標(biāo)注駕駛視頻中自監(jiān)督學(xué)習(xí)「潛在動作」表示，再用少量 3D 標(biāo)注訓(xùn)練一個輕量級位姿預(yù)測頭，把視頻里的運(yùn)動規(guī)律轉(zhuǎn)化為準(zhǔn)確、高效、可泛化的相機(jī)位姿估計能力。

為什么這件事難

相機(jī)位姿估計要回答的是：相機(jī)從上一幀到下一幀，到底移動了多遠(yuǎn)、轉(zhuǎn)了多少角度？這聽起來像一個幾何問題，但在真實(shí)道路上，情況遠(yuǎn)比干凈數(shù)據(jù)集復(fù)雜。夜間、雨天、隧道、擁擠城市道路、山路和鄉(xiāng)村道路都會出現(xiàn)，視覺外觀變化很大，傳統(tǒng)監(jiān)督訓(xùn)練很難靠有限標(biāo)注覆蓋所有情況。

LA-Pose 的出發(fā)點(diǎn)是，真實(shí)駕駛視頻本身已經(jīng)包含了大量運(yùn)動線索。車輛向前開、轉(zhuǎn)彎、減速、駛?cè)胨淼?，畫面都會隨時間發(fā)生規(guī)律變化。問題不一定是「怎樣標(biāo)更多 3D 數(shù)據(jù)」，也可以是「怎樣讓模型先從普通視頻里學(xué)會運(yùn)動」。

核心方法：先學(xué)運(yùn)動，再學(xué)位姿

圖：LA-Pose 的兩階段方法。

LA-Pose 分成兩個階段。

第一階段是 Latent Action Pretraining。研究團(tuán)隊(duì)用約 1000 萬段未標(biāo)注駕駛視頻片段進(jìn)行自監(jiān)督預(yù)訓(xùn)練，讓模型學(xué)習(xí)一種「潛在動作」表示?？梢园阉斫鉃橄噜彯嬅嬷g運(yùn)動變化的緊湊編碼：車輛是否在左轉(zhuǎn)、右轉(zhuǎn)、直行、減速，畫面結(jié)構(gòu)如何隨時間變化，這些信息不需要人工寫成標(biāo)簽，而是天然藏在視頻序列里。

具體來說，LA-Pose 訓(xùn)練了一個逆向 - 正向動力學(xué)系統(tǒng)。模型看到連續(xù)視頻幀后，需要捕捉「當(dāng)前畫面如何變化到下一幀」的規(guī)律。它不知道車輛的精確速度、航向角或 3D 位姿，也沒有被提供位姿標(biāo)簽；它只是通過觀看大量駕駛視頻，逐漸學(xué)會哪些視覺變化對應(yīng)哪些運(yùn)動模式。

第二階段再把這種運(yùn)動表示用于位姿估計。研究者凍結(jié)預(yù)訓(xùn)練得到的運(yùn)動編碼器，只在其上接一個輕量級位姿預(yù)測頭，并用少量高質(zhì)量 3D 標(biāo)注微調(diào)。這個預(yù)測頭會把潛在動作轉(zhuǎn)換為相機(jī)位姿，包括相對平移、旋轉(zhuǎn)、視場角和尺度。整個推理過程仍然是前饋式的，因此更接近實(shí)際部署對效率的要求。

沒有位姿標(biāo)簽，也能長出運(yùn)動結(jié)構(gòu)

圖：潛在動作空間中自然浮現(xiàn)的運(yùn)動結(jié)構(gòu)。

這篇論文里最直觀的結(jié)果之一，是潛在動作空間自己長出了結(jié)構(gòu)。

當(dāng)研究者把學(xué)到的潛在動作可視化到二維空間后，相似動作會自然聚在一起，不同區(qū)域?qū)?yīng)直行、左轉(zhuǎn)、右轉(zhuǎn)、停止等駕駛行為。這說明模型并不只是記住畫面外觀，而是在沒有 3D 標(biāo)注的情況下，學(xué)到了具有幾何意義的運(yùn)動先驗(yàn)。

另一個有意思的發(fā)現(xiàn)是：表示并不是越大越好。LA-Pose 的實(shí)驗(yàn)顯示，一個 50 維的潛在空間瓶頸，雖然不一定最擅長重建畫面細(xì)節(jié)，卻比更高維的表示更適合后續(xù)位姿估計。壓縮迫使模型丟掉一部分外觀信息，留下更關(guān)鍵的運(yùn)動結(jié)構(gòu)。

結(jié)果：更少標(biāo)注，更高精度

實(shí)驗(yàn)結(jié)果顯示，LA-Pose 在 Waymo 和 PandaSet 等自動駕駛基準(zhǔn)上，相比近期前饋式方法取得超過 10% 的位姿精度提升，同時所需標(biāo)注數(shù)據(jù)少了多個數(shù)量級。

更重要的是，在沒有參與訓(xùn)練的 PandaSet 上，LA-Pose 依然超過基線方法，展示出較強(qiáng)的跨數(shù)據(jù)集泛化能力。對于自動駕駛來說，這一點(diǎn)很關(guān)鍵：系統(tǒng)不能只在熟悉數(shù)據(jù)集里表現(xiàn)穩(wěn)定，也要能面對新的城市、道路形態(tài)和天氣條件。

意義：把未標(biāo)注視頻變成幾何能力

為了更直觀看到這種泛化能力，Wayve 還展示了 LA-Pose 與 VGGT 在不同真實(shí)道路場景中的對比：雨天高速出口與環(huán)島、德國鄉(xiāng)村窄路。 LA-Pose 的價值在于，它把「未標(biāo)注視頻規(guī)?！罐D(zhuǎn)化成了幾何視覺能力。車輛每天在真實(shí)世界中產(chǎn)生的視頻，本身就包含豐富的運(yùn)動信息。只要模型能從中學(xué)到緊湊、可遷移的運(yùn)動表示，再用少量標(biāo)注把這種表示落到真實(shí)尺度上，就有可能改變幾何感知系統(tǒng)的訓(xùn)練成本和擴(kuò)展路徑。

當(dāng)然，LA-Pose 還不是終點(diǎn)。Wayve 在博客中提到，模型目前在倒車運(yùn)動上仍會出現(xiàn)退化，一個原因是倒車在后訓(xùn)練數(shù)據(jù)中相對少見。團(tuán)隊(duì)認(rèn)為，下一步需要繼續(xù)擴(kuò)大預(yù)訓(xùn)練和后訓(xùn)練數(shù)據(jù)，并把這種逆向動力學(xué)預(yù)訓(xùn)練拓展到機(jī)器人采集視頻、手持視頻等更廣泛的動態(tài)視覺場景。

但這篇工作的信號已經(jīng)很清楚：幾何視覺不一定只能從昂貴標(biāo)注開始。運(yùn)動本身就是監(jiān)督信號，而真實(shí)世界的視頻中到處都有運(yùn)動。

結(jié)語：運(yùn)動本身就是信號

如果 LA-Pose 的方向繼續(xù)成立，未來的自動駕駛系統(tǒng)也許可以更少依賴為每個城市、每類場景重新構(gòu)建昂貴 3D 標(biāo)注集，而是從不斷增長的真實(shí)駕駛視頻中學(xué)習(xí)更通用的幾何先驗(yàn)。

這也是「Latent Action Pretraining Meets Pose Estimation」這個題目的意義：潛在動作不再只是世界模型或策略網(wǎng)絡(luò)里的動作條件，它也可以成為連接視頻規(guī)模與 3D 幾何理解的一座橋。