Holistic AI Tracking for Robotics: Human Reference Motion Data

機器人學的整體式 AI 追蹤：人類參考動作資料

教導人形機器人如何移動的能力——不是透過手動編寫每個關節軌跡，而是向它展示人類如何移動——代表了現代機器人學中最重大的轉變之一。這場轉變的核心是人類參考動作資料：以高保真度記錄的人類動作，作為機器人控制策略的訓練訊號。而讓這類資料得以大規模擷取的技術，就是整體式 AI 追蹤。

在本文中，我們將剖析整體式追蹤對機器人學的意義、AI 驅動的動作捕捉如何產生可直接供機器人使用的參考資料，以及像 QuickMagic 這樣的平台如何讓這套流程得以被研究 Unitree 人形機器人及其他機型的研發人員與工程師所用。

什麼是機器人學中的整體式追蹤？

整體式追蹤指的是捕捉人類主體的完整動作——每個關節、每個肢體、每一根手指，以及身體在空間中的移動軌跡——並將其轉換為機器人可據以學習的結構化資料。「整體式」這個詞在這裡至關重要。傳統動作捕捉系統往往只聚焦於單一面向：沒有手部資訊的全身骨骼追蹤，或缺乏身體脈絡的手部追蹤，或孤立進行的臉部捕捉。整體式追蹤則將一切同時捕捉下來，保留讓動作看起來自然的人體部位之間的相互关系。

對機器人學而言，這種完整性並非奢侈，而是必要條件。當機器人學習倒一杯水時，它需要知道軀幹如何傾斜、手臂如何伸展、手指如何握住把手，以及重心如何透過雙腳轉移——而且必須同時掌握。片面的資料只會產生片面的行為；整體式資料才能產生協調一致、全身性的技能。

機器人學整體式追蹤的核心組成部分包括：

• 全身骨骼追蹤：所有主要身體部位的關節角度與位置——頭部、軀幹、手臂、腿部、腳部——重建為 3D 骨骼動畫。
• 手部與手指追蹤：各別手指關節角度、手腕旋轉以及抓握姿態——這對操作任務與靈巧抓取至關重要。
• 全域軌跡追蹤：身體隨時間在世界空間中的位置與朝向，而不只是相對的關節運動。這正是告訴機器人它在房間中位於何處的資訊，而不只是它的四肢如何擺放。
• 時間一致性：逐格的動作必須平滑且符合物理，沒有會讓學習演算法混淆的突然跳動或抖動。

為什麼人類參考動作資料對機器人如此重要

機器人學習移動的方式與人類不同。人類嬰兒透過嘗試、錯誤與模仿，花費數年發展動作控制能力。相較之下，機器人通常是透過強化學習（RL）來學習——這是一個在模擬中嘗試數千種動作、對成功動作給予獎勵，並逐步發展出將感測輸入對應到馬達指令之控制策略的過程。

問題在於，從零開始的強化學習極其昂貴。可能動作的搜尋空間大到天文數字。若缺乏指引，機器人可能要花上數百萬次模擬回合，才發現走路需要彎曲膝蓋——而這正是人類幼童透過觀察他人就能領會的事情。

這正是機器人動作捕捉參考資料改變局勢的地方。機器人不再是從零學起，而是被賦予人類動作作為參考訊號——一個要追蹤的目標。強化學習策略不僅因保持站立而獲得獎勵，更因盡可能貼近參考動作而獲得獎勵。這大幅縮小了搜尋空間。機器人不需要自己發明走路的方式，它只需要將人類的走路方式調適到自己的身體上。

研究一再顯示，以參考動作引導的強化學習所產生的結果，遠優於從零開始的學習。具里程碑意義的 BeyondMimic 框架及其後續成果證明，人形機器人可以透過追蹤重定向後的人類動作資料，學會複雜且具動態性的動作——包括武術、舞蹈與翻滾特技。更新的研究如 OmniTrack（CVPR 2025）則顯示，符合物理的參考資料能讓 Unitree G1 做出側手翻，並連續奔跑超過一小時。

從人類動作到機器人動作：重定向流程

捕捉人類動作只是第一步。人類與機器人的身體有根本上的差異。人體骨骼有超過 200 個關節，各有特定的活動範圍、重量分布與驅動強度。Unitree G1 依配置不同有 23 至 43 個自由度；Unitree H1 則有 27 個。從人類身上捕捉到的動作資料無法直接套用到機器人身上——它必須經過重定向。

重定向是將人類關節動作對應到機器人運動學結構的過程，涉及：

1. 身體對應：辨識哪些人類關節對應到哪些機器人關節。人類的肩膀對應到機器人的肩膀，但人類肩胛骨的 3 自由度活動可能需對應到機器人肩膀的 2 自由度——這就需要簡化。
2. 縮放與比例調整：人類手臂比 Unitree G1 的手臂長。肢體長度必須縮放，讓動作符合機器人的幾何結構。
3. 關節極限強制：如果人類的髖部旋轉超出機器人的物理極限，重定向後的動作必須被箝制或調整，以防止發出不可能的指令。
4. 足部接觸處理：人類的腳以特定模式接觸地面。重定向後的動作必須確保機器人的腳與地面有適當接觸——不能懸空，也不能穿透。
5. 防穿透修正：肢體不應彼此穿過，也不應穿過機器人自身軀體。優質的重定向包含碰撞偵測與修正。

2025 與 2026 年發表的研究清楚指出，重定向品質直接決定策略表現。研究《Retargeting Matters: General Motion Retargeting for Humanoid Motion Tracking》（Stanford HAI, 2025）比較了三種重定向方法——PHC、ProtoMotions 以及一種名為 GMR 的新方法——發現重定向資料中的瑕疵（地面穿透、自我交疊、關節突然跳動）會顯著降低學得策略的穩健性。在某些案例中，糟糕的重定向甚至讓機器人完全無法學會該動作。

這就是為什麼能自動處理重定向的平台——將人類動作對應到 Unitree G1、H1 或 H1_2 等特定機器人模型——能提供巨大的價值。它們從研究者的工作流程中移除了一個複雜且容易出錯的步驟，並產出可直接在模擬環境中使用的資料。

傳統動作捕捉 vs. AI 驅動的無標記捕捉

數十年來，動作捕捉的黃金標準一直是光學標記式系統：在特定身體標誌點貼上反光標記，由受控攝影棚內陣列排列的校正紅外線攝影機進行追蹤。像 OptiTrack 與 Vicon 這類系統能提供亞毫米級精度，但有明顯的限制：

取捨很清楚。傳統系統在原始精度上勝出；AI 無標記系統則在易用性、可擴展性與成本上勝出。對機器人學研究而言——其目標往往是產生大量且多樣的訓練資料集，而非在單次捕捉上達到基準級精度——AI 驅動捕捉的優勢具有決定性。

一個需要 100 種不同走路風格來訓練通用移動策略的研究團隊，不可能實際把 100 位受測者帶進動作捕捉攝影棚。但他們可以用手機錄下 100 段影片、上傳到無標記平台，然後為每一段取得重定向後的機器人動作資料。這正是 Unitree 動作捕捉 AI 工作流程所能實現的可擴展性。

Unitree 機器人整合：從人類動作到 G1、H1 與 H1_2

Unitree Robotics 已成為學術與產業研究中最廣泛使用的人形機器人平台之一。Unitree G1——高 132 公分、重約 35 公斤、依配置具備 23 至 43 個自由度——已成為雙足移動研究的參考平台，光是 2025 年就有來自加州理工學院、上海交通大學、香港大學與康乃爾大學等機構發表的 30 多篇同儕審查論文。Unitree H1 與 H1_2——身高 180 公分的全尺寸人形機器人——則用於全身操作與動態移動任務。

將 AI 動作捕捉與 Unitree 機器人整合，涉及一套特定的流程：

1. 捕捉

使用任何攝影機來源——智慧型手機、網路攝影機或專業攝影機——將人類動作錄製為影片。關鍵要求是主體清晰可見、光線合理，以及影格率至少 30 FPS（快速動作建議 60 FPS 或更高）。

2. AI 處理

影片由 AI 模型處理，逐格偵測身體標誌點、重建 3D 骨骼動畫，並套用防穿透修正以確保動作符合物理。輸出為 BVH 或 FBX 等標準格式的全身動作序列。

3. 重定向至機器人運動學

人類動作會被重定向到特定 Unitree 模型的運動學結構。例如，Unitree G1 的 29 自由度 EDU 配置，其關節極限與肢體比例就與 H1 的 27 自由度結構不同。重定向過程會縮放人類動作以符合這些限制，產生機器人在物理上可達成的關節角度軌跡。

4. 以機器人相容格式匯出

重定向後的動作會以機器人模擬與訓練框架可直接使用的格式匯出。QuickMagic 的 UniRobot 匯出預設集負責這一步，產生符合 Unitree G1、H1 與 H1_2 規格的資料，以供 Isaac Gym、MuJoCo 及 Unitree RL GYM 使用。

5. 訓練與部署

重定向後的參考動作可作為強化學習動作模仿的追蹤目標。策略會學習盡可能貼近參考動作，同時維持平衡並尊重機器人的物理動態。訓練完成後，策略可透過 Unitree SDK 部署到實體機器人上。

這套流程——從影片捕捉到機器人部署——如今已可在完全沒有傳統動作捕捉硬體的情況下完成。一位擁有 Unitree G1、一台手機攝影機與一個瀏覽器式 AI 動作捕捉平台的研究者，就能產生訓練資料、執行模擬，並將策略部署到實體機器人上。

應用場景：整體式追蹤與機器人學習交會之處

模仿學習

模仿學習——也稱為行為複製——訓練機器人重現被示範的行為。整體式人類動作資料提供了這些示範。對人形機器人而言，這意味著不只學習要做什麼（拿起杯子），還要學習如何以類人的動作品質去做——重心的轉移、伸手的軌跡、抓握的形成。整體式資料的豐富性（身體 + 手部 + 軌跡）能產生比僅有身體資料更自然、更具泛化能力的行為。

以參考追蹤進行的強化學習

在以強化學習為基礎的動作模仿中，機器人的策略被訓練來追蹤參考動作，同時維持物理穩定性。參考動作可作為獎勵訊號：機器人的動作越貼近參考，獎勵越高。這種方法已在多個框架——BeyondMimic、OmniTrack、OmniH2O——以及多個機器人平台上得到驗證， consistently 產生比從零開始的強化學習更穩健、更自然的策略。

行為原型設計

在投入完整、可能耗費數小時甚至數天 GPU 時間的強化學習訓練之前，研究者可以利用參考動作資料來製作行為原型。機器人的運動學結構是否支援這個動作？是否存在關節極限違規？這個動作在動態上是否會穩定？透過先在模擬中測試參考資料，研究者可以及早過濾掉不可行的動作，並將訓練資源集中在成功機率高的動作上。

遙操作與人類迴路控制

即時人類動作追蹤可實現遙操作：人類操作者的動作被即時捕捉並對應到機器人，讓操作者能直接控制機器人執行複雜任務。像 TWIST2（2025）這樣的系統證明，以 VR 為基礎的全身遙操作可在 20 分鐘內收集 100 組雙手操作示範，成功率接近 100%——這種資料收集效率在以人工編寫機器人程式的方式下是不可能達成的。

技能庫建構

隨著機器人學朝通用型人形平台發展，建立與維護可重複使用動作技能庫的能力變得至關重要。整體式追蹤讓多樣人類動作——走路、跑步、蹲下、伸手、抓取、投擲——得以系統性地捕捉，並可被編目、重定向到不同機器人模型，並依需求取出用於訓練或直接部署。

資料品質：什麼樣的參考動作才適合機器人訓練

並非所有動作資料對機器人學習都同樣有用。參考資料的品質直接影響學得策略的品質。根據近期機器人學研究的發現，以下品質標準至關重要：

• 物理可行性：動作必須是實體身體可達成的——不能懸空、不能穿透地面、不能自我交疊。不符合物理的參考資料會迫使強化學習策略同時學習動作與修正不可能的物理，導致表現下降。
• 關節極限合規：重定向資料中的每個關節角度都必須落在機器人的機械範圍內。超出極限的關節值會在訓練期間產生 NaN 錯誤或異常行為。
• 時間平滑性：關節角度的突然跳動——即使是單格的斷續——都會在強化學習訓練中造成不穩定。動作資料應經過濾以去除抖動，並在缺格處進行內插。
• 足部接觸準確性：對移動任務而言，足部接觸的時機與位置必須正確。腳滑（腳在應該踏穩時滑動）是最常見、也最會降低移動策略品質的瑕疵之一。
• 多樣性：只用單一走路風格訓練出來的策略，只會產生那一種風格。以多樣的參考資料——不同速度、不同地形、不同動作類型——進行訓練，才能產生可適應新情境的通用策略。

AI 動作捕捉平台會自動處理其中數項標準。防穿透系統可防止肢體彼此穿過；重定向預設集會強制執行關節極限；雲端處理則支援多樣動作集的批次捕捉。但人類研究者仍在品質保證上扮演角色——在投入訓練之前，先在模擬中預覽重定向後的動作。

具身落差與如何跨越它

即使有完美的動作捕捉與完美的重定向，仍存在一個根本挑戰：具身落差。人類與機器人並不相同。人類的質心與 Unitree G1 不同。人類肌肉產生力量的方式與電動馬達不同。人類關節的阻尼特性也與機器人關節不同。

當你要求機器人「追蹤這段人類動作」時，你其實是在隱含地要求它做一件它的身體並非為之而設計的事。這可能導致：

• 懸空：參考動作讓機器人處於空中，但其重量顯示它應該在地面上。
• 穿透：重定向後的關節角度導致機器人的肢體穿過自身軀體或地板。
• 腳滑：因為人類的步態模式與機器人的步幅長度不符，導致機器人的腳滑動。

近期研究已透過符合物理的參考生成來處理這項落差。例如，OmniTrack 框架（CVPR 2025）採用兩階段方法：首先，一個擁有特權資訊的策略在物理模擬器中「想像」機器人實際上會如何執行該人類動作，產出一個看起來像原始人類動作、但遵循機器人物理的動作。接著，第二階段策略學習僅使用本體感覺資料（機器人實際能感測到的資訊）來追蹤這個符合物理的參考。這種解耦——將「這個動作在物理上是否可能？」與「機器人能否追蹤它？」分開處理——已產生最先進的成果，包括 Unitree G1 做出側翻、側手翻，以及在戶外連續奔跑 60 分鐘。

對使用 AI 動作捕捉的研究者來說，實際的意涵很單純：原始的人類到機器人重定向提供了初始參考，而基於物理的細化（無論是透過模擬推演或學習式細化策略）則產生最終可部署的參考動作。這兩個步驟都受益於擁有高品質的來源資料——而這正是 AI 動作捕捉平台之捕捉品質發揮作用的地方。

從文字到動作：擴展資料流程

除了以影片為基礎的捕捉之外，部分 AI 動作捕捉平台現在也支援文字轉動作生成——能夠以自然語言描述一個動作，並讓 AI 依該描述生成 3D 動作序列。這為機器人學開啟了一個互補的資料來源：

• 快速原型設計：描述一個動作（「向前走，然後蹲下並伸手拿地上的物品」），立刻取得動作草稿以在模擬中測試。
• 合成資料擴增：生成同一動作的變體（不同速度、不同伸手角度），無需錄製新影片。
• 動作缺口填補：當你需要一段難以用影片捕捉的特定動作時，文字轉動作可生成合理的近似版本。

雖然就動作品質與真實感而言，文字轉動作尚無法取代真實的人類捕捉，但它提供了有價值的補充——尤其是在早期原型設計，以及為現代機器人學習所需產生大量多樣訓練資料方面。

AI 驅動機器人動作資料的未來

這個領域的發展軌跡很明確。有數個匯聚的趨勢正讓機器人學的整體式 AI 追蹤變得更強大、更容易取得：

1. 硬體普及化。人形機器人正變得更便宜、更強大。Unitree G1 起價 13,500 美元——只是五年前研究級人形機器人成本的一小部分。隨著更多實驗室與企業取得人形平台，對可負擔動作資料的需求將會成長。

2. 模擬到現實的移轉趨於成熟。模擬與現實之間的落差正在縮小。BeyondMimic、OmniTrack 與 Unitree RL GYM 等框架已證明複雜動作可達成可靠的模擬到現實移轉。這意味著在模擬中產生的參考資料——來自 AI 動作捕捉或文字轉動作——可以越來越有信心地部署到實體機器人上。

3. 機器人學習的基礎模型。以大量人類示範資料集訓練的視覺－語言－動作模型，正開始跨任務與跨機器人具身進行泛化。這些模型需要的正是整體式追蹤所產生的那類資料：豐富、多模態、與任務脈絡配對的全身動作紀錄。

4. 開源生態系。Unitree 已開源資料集、模型（UnifoLM-VLA-0）與訓練框架（Unitree RL GYM）。由社群建構的流程，例如 G1 Moves 資料集——為 G1 提供的 61 段動作捕捉片段，並附有從捕捉、重定向、訓練到部署的完整流程——證明整個技術堆疊如今已可供個別研究者使用，而不只是資源充裕的實驗室。

結果是一個良性循環：更好的 AI 追蹤工具產生更多資料，更多資料訓練出更好的策略，更好的策略帶動對更精密機器人的需求，而更多機器人又創造了對更好追蹤工具的需求。整體式 AI 追蹤正位於這個循環的中心，將人類動作轉化為驅動機器人學習的燃料。

開始將 AI 動作捕捉用於機器人學

如果你正在使用人形機器人，並想將 AI 生成的參考動作納入你的訓練流程，以下是實用的起步方法：

1. 錄製參考影片。使用手機或攝影機，置於胸部高度，距離主體 2–3 公尺，並拍下全身。若可能，以 60 FPS 拍攝。開頭請包含 2–3 秒的中性站姿，以供校正之用。
2. 以 AI 動作捕捉處理。將影片上傳至無標記動作捕捉平台。選擇全身捕捉模式，並將影格率設定為與你的模擬環境相符。
3. 使用機器人預設集匯出。使用平台的機器人匯出預設集（例如 Unitree G1、H1 或 H1_2 的 UniRobot 格式），以取得已重定向到機器人運動學結構的動作資料。
4. 在模擬中驗證。將動作資料匯入你的模擬環境（Isaac Gym、MuJoCo 或 Unitree RL GYM）。預覽動作，檢查是否有瑕疵、關節極限違規或穿透問題。
5. 以參考追蹤進行訓練。設定一次強化學習訓練，以該參考動作作為追蹤目標。使用能平衡動作追蹤準確度與物理穩定性的獎勵函數。
6. 部署到機器人。當策略在模擬中達到足夠表現後，透過 Unitree SDK 部署到實體機器人上。先從保守的增益值開始，隨著信心建立再逐步提高積極程度。

這套流程所需的工具——從捕捉到部署——如今對任何擁有機器人、攝影機與瀏覽器的人來說都可取得。進入門檻從未如此之低，而進展的速度也從未如此之快。