Body Tracking from Moving Camera: How AI Handles Dynamic Footage

什麼是動態攝影機動作捕捉？

動態攝影機動作捕捉是指在攝影機位置、方向、焦距或其中任意組合發生變化的影片上進行的無標記動作捕捉。來源可能是手持手機片段、雲台跟拍鏡頭、滑軌移動、搖攝或俯仰、無人機鏡頭，或帶有漸進變焦的片段。

在固定鏡頭中，背景大致保持不變，演員產生大部分可見運動。在動態片段中，主體和視角都會移動。這使得動態身體追蹤成為一個聯合推理問題：AI 必須在恢復身體關節姿勢的同時，考慮攝影機如何改變影像。

這與傳統的棚內動作捕捉不同。光學系統通常使用標記點、校準攝影機和受控的捕捉體積。AI 影片動作捕捉從一般的 RGB 影片估計運動，使現有片段和輕量化的製作設置更容易取得。代價是單一影片不直接包含完整的深度資訊，而真實世界的片段可能包含模糊、遮擋、裁切和變化的透視。

為什麼動態片段更難追蹤

每個影格記錄的是 3D 場景的 2D 投影。當攝影機移動時，演員在螢幕上的表觀路徑不再與演員在真實世界中的路徑相同。

想像一下，當你倒退走路時拍攝一名跑者。跑者可能即使在場景中快速移動，仍保持在畫面中央附近。姿態追蹤器仍然可以辨識彎曲的膝蓋和擺動的手臂，但可靠的根部平移需要對攝影機運動、比例、地面接觸以及隨時間變化的運動有更廣泛的理解。

五個模糊來源

• 攝影機平移與旋轉：搖攝、俯仰、弧形移動和前進運動會改變整個視野。
• 深度模糊：單一 RGB 攝影機無法直接測量距離，因此多個 3D 姿勢可能對應相似的 2D 影像。
• 比例變化：當攝影機或主體靠近或遠離時，演員在畫面中的大小會改變。
• 動態模糊與滾動快門：快速的手持運動可能會柔化特徵點或扭曲直線運動。
• 遮擋與裁切：肢體可能交叉、道具可能遮擋關節，或演員可能離開畫面。

研究系統明確說明了這個問題。例如，CVPR 2023 的 SLAHMR 工作將感知到的攝影機畫面運動描述為人體與攝影機運動的組合，而 CVPR 2024 的 WHAM 專案則結合人體運動證據、估計的攝影機角速度和腳部-地面接觸來恢復世界坐標中的軌跡。^{3, 4}這些論文說明了更廣泛的技術方向；商業系統可能使用不同的專有架構。

AI 如何處理動態攝影機的身體追蹤

雖然沒有單一的通用流程，但現代系統通常結合以下幾個階段。將它們視為一個序列有助於理解錯誤的來源。

1. 偵測並追蹤演員

   系統首先定位每個人，並在影格之間保持一致的身份。當攝影機重新構圖、演員轉身或多個人交叉時，穩定的身份追蹤很重要。

2. 估計可見的身體特徵點

   姿勢模型識別關節的證據，例如臀部、膝蓋、腳踝、肩膀、手肘和手腕。這些是觀測值，而不是最終的 3D 動畫。

3. 將 2D 證據提升為 3D 姿勢

   AI 使用學習到的人體比例、姿勢模式、影像特徵和透視線索來推斷深度，並從 2D 影格估計出 3D 骨架或身體模型。

4. 跨時間推理

   時間模型比較相鄰和更早的影格。這有助於保持運動連續性、填補短暫的空白，並避免將每個影格視為無關的姿勢。一個合理的步伐應該在整個序列中保持合理。

5. 估計攝影機運動

   一些方法使用背景特徵、光流、視覺里程計或同時定位與地圖構建（SLAM）來推斷視點如何變化。其他方法則聯合學習攝影機感知的運動。目標是一樣的：在將運動歸因於演員之前，先解釋由攝影機引起的運動。

6. 解算根部運動與地面接觸

   將身體置入一致的坐標系統並賦予根部軌跡。腳部接觸估計有助於確定腳何時應該保持踩地，從而減少漂移和腳滑動。

7. 轉換並重定向運動

   解算出的表演變成可編輯的骨骼動畫。然後可以將其映射到角色綁定，在 3D 軟體或遊戲引擎中檢視和細化。

靜態攝影機 vs. 動態攝影機用於 AI 影片動作捕捉

動態攝影機不一定是糟糕的輸入。一個平滑的跟拍鏡頭，演員清晰可見，可能比一個鎖定攝影機但嚴重遮擋、光線差或高度模糊的視角更容易解算。輸入品質是多種因素的組合，而不是單一設定。

如何錄製更好的動態攝影機動作捕捉片段

AI 可以補償許多現實條件，但無法恢復從未進入畫面的視覺證據。這些拍攝選擇為模型提供了更強的資訊，並減少了後續的動畫清理工作。

• 保持全身清晰可見。對於全身捕捉，包括頭部、手部和腳部，並在演員周圍留出少量安全邊距。
• 平穩且有目的地移動攝影機。雲台有幫助但非必要。盡量避免突然的甩鏡頭和重複的方向變化。
• 使用足夠的光線以獲得清晰的曝光。更好的光線有助於更快的快門速度，並減少手部和腳部周圍的動態模糊。
• 保留背景細節。完全無特徵的牆壁、反射表面或高度模糊的背景可能為攝影機運動提供微弱的證據。
• 避免長時間遮擋。短暫的肢體交叉是正常的；但將身體大部分藏在道具或其他人後面持續多個影格則較難處理。
• 限制劇烈變焦。漸進的焦距變化比快速變焦加上攝影機平移更容易解讀。
• 保持主體足夠大以便辨識。遠距離的演員可能包含過少的像素，無法可靠地辨識手部、腳部和關節角度。
• 錄製乾淨的動作窗口。給演員一個清晰的起始姿勢，捕捉完整的動作，並在表演前後留出短暫的緩衝。
• 避免遮蓋關節結構的寬鬆衣物。清晰的肢體輪廓有助於模型讀取手肘、膝蓋和臀部方向。
• 及早選擇最終幀率。一致的來源和目標幀率可減少導出和重定向時不必要的時間轉換。

在 QuickMagic 中的動態攝影機工作流程

QuickMagic AI 身體追蹤 可以將來自手機、網路攝影機或相機的合適片段轉換為可編輯的 3D 身體運動，無需動捕服、標記點、深度硬體或多攝影機棚。其官方工作流程包括靜態和動態攝影機模式，以及全身、上半身和支援的多主體選項。¹

1. 檢查來源片段。檢查身體可見性、模糊、遮擋、主體重疊，以及鏡頭是使用靜態還是動態攝影機。
2. 上傳影片。使用來自手機、網路攝影機、單眼相機或標準相機的支援來源。
3. 選擇正確的追蹤設定。選擇演員、全身或上半身處理、幀率、攝影機模式以及可用的清理設定。
4. 生成並預覽運動。檢查關節行為、身體方向、全局移動和重要的接觸，而不是僅判斷單一影格。
5. 修正可見錯誤。在支援的情況下修正追蹤問題，然後決定角色應該保留根部移動還是原地移動。
6. 導出至目標平台。為目標工作流程選擇可用的格式或預設。QuickMagic 列出了 FBX 和針對 Blender、Unreal Engine、Unity、Maya、3ds Max、MotionBuilder、Cascadeur、iClone、MMD 和 Roblox 等工具的特定工作流程選項；可用性因方案和工作流程而異。¹
7. 重定向並完成。將運動應用於綁定角色，並根據鏡頭需求清理腳部接觸、根部運動、抖動、手部位置或網格交錯。²

最有用的品質檢查是並排比較：同時比較來源演員、追蹤骨架和重定向後的角色。這有助於區分捕捉錯誤和重定向問題（如比例不匹配或關節方向錯誤）。

常見的動態攝影機追蹤問題——以及如何修正

何時應該使用動態攝影機？

當動態攝影機片段能提供固定鏡頭無法提供的資訊或創作價值時使用：跟隨跑者穿過空間、從邊線捕捉運動、保留電影式調度、處理存檔片段，或從現有製作片段中提取表演。

當你可以控制拍攝並希望為快速動畫製作提供最可預測的來源時，使用靜態攝影機。對於快速遊戲動畫捕捉、動作庫、重複鏡頭以及根部移動可以在畫面內安排的鏡頭，靜態構圖仍然是強大的預設選項。

實務上的答案不是「永遠不要移動攝影機」，而是「有目的地移動，保持演員可讀，並選擇專為動態片段設計的工作流程」。這樣的組合能讓動態攝影機動作捕捉最有機會產生穩定、可編輯的結果。

常見問題解答