Body Tracking from Moving Camera: How AI Handles Dynamic Footage

움직이는 카메라 모션 캡처란?

움직이는 카메라 모션 캡처는 카메라의 위치, 방향, 초점 거리 또는 이 세 가지의 조합이 변하는 비디오에서 수행되는 마커리스 모션 캡처입니다. 소스는 핸드헬드 폰 클립, 짐벌 추적 샷, 돌리 무브, 팬이나 틸트, 드론 샷 또는 점진적인 줌이 있는 영상일 수 있습니다.

고정된 샷에서는 배경이 대부분 고정되어 있고 퍼포머가 보이는 움직임의 대부분을 생성합니다. 동적 영상에서는 피사체와 시점이 모두 움직입니다. 이로 인해 동적 바디 트래킹은 공동 추론 문제가 됩니다. AI는 카메라가 이미지를 어떻게 변화시키는지 설명하면서 신체의 관절 포즈를 복구해야 합니다.

이는 기존 스튜디오 모션 캡처와 다릅니다. 광학 시스템은 일반적으로 마커, 보정된 카메라 및 통제된 캡처 볼륨을 사용합니다. AI 비디오 모션 캡처는 일반 RGB 비디오에서 움직임을 추정하여 기존 영상과 가벼운 제작 설정에 훨씬 더 접근하기 쉽게 만듭니다. 그 대가로 단일 비디오는 완전한 깊이 정보를 직접 포함하지 않으며, 실제 영상은 블러, 가림, 크롭, 변화하는 원근을 포함할 수 있습니다.

동적 영상이 추적하기 더 어려운 이유

모든 프레임은 3D 장면의 2D 투영을 기록합니다. 카메라가 움직이면 화면상 배우의 겉보기 경로는 더 이상 세계 속 배우의 경로와 같지 않습니다.

뒤로 걸으면서 달리는 사람을 촬영한다고 상상해 보세요. 달리는 사람은 장면을 빠르게 이동하면서도 프레임 중앙에 가까이 머물 수 있습니다. 포즈 트래커는 여전히 구부러진 무릎과 흔들리는 팔을 식별할 수 있지만, 신뢰할 수 있는 루트 변환을 위해서는 카메라 움직임, 스케일, 지면 접촉 및 시간에 따른 움직임에 대한 더 넓은 이해가 필요합니다.

다섯 가지 모호성의 원인

• 카메라 이동 및 회전: 팬, 틸트, 아크, 전진 움직임이 전체 뷰를 이동시킵니다.
• 깊이 모호성: 단일 RGB 카메라는 거리를 직접 측정하지 않으므로 유사한 2D 이미지를 설명할 수 있는 여러 3D 포즈가 있을 수 있습니다.
• 변화하는 스케일: 카메라나 피사체가 가까워지거나 멀어짐에 따라 퍼포머가 프레임에서 커지거나 작아집니다.
• 모션 블러 및 롤링 셔터: 빠른 핸드헬드 움직임은 랜드마크를 부드럽게 만들거나 직선 움직임을 왜곡할 수 있습니다.
• 가림 및 크롭: 팔다리가 교차하거나, 소품이 관절을 숨기거나, 퍼포머가 프레임을 벗어날 수 있습니다.

연구 시스템은 이 문제를 명시적으로 만듭니다. 예를 들어, CVPR 2023 SLAHMR 연구에서는 인지된 카메라 프레임 모션을 인간 모션과 카메라 모션의 합성으로 설명하는 반면, CVPR 2024 WHAM 프로젝트는 인간 모션 증거를 추정된 카메라 각속도 및 발-지면 접촉과 결합하여 세계에 고정된 궤적을 복구합니다.^{3, 4} 이러한 논문은 더 넓은 기술적 방향을 설명합니다. 상용 시스템은 다른 독점 아키텍처를 사용할 수 있습니다.

AI가 움직이는 카메라에서 바디 트래킹을 처리하는 방법

단일 보편적인 파이프라인은 없지만, 최신 시스템은 일반적으로 다음 단계 중 여러 단계를 결합합니다. 이를 순서로 생각하면 오류가 어디서 발생하는지 이해하기 쉽습니다.

1. 퍼포머 감지 및 추적

   시스템은 먼저 각 사람을 찾고 프레임 전체에서 일관된 ID를 유지합니다. 카메라가 다시 프레이밍하거나, 퍼포머가 돌아서거나, 여러 사람이 교차할 때 안정적인 ID 추적이 중요합니다.

2. 보이는 신체 랜드마크 추정

   포즈 모델은 엉덩이, 무릎, 발목, 어깨, 팔꿈치, 손목과 같은 관절에 대한 증거를 식별합니다. 이는 관찰일 뿐, 아직 최종 3D 애니메이션이 아닙니다.

3. 2D 증거를 3D 포즈로 리프트

   AI는 학습된 신체 비율, 포즈 패턴, 이미지 특징 및 원근 신호를 사용하여 깊이를 추론하고 2D 프레임에서 3D 골격 또는 신체 모델을 추정합니다.

4. 시간적 추론

   시간적 모델은 이웃 및 이전 프레임을 비교합니다. 이는 모션 연속성을 유지하고, 짧은 간격을 채우며, 각 프레임을 관련 없는 포즈로 취급하지 않도록 도와줍니다. 그럴듯한 걸음은 시퀀스 전체에서 그럴듯한 걸음으로 유지되어야 합니다.

5. 카메라 움직임 추정

   일부 접근 방식은 배경 특징, 광학 흐름, 시각적 주행 거리 측정 또는 SLAM(동시적 위치 추적 및 지도 작성)을 사용하여 시점이 어떻게 변하는지 추론합니다. 다른 접근 방식은 카메라 인식 모션을 공동으로 학습합니다. 목표는 동일합니다. 퍼포머에게 모션을 할당하기 전에 카메라로 인한 모션을 설명하는 것입니다.

6. 루트 모션 및 지면 접촉 해결

   신체는 일관된 좌표계에 배치되고 루트 궤적이 제공됩니다. 발-접촉 추정은 발이 언제 고정되어야 하는지 결정하는 데 도움을 주어 드리프트와 발 미끄러짐을 줄입니다.

7. 모션 변환 및 리타겟팅

   해결된 퍼포먼스는 편집 가능한 골격 애니메이션이 됩니다. 그런 다음 캐릭터 리그에 매핑되고, 검토되며, 3D 패키지나 게임 엔진에서 정제될 수 있습니다.

AI 비디오 모션 캡처에서 정적 카메라 vs. 움직이는 카메라

움직이는 카메라가 자동으로 나쁜 입력인 것은 아닙니다. 퍼포머가 잘 보이는 부드러운 추적 샷은 심한 가림, 조명 불량, 심한 블러가 있는 고정 카메라 뷰보다 해결하기 쉬울 수 있습니다. 입력 품질은 단일 설정이 아닌 여러 요인의 조합입니다.

더 나은 움직이는 카메라 모션 캡처 영상 촬영 방법

AI는 많은 실제 조건을 보완할 수 있지만, 프레임에 도달하지 않는 시각적 증거를 복구할 수는 없습니다. 다음 촬영 선택은 모델에 더 강력한 정보를 제공하고 나중에 애니메이션 정리를 줄여줍니다.

• 전신을 볼 수 있도록 유지하세요. 전신 캡처의 경우 머리, 손, 발을 포함하고 퍼포머 주위에 약간의 안전 여백을 두세요.
• 카메라를 부드럽고 의도적으로 움직이세요. 짐벌이 도움이 되지만 필수는 아닙니다. 가능하면 갑작스러운 휩 팬과 반복적인 방향 변경을 피하세요.
• 선명한 노출을 위해 충분한 조명을 사용하세요. 더 나은 조명은 더 빠른 셔터를 지원하고 손과 발 주변의 모션 블러를 줄입니다.
• 배경 디테일을 보존하세요. 완전히 특징이 없는 벽, 반사 표면 또는 심하게 흐릿한 배경은 카메라 움직임에 대한 약한 증거를 제공할 수 있습니다.
• 긴 가림을 피하세요. 짧은 팔 교차는 정상입니다. 많은 프레임 동안 소품이나 다른 사람 뒤에 몸의 대부분을 숨기는 것은 더 어렵습니다.
• 공격적인 줌을 제한하세요. 점진적인 초점 거리 변화는 카메라 이동과 결합된 빠른 줌보다 해석하기 쉽습니다.
• 피사체를 읽을 수 있을 만큼 충분히 크게 유지하세요. 멀리 있는 퍼포머는 신뢰할 수 있는 손, 발 및 관절 각도를 위한 픽셀이 너무 적을 수 있습니다.
• 깔끔한 액션 윈도우를 녹화하세요. 배우에게 명확한 시작 포즈를 주고, 전체 움직임을 캡처하며, 퍼포먼스 전후에 짧은 버퍼를 남기세요.
• 관절 구조를 숨기는 헐렁한 옷을 피하세요. 명확한 팔다리 실루엣은 모델이 팔꿈치, 무릎 및 엉덩이 방향을 읽는 데 도움이 됩니다.
• 최종 프레임 속도를 미리 결정하세요. 일관된 소스 및 대상 프레임 속도는 내보내기 및 리타겟팅 중 불필요한 타이밍 변환을 줄입니다.

QuickMagic에서의 움직이는 카메라 워크플로우

QuickMagic AI 바디 트래킹은 모션 캡처 슈트, 마커, 깊이 하드웨어 또는 멀티 카메라 스튜디오 없이 휴대폰, 웹캠 또는 카메라의 적합한 영상을 편집 가능한 3D 바디 모션으로 변환합니다. 공식 워크플로우에는 정적 및 움직이는 카메라 모드와 전신, 상반신, 지원되는 다중 피사체 옵션이 포함됩니다.¹

1. 소스 클립을 검토하세요. 신체 가시성, 블러, 가림, 피사체 겹침 및 샷이 정적 또는 움직이는 카메라를 사용하는지 확인하세요.
2. 비디오를 업로드하세요. 휴대폰, 웹캠, DSLR 또는 일반 카메라로 녹화된 지원되는 소스를 사용하세요.
3. 올바른 트래킹 설정을 선택하세요. 퍼포머, 전신 또는 상반신 처리, 프레임 속도, 카메라 모드 및 사용 가능한 정리 설정을 선택하세요.
4. 모션을 생성하고 미리보기하세요. 단일 프레임만 판단하지 말고 관절 동작, 신체 방향, 글로벌 이동 및 중요한 접촉을 검사하세요.
5. 보이는 오류를 수정하세요. 지원되는 경우 트래킹 문제를 수정한 다음 캐릭터가 루트 이동을 유지할지 제자리에서 움직일지 결정하세요.
6. 대상에 맞게 내보내세요. 대상 워크플로우에 사용 가능한 형식 또는 사전 설정을 선택하세요. QuickMagic는 Blender, Unreal Engine, Unity, Maya, 3ds Max, MotionBuilder, Cascadeur, iClone, MMD 및 Roblox를 위한 FBX 및 워크플로우별 옵션을 제공합니다. 가용성은 요금제 및 워크플로우에 따라 다릅니다.¹
7. 리타겟팅하고 마무리하세요. 모션을 리깅된 캐릭터에 적용하고 샷 요구 사항에 따라 발 접촉, 루트 모션, 지터, 손 배치 또는 메쉬 교차를 정리하세요.²

가장 유용한 품질 확인은 나란히 검토하는 것입니다. 소스 퍼포머, 추적된 골격 및 리타겟된 캐릭터를 동시에 비교하세요. 이렇게 하면 캡처 오류와 불일치하는 비율이나 관절 방향과 같은 리타겟팅 문제를 분리할 수 있습니다.

일반적인 움직이는 카메라 트래킹 문제 및 해결 방법