Body + Hand Tracking Combined: Full-Character Animation in One Shot

바디 + 핸드 트래킹 결합: 한 번의 촬영으로 완성하는 풀캐릭터 애니메이션

대부분의 모션 캡처 파이프라인은 사람을 서로 다른 세 가지 문제로 취급합니다. 바디는 한 시스템으로, 손은 다른 시스템으로, 얼굴은 또 다른 시스템으로 처리하죠. 그런 다음 누군가가 타임라인에서 오후 내내 세 결과물을 서로 일치시키려고 씨름합니다. 이 글은 그 과정을 완전히 건너뛰는 방법 — 평범한 비디오 하나에서 바디, 손, 얼굴을 단일 통합 패스로 캡처하는 방식과, 결합 솔브(combined solve)가 좋은 레이어 세 개를 단순히 합친 것보다 근본적으로 더 나은 애니메이션을 만들어내는 이유에 관한 것입니다.

레이어드 모션 캡처의 숨은 비용

전통적인 모션 캡처는 실용적인 이유로 모듈식으로 발전해 왔습니다. 광학 시스템은 큰 바디 마커는 잘 추적했지만 손가락까지는 분해하지 못했기 때문에 글러브를 덧붙였죠. 얼굴은 밀리미터 단위로 측정되는 디테일이 필요했기에 헤드마운트 카메라가 필요했습니다. 각 하위 시스템은 단독으로는 훌륭했지만, 각자 자신의 레코더와 자신의 클록(clock), 자신의 좌표 공간을 갖고 있었습니다.

이런 모듈성은 대부분의 사람들이 첫 프로젝트를 진행한 뒤에야 깨닫는 대가를 치르게 했습니다:

• 타임코드 정렬. 녹화 장치가 세 개라는 것은 시계가 세 개라는 뜻입니다. 젠록(genlock)이 도움이 되긴 하지만, 컨슈머 및 프로슈머 장비는 긴 테이크 동안 한두 프레임씩 어긋나기 일쑤입니다. 그 정도면 손가락 스냅이 그 손가락을 움직인 팔보다 눈에 띄게 늦게 찍히기에 충분합니다.
• 좌표 공간 불일치. 손 데이터는 손목 기준으로, 바디 데이터는 엉덩이 또는 월드 원점 기준으로 캡처됩니다. 이 둘을 결합하려면 변환 체인이 필요한데, 거기서 발생하는 오류는 손가락 관절로 내려가면서 더 커집니다.
• 별도의 클린업 패스. 바디를 노이즈 제거한 다음 손을 노이즈 제거하고 나면, 스무딩 설정이 서로 달라서 손목이 튀는 현상을 발견하게 됩니다.
• 병합 작업. 일반적인 인디 프로젝트에서 레이어를 병합하고 조정하는 데 드는 시간은 캡처 세션 자체보다 더 많습니다.
• 재촬영 증폭. 테이크 도중 하위 시스템 하나가 실패하면 모든 것을 다시 촬영해야 합니다. 부분 재촬영은 유지한 레이어들과 정렬되지 않기 때문입니다.

이 중 어느 것도 누군가의 잘못이 아닙니다. 이것은 아키텍처가 설계된 대로 작동한 결과입니다. 하지만 이는 캐릭터 애니메이션의 실제 병목이 결코 "모션을 캡처할 수 있느냐"가 아니라 "같은 사람에 대한 세 가지 캡처를 서로 일치시킬 수 있느냐"였음을 의미합니다.

퍼포머에게는 분리된 바디, 손, 얼굴 타임라인이 없습니다. 하나의 신경계가 하나의 조율된 퍼포먼스를 만들어낼 뿐이죠. 여러분이 도입하는 모든 레이어 경계는 바로 그 조율이 유실될 수 있는 지점입니다.

아무도 경고하지 않는 손목 이음새 문제

이 문제는 그 자체로 한 섹션을 할애할 가치가 있습니다. 레이어드 캡처에서 가장 흔하게 나타나는 아티팩트이면서, 뭔가 잘못됐다는 건 알지만 이름을 붙이지 못하는 클라이언트에게 설명하기 가장 어려운 문제이기 때문입니다.

그 메커니즘은 이렇습니다. 바디 솔브는 팔뚝과 손바닥 평면의 방향에서 파생된 손목 관절의 회전 값을 생성합니다. 핸드 솔브도 동일한 손목 관절에 대해 손바닥 자체의 시점에서 파생된 회전 값을 생성합니다. 둘 다 합리적인 추정치입니다. 그러나 두 값이 동일한 경우는 거의 없습니다.

병합할 때 하나를 선택해야 하며, 어떤 선택을 해도 문제가 생깁니다:

스튜디오는 블렌드 영역으로 이 문제를 해결합니다. 손목과 아래 팔뚝에 걸쳐 두 솔루션 사이에 가중치를 두는 방식입니다. 효과는 있지만 숙련이 필요하고, 샷마다 조정해야 할 요소가 하나 더 늘어납니다. 너무 팽팽하게 블렌드하면 팝(pop)이 생기고, 너무 느슨하게 블렌드하면 팔뚝 회전이 팔꿈치까지 번집니다.

결합 솔브는 이 논쟁 자체를 우회합니다. 손목 회전은 하나뿐입니다. 솔브가 하나뿐이었으니까요. 이음새는 고칠 필요가 없습니다. 애초에 존재하지 않기 때문입니다.

통합 솔브가 실제로 다르게 작동하는 방식

"결합 캡처"가 그저 바디 모델과 핸드 모델을 동시에 실행하고 결과물을 스테이플로 고정하는 방식이라고 가정하기 쉽습니다. 그러나 현대의 AI 모션 캡처는 그것보다 훨씬 유용한 일을 합니다.

하나의 스켈레톤, 하나의 최적화

바디와 손을 독립적으로 솔브하는 대신, 시스템은 엉덩이에서 척추, 어깨, 팔, 손목, 그리고 모든 손가락 관절을 아우르는 전체 운동학적 트리인 단일 파라미터 인체 모델을 관찰된 이미지 증거에 피팅합니다. 관절 각도는 모두 같은 신체에 속한다는 제약 조건 하에 공동으로 추정됩니다. 처음부터 분리된 적이 없으므로 병합 단계가 없습니다.

영역 간 증거 공유

이것이 진정으로 품질을 향상시키는 부분입니다. 손이 부분적으로 가려졌을 때, 조인트 솔브는 팔뚝 방향, 어깨 위치, 바디 포즈를 사용해 여전히 손을 제약할 수 있습니다. 이는 고립된 핸드 모델이 접근할 수 없는 물리적 맥락입니다. 반대로, 선명하게 보이는 손가락 위치는 팔뚝이 대략 원통형이기 때문에 바디 랜드마크만으로 추정하기로 악명 높은 팔뚝 롤(forearm roll)을 명확히 하는 데 도움을 줍니다.

공유 시간 모델

전체 스켈레톤에 걸쳐 하나의 스무딩 패스를 적용하면 바디와 손이 일관되게 필터링됩니다. 손은 선명한데 팔은 느릿느릿해 보이거나, 한 영역의 지터 수정이 다른 영역에 비해 지연을 만들어내는 문제를 더 이상 발견하지 않게 됩니다.

해부학적 타당성을 제약 조건으로

통합 모델은 결과물이 물리적으로 가능한 인간의 형태를 유지하도록 강제할 수 있습니다. 팔다리 길이는 일정하게 유지되고, 관절은 범위 내에 머물며, 손은 적절한 각도로 팔에 부착됩니다. 레이어드 파이프라인에는 경계를 넘어 이를 강제할 메커니즘이 없으며, 이것이 바로 불가능한 손목 각도가 레이어드 캡처에서 그토록 흔한 아티팩트인 이유입니다.

프레이밍 트레이드오프 — 그리고 이를 극복하는 방법

원샷 캡처의 핵심에 놓인 솔직한 엔지니어링 제약이 있습니다. 그리고 대부분의 튜토리얼이 불편하기 때문에 건너뛰는 부분이기도 합니다.

바디를 캡처하려면 퍼포머 전체가 프레임 안에 들어와야 합니다. 손가락을 캡처하려면 개별 관절을 분해할 수 있을 만큼 손에 충분한 픽셀이 필요합니다. 이 둘은 서로 반대 방향으로 잡아당깁니다. 풀바디로 넓게 프레이밍하면 1080p 프레임에서 각 손이 40×40픽셀 정도에 불과할 수 있습니다. 21개 랜드마크를 찾기에는 간신히 되는 수준이죠. 손에 맞춰 타이트하게 프레이밍하면 바디를 완전히 잃어버립니다.

이 트레이드오프는 실재하며 어떤 마케팅도 이를 녹일 수 없습니다. 하지만 레버(lever)들을 이해하면 매우 관리하기 쉬워집니다.

처음 세 가지만 적용해도 — 4K, 타이트한 세로 프레이밍, 손을 앞으로 — 휴대폰 카메라 풀바디 샷에서 쓸만한 손가락 디테일을 얻을 수 있습니다. 이것이 핵심 비법입니다.

QuickMagic로 모든 것을 한 번에 캡처하기

QuickMagic는 일반 영상에서 풀바디, 손, 얼굴 움직임을 단일 패스로 추정한 다음 편집 가능한 3D 애니메이션 데이터로 변환하는 브라우저 기반 마커리스 모션 캡처 플랫폼입니다. 슈트도, 마커도, 센서도, 멀티 카메라 볼륨도, 로컬 설치도 필요 없습니다.

핵심 비교:

무료 플랜은 이 파이프라인에 맞는지 평가하기에 실질적으로 쓸만하며, 특히 결합 캡처 자체를 페이월로 막지 않는다는 점이 주목할 만합니다:

유료 플랜은 볼륨과 내보내기 매트릭스를 모두 확장합니다. Basic($14.9/월, 크레딧 200개, 60초 클립)은 FBX, BIP, VMD, OnlyFace, C4D, BVH, Unreal, Mixamo, Unity Anim, CC & iClone, Roblox를 잠금 해제합니다. Pro($49.9/월, 크레딧 1,000개, 90초 클립, 높은 큐 우선순위)는 정기 프로덕션에 적합하며, 지속적인 볼륨을 처리하는 팀을 위한 Max 및 Studio 티어가 있습니다.

단계별 프로덕션 워크플로우

전체 비디오 to 3D 애니메이션 프로세스, 처음부터 끝까지. 첫 실행은 약 20분이 걸리고, 이후 실행은 3분이 걸립니다.

1. 퍼포먼스 계획녹화 전에 이 샷에 손가락이 필요한지 결정하세요. 필요하다면 제스처가 몸통 앞쪽에 머물도록 안무하고, 손을 등 뒤로 하거나 깊게 엉키는 포즈는 피하세요. 10초의 계획이 재촬영을 막아줍니다.
2. 카메라와 조명 설정휴대폰을 가슴 높이 삼각대에, 세로 방향으로, 가능하면 4K/60으로 설정하세요. 가슴 높이에서 넓은 소프트 광원 하나를 정면으로, 있다면 필 라이트도 추가하세요. 배경은 단순하게. 프레임 안에 온몸이 들어오고 위아래 여백은 최소화하세요.
3. 헤드와 테일을 포함해 녹화중립적인 A-포즈 또는 편안한 자세로 2초씩 시작하고 끝내세요. 이는 솔버에게 깨끗한 초기화 프레임을 제공하고 나중에 깔끔한 트림 포인트를 제공합니다. 크레딧을 아끼려면 여러 테이크를 하나의 연속 클립에 담으세요.