Holistic AI Tracking for Robotics: Human Reference Motion Data

로보틱스를 위한 홀로스틱 AI 트래킹: 인간 기준 동작 데이터

인간형 로봇에게 움직임을 가르치는 능력 — 각 관절의 궤적을 수동으로 코딩하는 것이 아니라 인간이 어떻게 움직이는지 보여줌으로써 — 은 현대 로보틱스에서 가장 중대한 변화 중 하나입니다. 이러한 변화의 중심에는 인간 기준 동작 데이터(human reference motion data)가 있습니다. 로봇 제어 정책을 위한 훈련 신호 역할을 하는 고충실도 인간 움직임 기록이 바로 그것입니다. 그리고 이러한 데이터의 대규모 캡처를 가능하게 하는 기술이 바로 홀로스틱 AI 트래킹입니다.

이 기사에서는 홀로스틱 트래킹이 로보틱스에 의미하는 바, AI 기반 모션 캡처가 로봇에 바로 사용할 수 있는 기준 데이터를 생성하는 방법, 그리고 QuickMagic과 같은 플랫폼이 Unitree 인간형 로봇 및 그 너머를 연구하는 연구자와 엔지니어에게 이 파이프라인을 어떻게 제공하는지 분석합니다.

로보틱스에서 홀로스틱 트래킹이란 무엇인가?

홀로스틱 트래킹은 인간 대상의 완전한 움직임 — 모든 관절, 모든 사지, 모든 손가락, 그리고 공간에서 몸의 궤적 — 을 포착하여 로봇이 학습할 수 있는 구조화된 데이터로 변환하는 것을 의미합니다. 여기서 "홀로스틱(holistic)"이라는 단어가 중요합니다. 기존 모션 캡처 시스템은 종종 한 가지 차원에 집중합니다. 손이 없는 전신 골격 추적, 또는 몸 전체 맥락이 없는 손 추적, 또는 단독으로 수행되는 얼굴 캡처 등이 그것입니다. 홀로스틱 트래킹은 모든 것을 함께 포착하여 인간의 움직임을 자연스럽게 만드는 신체 부위 간의 관계를 보존합니다.

로보틱스에서 이러한 완전성은 사치가 아닙니다. 그것은 필수 조건입니다. 로봇이 물 한 컵을 따르는 법을 배울 때, 몸통이 어떻게 기울어지는지, 팔이 어떻게 뻗어 나가는지, 손가락이 손잡이를 어떻게 감싸는지, 체중이 발을 통해 어떻게 이동하는지 — 이 모든 것을 동시에 알아야 합니다. 부분적인 데이터는 부분적인 행동을 낳습니다. 홀로스틱 데이터는 일관된 전신 기술을 만들어냅니다.

로보틱스를 위한 홀로스틱 트래킹의 핵심 구성 요소는 다음과 같습니다:

• 전신 골격 추적: 머리, 몸통, 팔, 다리, 발 등 모든 주요 신체 분절의 관절 각도와 위치를 3D 골격 애니메이션으로 재구성합니다.
• 손 및 손가락 추적: 개별 손가락 관절 각도, 손목 회전, 파지 형태 — 조작 작업과 정밀한 파지에 필수적인 요소입니다.
• 전역 궤적 추적: 상대적 관절 움직임뿐만 아니라 시간에 따른 세계 공간에서의 몸의 위치와 방향을 추적합니다. 이는 로봇에게 팔다리가 어떻게 위치하는지뿐만 아니라 방 안에서 자신이 어디에 있는지를 알려줍니다.
• 시간적 일관성: 학습 알고리즘을 혼란스럽게 하는 갑작스러운 점프나 지터 없이 부드럽고 물리적으로 타당한 프레임별 움직임을 보장합니다.

인간 기준 동작 데이터가 로봇에게 중요한 이유

로봇은 인간이 움직임을 배우는 방식대로 배우지 않습니다. 인간 유아는 시행착오와 모방을 통해 운동 제어를 발달시키는 데 수년을 보냅니다. 반면 로봇은 일반적으로 강화 학습(RL)을 통해 학습합니다. 이는 시뮬레이션에서 수천 가지 움직임을 시도하고, 성공적인 움직임에 대해 보상을 받으며, 감각 입력을 운동 명령에 매핑하는 제어 정책을 점진적으로 개발하는 과정입니다.

문제는 처음부터 시작하는 RL이 엄청나게 비싸다는 것입니다. 가능한 움직임의 탐색 공간은 천문학적입니다. 안내가 없다면 로봇은 걷기에 무릎을 구부리는 것이 필요하다는 것을 발견하는 데 수백만 번의 시뮬레이션 에피소드를 소비할 수도 있습니다. 이는 인간 유아가 다른 사람을 관찰함으로써 알아내는 것입니다.

바로 여기서 로봇 모캡 기준(robot mocap reference) 데이터가 방정식을 바꿉니다. 아무것도 없는 상태에서 학습하는 대신, 로봇은 인간의 움직임을 기준 신호 — 추적할 목표 — 로 제공받습니다. RL 정책은 똑바로 서 있는 것에 대해서만 보상을 받는 것이 아니라 기준 동작을 최대한 가깝게 일치시키는 것에 대해서도 보상을 받습니다. 이는 탐색 공간을 극적으로 좁힙니다. 로봇이 걷기를 발명할 필요가 없습니다. 인간의 걷기를 자신의 몸에 적응시키면 됩니다.

연구는 기준 동작 안내 RL이 처음부터 학습하는 것보다 극적으로 더 나은 결과를 생산한다는 것을 일관되게 보여주었습니다. 획기적인 BeyondMimic 프레임워크와 그 후속 연구들은 인간형 로봇이 리타겟팅된 인간 동작 데이터를 추적함으로써 무술, 춤, 곡예 뒤집기를 포함한 복잡하고 역동적인 움직임을 학습할 수 있음을 입증했습니다. OmniTrack(CVPR 2025)과 같은 최근 연구는 물리적으로 일관된 기준 데이터가 Unitree G1이 물구나무서기와 연속 1시간 이상 달리기를 수행할 수 있게 한다는 것을 보여주었습니다.

인간 동작에서 로봇 동작으로: 리타겟팅 파이프라인

인간의 움직임을 캡처하는 것은 첫 단계에 불과합니다. 인간과 로봇은 근본적으로 다른 몸을 가지고 있습니다. 인간 골격은 특정 운동 범위, 체중 분포, 액추에이터 강도를 가진 200개 이상의 관절을 가지고 있습니다. Unitree G1은 구성에 따라 23~43개의 자유도를 가집니다. Unitree H1은 27개입니다. 인간에게서 캡처한 동작 데이터는 로봇에 직접 적용할 수 없습니다. 반드시 리타겟팅되어야 합니다.

리타겟팅은 인간의 관절 움직임을 로봇의 운동학적 구조에 매핑하는 과정입니다. 여기에는 다음이 포함됩니다:

1. 신체 매칭: 어떤 인간 관절이 어떤 로봇 관절에 해당하는지 식별합니다. 인간의 어깨는 로봇의 어깨에 매핑되지만, 인간의 3자유도 견갑골 움직임은 로봇의 2자유도 어깨에 매핑될 수 있습니다 — 단순화가 필요합니다.
2. 스케일링 및 비율 조정: 인간의 팔은 Unitree G1의 팔보다 깁니다. 사지 길이는 동작이 로봇의 기하학적 구조에 맞도록 스케일링되어야 합니다.
3. 관절 한계 적용: 인간이 로봇의 물리적 한계를 넘어 엉덩이를 회전시키는 경우, 리타겟팅된 동작은 불가능한 명령을 방지하기 위해 클램프되거나 조정되어야 합니다.
4. 발 접촉 처리: 인간의 발은 특정 패턴으로 지면에 닿습니다. 리타겟팅된 동작은 로봇의 발이 지면과 적절하게 접촉하도록 해야 합니다 — 떠 있지도 않고, 파고들지도 않아야 합니다.
5. 관통 방지 보정: 팔다리가 서로 또는 로봇 자신의 몸을 통과해서는 안 됩니다. 품질 좋은 리타겟팅에는 충돌 감지 및 보정이 포함됩니다.

2025년과 2026년에 발표된 연구는 리타겟팅 품질이 정책 성능을 직접적으로 결정한다는 점을 분명히 했습니다. "Retargeting Matters: General Motion Retargeting for Humanoid Motion Tracking"(Stanford HAI, 2025) 연구는 PHC, ProtoMotions, 그리고 GMR이라는 새로운 방법 등 세 가지 리타겟팅 방법을 비교했으며, 리타겟팅된 데이터의 아티팩트(지면 관통, 자기 교차, 갑작스러운 관절 점프)가 학습된 정책의 견고성을 크게 저하시킨다는 것을 발견했습니다. 어떤 경우에는 리타겟팅이 좋지 않으면 로봇이 해당 동작을 전혀 학습할 수 없었습니다.

이것이 리타겟팅을 자동으로 처리하는 플랫폼 — 인간의 움직임을 Unitree G1, H1, H1_2와 같은 특정 로봇 모델에 매핑하는 — 이 엄청난 가치를 제공하는 이유입니다. 이들은 연구자의 워크플로우에서 복잡하고 오류가 발생하기 쉬운 단계를 제거하고 시뮬레이션 환경에서 즉시 사용할 수 있는 데이터를 생성합니다.

기존 모캡 vs. AI 기반 마커리스 캡처

수십 년 동안 모션 캡처의 표준은 광학 마커 기반 시스템이었습니다. 통제된 스튜디오에서 보정된 적외선 카메라 배열로 추적되는 특정 신체 랜드마크에 부착된 반사 마커가 그것입니다. OptiTrack과 Vicon 같은 시스템은 서브밀리미터 정확도를 제공하지만 상당한 한계가 있습니다:

트레이드오프는 분명합니다. 기존 시스템은 원시 정밀도에서 승리합니다. AI 마커리스 시스템은 접근성, 확장성, 비용에서 승리합니다. 로보틱스 연구 — 단일 캡처에서 벤치마크 수준의 정밀도를 달성하는 것보다 크고 다양한 훈련 데이터셋을 생성하는 것이 목표인 경우가 많은 — 에서는 AI 기반 캡처의 장점이 결정적입니다.

범용 보행 정책을 훈련하기 위해 100가지의 다른 보행 스타일이 필요한 연구팀은 100명의 피험자를 모캡 스튜디오에 데려올 수 없습니다. 그러나 스마트폰으로 100개의 비디오를 녹화하여 마커리스 플랫폼에 업로드하고 각각에 대해 리타겟팅된 로봇 동작 데이터를 받을 수 있습니다. 이것이 Unitree 모캡 AI 워크플로우가 가능하게 하는 종류의 확장성입니다.

Unitree 로봇 통합: 인간 동작에서 G1, H1, H1_2까지

Unitree Robotics는 학계 및 산업 연구에서 가장 널리 사용되는 인간형 로봇 플랫폼 중 하나로 부상했습니다. Unitree G1 — 높이 132cm, 무게 약 35kg, 구성에 따라 23~43개의 자유도를 가진 로봇 — 은 이족 보행 연구의 기준 플랫폼이 되었으며, 2025년에만 Caltech, SJTU, HKU, Cornell을 포함한 기관에서 30편 이상의 동료 심사 논문이 발표되었습니다. Unitree H1 및 H1_2 — 높이 180cm의 풀사이즈 인간형 로봇 — 은 전신 조작 및 동적 보행 작업에 사용됩니다.

AI 모션 캡처를 Unitree 로봇과 통합하는 작업에는 특정 파이프라인이 포함됩니다:

1. 캡처

인간의 움직임은 스마트폰, 웹캠 또는 전문 카메라 등 모든 카메라 소스를 사용하여 비디오로 녹화됩니다. 핵심 요구 사항은 피사체가 선명하게 보이고, 조명이 적절하며, 프레임 속도가 최소 30FPS(빠른 움직임에는 60FPS 이상 권장)인 것입니다.

2. AI 처리

비디오는 프레임별로 신체 랜드마크를 감지하고, 3D 골격 애니메이션을 재구성하고, 물리적으로 타당한 움직임을 보장하기 위해 관통 방지 보정을 적용하는 AI 모델에 의해 처리됩니다. 출력은 BVH 또는 FBX와 같은 표준 형식의 전신 동작 시퀀스입니다.

3. 로봇 운동학으로의 리타겟팅

인간의 동작은 특정 Unitree 모델의 운동학적 구조에 리타겟팅됩니다. 예를 들어 Unitree G1의 29자유도 EDU 구성은 H1의 27자유도 구조와 다른 관절 한계와 사지 비율을 가집니다. 리타겟팅 프로세스는 인간의 동작을 스케일링하여 이러한 제약에 맞추고, 로봇이 물리적으로 달성할 수 있는 관절 각도 궤적을 생성합니다.

4. 로봇 호환 형식으로 내보내기

리타겟팅된 동작은 로봇 시뮬레이션 및 훈련 프레임워크에서 직접 사용할 수 있는 형식으로 내보내집니다. QuickMagic의 UniRobot 내보내기 프리셋이 이 단계를 처리하여 Isaac Gym, MuJoCo 및 Unitree RL GYM에서 사용할 수 있도록 Unitree G1, H1, H1_2 사양과 호환되는 데이터를 생성합니다.

5. 훈련 및 배포

리타겟팅된 기준 동작은 RL 기반 동작 모방을 위한 추적 목표 역할을 합니다. 정책은 균형을 유지하고 로봇의 물리적 역학을 존중하면서 기준을 최대한 가깝게 따르도록 학습합니다. 훈련이 완료되면 정책은 Unitree SDK를 통해 실제 로봇에 배포될 수 있습니다.

이 파이프라인 — 비디오 캡처에서 로봇 배포까지 — 은 이제 기존 모캡 하드웨어 없이도 완료될 수 있습니다. Unitree G1, 휴대폰 카메라, 브라우저 기반 AI 모캡 플랫폼을 가진 연구자는 훈련 데이터를 생성하고, 시뮬레이션을 실행하고, 실제 로봇에 정책을 배포할 수 있습니다.

응용 분야: 홀로스틱 트래킹이 로봇 학습을 만나는 곳

모방 학습

모방 학습 — 행동 복제라고도 함 — 은 로봇이 시연된 행동을 복제하도록 훈련합니다. 홀로스틱 인간 동작 데이터는 시연을 제공합니다. 인간형 로봇의 경우 이는 무엇을 할지(컵을 집기)뿐만 아니라 어떻게 할지 — 체중 이동, 도달 궤적, 파지 형태 — 인간다운 움직임 품질로 학습하는 것을 의미합니다. 홀로스