Holistic AI Tracking for Robotics: Human Reference Motion Data

Suivi IA Holistique pour la Robotique : Données de Mouvement de Référence Humain

La capacité d'apprendre à un robot humanoïde comment se déplacer — non pas en codant manuellement chaque trajectoire articulaire, mais en lui montrant comment un humain se déplace — représente l'un des changements les plus significatifs de la robotique moderne. Au centre de ce changement se trouvent les données de mouvement de référence humain : des enregistrements haute-fidélité des mouvements humains qui servent de signal d'entraînement pour les politiques de contrôle robotique. Et la technologie qui rend possible la capture à grande échelle de ces données est le suivi IA holistique.

Dans cet article, nous décomposons ce que le suivi holistique signifie pour la robotique, comment la capture de mouvement assistée par IA génère des données de référence prêtes pour les robots, et comment des plateformes comme QuickMagic rendent ce pipeline accessible aux chercheurs et ingénieurs travaillant avec les robots humanoïdes Unitree et au-delà.

Qu'est-ce que le suivi holistique en robotique ?

Le suivi holistique fait référence à la capture du mouvement complet d'un sujet humain — chaque articulation, chaque membre, chaque doigt, et la trajectoire du corps dans l'espace — et à sa conversion en données structurées dont un robot peut apprendre. Le mot « holistique » est important ici. Les systèmes de capture de mouvement traditionnels se concentrent souvent sur une seule dimension : le suivi squelettique du corps entier sans les mains, ou le suivi des mains sans le contexte du corps, ou la capture faciale isolée. Le suivi holistique capture tout ensemble, préservant les relations entre les parties du corps qui rendent le mouvement humain naturel.

Pour la robotique, cette complétude n'est pas un luxe. C'est une exigence. Lorsqu'un robot apprend à verser une tasse d'eau, il doit savoir comment le torse s'incline, comment le bras s'étend, comment les doigts se referment autour de la poignée, et comment le poids se déplace à travers les pieds — tout cela simultanément. Des données partielles produisent des comportements partiels. Des données holistiques produisent des compétences cohérentes pour tout le corps.

Les composants essentiels du suivi holistique pour la robotique comprennent :

• Suivi squelettique du corps entier : Angles et positions articulaires pour tous les principaux segments du corps — tête, torse, bras, jambes, pieds — reconstruits en une animation squelettique 3D.
• Suivi des mains et des doigts : Angles articulaires individuels des doigts, rotation du poignet et formation de la prise — essentiels pour les tâches de manipulation et la saisie dextre.
• Suivi de la trajectoire globale : La position et l'orientation du corps dans l'espace mondial au fil du temps, pas seulement le mouvement articulaire relatif. C'est ce qui indique à un robot où il se trouve dans la pièce, et pas seulement comment ses membres sont positionnés.
• Cohérence temporelle : Un mouvement image par image qui est fluide et physiquement plausible, sans sauts soudains ni tremblements qui perturberaient un algorithme d'apprentissage.

Pourquoi les données de mouvement de référence humain sont importantes pour les robots

Les robots n'apprennent pas à se déplacer comme le font les humains. Un nourrisson humain passe des années à développer son contrôle moteur par l'essai, l'erreur et l'imitation. Un robot, en revanche, apprend généralement par apprentissage par renforcement (RL) — un processus où il essaie des milliers de mouvements en simulation, reçoit des récompenses pour ceux qui réussissent, et développe progressivement une politique de contrôle qui fait correspondre les entrées sensorielles aux commandes motrices.

Le problème est que le RL à partir de zéro est extraordinairement coûteux. L'espace de recherche des mouvements possibles est astronomique. Sans guidance, un robot pourrait passer des millions d'épisodes de simulation à découvrir que marcher implique de plier les genoux — quelque chose qu'un tout-petit humain comprend en observant les autres.

C'est là que les données de référence mocap robot changent la donne. Au lieu d'apprendre à partir de rien, on donne au robot le mouvement humain comme signal de référence — une cible à suivre. La politique RL est récompensée non seulement pour rester debout, mais aussi pour correspondre au mouvement de référence aussi étroitement que possible. Cela réduit considérablement l'espace de recherche. Le robot n'a pas besoin d'inventer la marche ; il doit adapter la marche humaine à son propre corps.

La recherche a constamment montré que le RL guidé par un mouvement de référence produit des résultats nettement meilleurs que l'apprentissage à partir de zéro. Le cadre révolutionnaire BeyondMimic et ses successeurs ont démontré que les robots humanoïdes peuvent apprendre des mouvements complexes et dynamiques — y compris les arts martiaux, la danse et les flips acrobatiques — en suivant des données de mouvement humain retargetées. Des travaux plus récents comme OmniTrack (CVPR 2025) ont montré que des données de référence physiquement cohérentes permettent à l'Unitree G1 d'exécuter des roues et de courir en continu pendant plus d'une heure.

Du mouvement humain au mouvement robot : le pipeline de retargeting

Capturer le mouvement humain n'est que la première étape. Les humains et les robots ont des corps fondamentalement différents. Un squelette humain a plus de 200 articulations avec des amplitudes de mouvement, des répartitions de poids et des forces d'actionnement spécifiques. Un Unitree G1 a 23 à 43 degrés de liberté selon la configuration. Un Unitree H1 en a 27. Les données de mouvement capturées d'un humain ne peuvent pas être appliquées directement à un robot — elles doivent être retargetées.

Le retargeting est le processus de correspondance entre le mouvement articulaire humain et la structure cinématique du robot. Il implique :

1. Correspondance corporelle : Identifier quelles articulations humaines correspondent aux articulations du robot. Une épaule humaine correspond à une épaule de robot, mais le mouvement scapulaire à 3 degrés de liberté d'un humain peut correspondre à une épaule de robot à 2 degrés de liberté — nécessitant une simplification.
2. Ajustement de l'échelle et des proportions : Un bras humain est plus long que le bras d'un Unitree G1. Les longueurs des membres doivent être mises à l'échelle pour que le mouvement s'adapte à la géométrie du robot.
3. Respect des limites articulaires : Si un humain fait pivoter sa hanche au-delà de la limite physique du robot, le mouvement retargeté doit être limité ou ajusté pour empêcher des commandes impossibles.
4. Gestion du contact des pieds : Les pieds humains frappent le sol selon des schémas spécifiques. Le mouvement retargeté doit garantir que les pieds du robot établissent un contact approprié avec le sol — ni flottement, ni pénétration.
5. Correction anti-pénétration : Les membres ne doivent pas se traverser mutuellement ni traverser le corps du robot lui-même. Un retargeting de qualité inclut la détection et la correction des collisions.

Des recherches publiées en 2025 et 2026 ont clairement établi que la qualité du retargeting détermine directement la performance des politiques. L'étude « Retargeting Matters: General Motion Retargeting for Humanoid Motion Tracking » (Stanford HAI, 2025) a comparé trois méthodes de retargeting — PHC, ProtoMotions, et une nouvelle méthode appelée GMR — et a constaté que les artefacts dans les données retargetées (pénétration du sol, auto-intersection, sauts articulaires soudains) dégradaient significativement la robustesse des politiques apprises. Dans certains cas, un mauvais retargeting rendait impossible pour le robot d'apprendre le mouvement du tout.

C'est pourquoi les plateformes qui gèrent automatiquement le retargeting — mappant le mouvement humain sur des modèles de robots spécifiques comme l'Unitree G1, H1 ou H1_2 — apportent une valeur énorme. Elles éliminent une étape complexe et sujette aux erreurs du flux de travail du chercheur et produisent des données immédiatement utilisables dans les environnements de simulation.

Mocap traditionnel vs capture sans marqueur assistée par IA

Pendant des décennies, la référence absolue en matière de capture de mouvement était le système optique à marqueurs : des marqueurs réfléchissants placés sur des points de repère corporels spécifiques, suivis par des réseaux de caméras infrarouges calibrées dans un studio contrôlé. Des systèmes comme OptiTrack et Vicon offrent une précision submillimétrique mais présentent des limitations importantes :

Le compromis est clair. Les systèmes traditionnels l'emportent sur la précision brute ; les systèmes sans marqueur par IA l'emportent sur l'accessibilité, l'évolutivité et le coût. Pour la recherche en robotique — où l'objectif est souvent de générer de grands ensembles de données d'entraînement diversifiés plutôt que d'atteindre une précision de référence sur une seule capture — les avantages de la capture assistée par IA sont décisifs.

Une équipe de recherche qui a besoin de 100 styles de marche différents pour entraîner une politique de locomotion généraliste ne peut pas raisonnablement amener 100 sujets dans un studio de mocap. Mais elle peut enregistrer 100 vidéos avec un téléphone, les téléverser sur une plateforme sans marqueur, et recevoir des données de mouvement robot retargetées pour chacune. C'est le type d'évolutivité que les flux de travail de mocap IA Unitree permettent.

Intégration des robots Unitree : du mouvement humain au G1, H1 et H1_2

Unitree Robotics est devenu l'une des plateformes de robots humanoïdes les plus utilisées dans la recherche académique et industrielle. Le Unitree G1 — mesurant 132 cm, pesant environ 35 kg, avec 23 à 43 degrés de liberté selon la configuration — est devenu une plateforme de référence pour la recherche en locomotion bipède, avec plus de 30 articles évalués par des pairs publiés en 2025 à eux seuls par des institutions telles que Caltech, SJTU, HKU et Cornell. Les Unitree H1 et H1_2 — des humanoïdes de taille réelle mesurant 180 cm — sont utilisés pour la manipulation du corps entier et les tâches de locomotion dynamique.

L'intégration de la capture de mouvement par IA avec les robots Unitree implique un pipeline spécifique :

1. Capture

Le mouvement humain est enregistré comme vidéo en utilisant n'importe quelle source de caméra — un smartphone, une webcam ou une caméra professionnelle. Les exigences clés sont une visibilité claire du sujet, un éclairage raisonnable et une fréquence d'images d'au moins 30 FPS (60 FPS ou plus est préférable pour les mouvements rapides).

2. Traitement IA

La vidéo est traitée par des modèles IA qui détectent les points de repère corporels image par image, reconstruisent une animation squelettique 3D et appliquent une correction anti-pénétration pour garantir que le mouvement est physiquement plausible. Le résultat est une séquence de mouvement du corps entier dans un format standard comme BVH ou FBX.

3. Retargeting vers la cinématique du robot

Le mouvement humain est retargeté vers la structure cinématique spécifique du modèle Unitree. La configuration EDU à 29 degrés de liberté de l'Unitree G1, par exemple, a des limites articulaires et des proportions de membres différentes de la structure à 27 degrés de liberté de l'H1. Le processus de retargeting met à l'échelle le mouvement humain pour s'adapter à ces contraintes, produisant des trajectoires d'angles articulaires physiquement réalisables par le robot.

4. Exportation au format compatible robot

Le mouvement retargeté est exporté dans des formats directement utilisables par les cadres de simulation et d'entraînement robotique. Le préréglage d'exportation UniRobot de QuickMagic gère cette étape, produisant des données compatibles avec les spécifications de l'Unitree G1, H1 et H1_2 pour une utilisation dans Isaac Gym, MuJoCo et le Unitree RL GYM.

5. Entraînement et déploiement

Le mouvement de référence retargeté sert de cible de suivi pour l'imitation de mouvement basée sur le RL. La politique apprend à suivre la référence aussi étroitement que possible tout en maintenant l'équilibre et en respectant la dynamique physique du robot. Une fois entraînée, la politique peut être déployée sur le robot physique via le SDK Unitree.

Ce pipeline — de la capture vidéo au déploiement sur robot — peut désormais être réalisé sans aucun matériel de mocap traditionnel. Un chercheur avec un Unitree G1, un téléphone avec caméra et une plateforme de mocap IA basée sur navigateur peut générer des données d'entraînement, exécuter des simulations et déployer des politiques sur le robot physique.

Applications : là où le suivi holistique rencontre l'apprentissage robotique

Apprentissage par imitation

L'apprentissage par imitation — également appelé clonage de comportement — entraîne un robot à reproduire des comportements démontrés. Les données de mouvement humain holistiques fournissent les démonstrations. Pour les robots humanoïdes, cela signifie apprendre non seulement quoi faire (ramasser une tasse) mais comment le faire avec une qualité de mouvement semblable à celle d'un humain — le transfert de poids, la trajectoire d'atteinte, la formation de la prise. La richesse des données holistiques (corps + mains + trajectoire) produit des comportements plus naturels et plus généralisables que les données limitées au corps seul.

Apprentissage par renforcement avec suivi de référence

Dans l'imitation de mouvement basée sur le RL, la politique du robot est entraînée à suivre un mouvement de référence tout en maintenant la stabilité physique. Le mouvement de référence sert de signal de récompense : plus le mouvement du robot correspond étroitement à la référence, plus la récompense est élevée. Cette approche a été validée à travers de multiples cadres — BeyondMimic, OmniTrack, OmniH2O — et sur de multiples plateformes robotiques, produisant constamment des politiques plus robustes et plus naturelles que le RL à partir de zéro.

Prototypage de comportements

Avant de s'engager dans une campagne d'entraînement RL complète — qui peut prendre des heures ou des jours de temps GPU — les chercheurs peuvent prototyper des comportements en utilisant des données de mouvement de référence. La structure cinématique du robot supporte-t-elle ce mouvement ? Y a-t-il des violations de limites articulaires ? Le mouvement sera-t-il dynamiquement stable ? En testant d'abord les données de référence en simulation, les chercheurs peuvent éliminer tôt les mouvements irréalisables et concentrer les ressources d'entraînement sur les mouvements ayant une forte probabilité de succès.

Téléopération et contrôle humain-dans-la-boucle

Le suivi du mouvement humain en temps réel permet la téléopération : les mouvements d'un opérateur humain sont capturés et mappés sur le robot en temps réel, permettant un contrôle direct du robot pour des tâches complexes. Des systèmes comme TWIST2 (2025) ont démontré que la téléopération VR du corps entier peut collecter 100 démonstrations de manipulation à deux bras en moins de 20 minutes avec un taux de réussite proche de 100 % — une efficacité de collecte de données impossible avec la programmation robotique manuelle.

Construction de bibliothèques de compétences

À mesure que la robotique évolue vers des plateformes humanoïdes polyvalentes, la capacité de construire et de maintenir des bibliothèques de compétences motrices réutilisables devient critique. Le suivi holistique permet la capture systématique de mouvements humains diversifiés — marcher, courir, s'accroupir, atteindre, saisir, lancer — qui peuvent être catalogués, retargetés vers différents modèles de robots et récupérés à la demande pour l'entraînement ou le déploiement direct.

Qualité des données : ce qui rend un mouvement de référence bon pour l'entraînement robotique

Toutes les données de mouvement ne sont pas également utiles pour l'apprentissage robotique. La qualité des données de référence affecte directement la qualité de la politique apprise. Sur la base des conclusions de recherches récentes en robotique, les critères de qualité suivants sont essentiels :

• Plausibilité physique : Le mouvement doit être réalisable par un corps physique — pas de flottement, pas de pénétration du sol, pas d'auto-intersection. Des données de référence physiquement incohérentes forcent la politique RL à apprendre simultanément le mouvement et à corriger une physique impossible, dégradant la performance.
• Respect des limites articulaires : Chaque angle articulaire dans les données retargetées doit se situer dans la plage mécanique du robot. Des valeurs articulaires qui dépassent les limites produisent des erreurs NaN ou un comportement erratique pendant l'entraînement.
• Fluidité temporelle : Des sauts soudains dans les angles articulaires — même des discontinuités sur une seule image — créent une instabilité dans l'entraînement RL. Les données de mouvement doivent être filtrées pour éliminer les tremblements et interpolées là où des images manquent.
• Précision du contact des pieds : Pour les tâches de locomotion, le moment et la position des contacts des pieds doivent être corrects. Le glissement des pieds (lorsque les pieds glissent alors qu'ils devraient être ancrés) est l'un des artefacts les plus courants qui dégrade la qualité des politiques de locomotion.
• Diversité : Une politique entraînée sur un seul style de marche ne produira que ce style. S'entraîner sur des données de référence diversifiées — différentes vitesses, différents terrains, différents types de mouvement — produit une politique généraliste capable de s'adapter à des situations nouvelles.

Les plateformes de capture de mouvement par IA traitent plusieurs de ces critères automatiquement. Les systèmes anti-pénétration empêchent les membres de se traverser. Les préréglages de retargeting imposent le respect des limites articulaires. Le traitement cloud permet la capture par lots d'ensembles de mouvements diversifiés. Mais le chercheur humain joue toujours un rôle dans l'assurance qualité — en prévisualisant le mouvement retargeté en simulation avant de s'engager dans une campagne d'entraînement.

Le fossé d'incarnation et comment le combler

Même avec une capture de mouvement parfaite et un retargeting parfait, un défi fondamental subsiste : le fossé d'incarnation. Les humains et les robots ne sont pas identiques. Le centre de masse d'un humain est différent de celui d'un Unitree G1. Les muscles humains produisent de la force différemment des moteurs électriques. Les articulations humaines ont des caractéristiques d'amortissement différentes des articulations robotiques.

Lorsque vous dites à un robot de « suivre ce mouvement humain », vous lui demandez implicitement de faire quelque chose pour lequel son corps n'a pas été conçu. Cela peut conduire à :

• Flottement : Le mouvement de référence place le robot dans les airs alors que son poids indique qu'il devrait être au sol.
• Pénétration : Les angles articulaires retargetés font passer les membres du robot à travers son corps ou le sol.
• Glissement des pieds : Les pieds du robot glissent parce que le schéma de foulée humain ne correspond pas à la longueur de foulée du robot.

Des recherches récentes ont abordé ce fossé grâce à la génération de références physiquement cohérentes. Le cadre OmniTrack (CVPR 2025), par exemple, utilise une approche en deux étapes : d'abord, une politique à information privilégiée « imagine » comment le robot exécuterait de manière réaliste le mouvement humain dans un simulateur physique, produisant un mouvement qui ressemble à l'original humain mais obéit à la physique du robot. Ensuite, une politique de deuxième étape apprend à suivre cette référence physiquement cohérente en utilisant uniquement des données proprioceptives (ce que le robot peut réellement sentir). Ce découplage — séparer « ce mouvement est-il physiquement possible ? » de « le robot peut-il le suivre ? » — a produit des résultats à la pointe de la technologie, y compris l'Unitree G1 exécutant des flips latéraux, des roues et courant en extérieur pendant 60 minutes en continu.

L'implication pratique pour les chercheurs utilisant la capture de mouvement par IA est simple : le retargeting brut humain-vers-robot fournit la référence initiale, et le raffinement basé sur la physique (soit par des déploiements en simulation, soit par des politiques de raffinement apprises) produit la référence de mouvement finale et déployable. Les deux étapes bénéficient d'avoir des données sources de haute qualité — c'est là que la qualité de capture des plateformes de mocap IA compte.

Du texte au mouvement : élargir le pipeline de données

Au-delà de la capture vidéo, certaines plateformes de mocap IA supportent désormais la génération texte-vers-mouvement — la capacité de décrire une action en langage naturel et de laisser l'IA générer une séquence de mouvement 3