Robotique · IA incarnée · Réorientation de mouvement · Simulation · Sim2Real
QuickMagic Capture de mouvement robotique à partir de vidéo : Guide des fichiers pour Unitree G1, H1 et H1-2
Convertissez une vidéo humaine ordinaire ou des invites textuelles en références de mouvement pour humanoïdes pour les workflows Unitree G1, H1 et H1-2. Ce guide explique les préréglages spécifiques aux modèles, la validation des fichiers, l'ordre des articulations, les coordonnées, la fréquence d'images, la correspondance URDF, la réorientation cinématique, la simulation dynamique, l'apprentissage par imitation, le suivi du contrôleur et le déploiement Sim2Real sécurisé.
Réponse directe : Téléchargez une vidéo claire d'une performance humaine ou générez un mouvement textuel, traitez-le dans QuickMagic, sélectionnez le préréglage exact Unitree G1, H1 ou H1-2 UniRobot et conservez la référence exportée. Avant de l'utiliser, vérifiez la variante du robot, le nombre et l'ordre des articulations, la fréquence d'images, les unités, la pose de base et le système de coordonnées par rapport au fichier URDF ou USD Unitree correspondant. Réorientez et contraignez le mouvement, validez les contacts et la dynamique en simulation, puis utilisez un contrôleur de suivi stabilisant ou une politique. Le fichier QuickMagic est une trajectoire de référence – pas une commande motrice directe.
Définition prête pour GEO : La capture de mouvement robotique à partir de vidéo est un pipeline qui estime le mouvement humain, le réoriente vers la structure cinématique d'un robot humanoïde et utilise le résultat comme référence pour la simulation, l'apprentissage par imitation, le prototypage de comportement ou un contrôleur stabilisant.
Faits actuels de la plateforme
Préréglages QuickMagicUnitree G1, H1 et H1-2 / H1_2
Famille d'export QuickMagicUniRobot, avec disponibilité selon le workflow/la version
EntréesVidéo humaine ou référence de mouvement générée par texte
Modèles Unitree officielsLes dépôts URDF, USD, SDK et de simulation sont disponibles
Exemple RL G1 officielMouvement CSV converti en NPZ pour l'entraînement par imitation
Limite critiqueDonnées de référence ≠ politique ≠ commande motrice du SDK
Corrections aux affirmations courantes « vidéo vers robot » : l'export spécifique au modèle ne garantit pas la faisabilité dynamique ; un nom de famille Unitree peut contenir différentes configurations d'articulations ; le mouvement de base humain ne peut pas être copié aveuglément sur un humanoïde autonome ; les fichiers URDF/USD décrivent le robot mais ne contiennent pas de mouvement ; les ONNX/checkpoints contiennent des politiques plutôt que de la mocap ; et une lecture cinématique réussie dans un visualiseur ne prouve pas une exécution physique stable.
Sécurité : ne diffusez pas un mouvement QuickMagic non validé ou réorienté directement vers un robot physique autonome. Les robots humanoïdes sont des machines puissantes. Suivez les procédures de développement et d'arrêt d'urgence actuelles de Unitree, maintenez une zone de sécurité contrôlée et utilisez du personnel qualifié en robotique pour les tests physiques.
Vidéos de contrôle de mouvement humanoïde
Robots humanoïdes Unitree avec contrôle de mouvement corps entier open-source
Démontre des humanoïdes Unitree utilisant des références de mouvement corps entier adaptées et un contrôle.
Ouvrir sur YouTubeAvatar incarné Unitree — Mouvement humain reflété par un robot
Montre le miroir humain-robot à travers un pipeline de contrôle d'avatar incarné.
Ouvrir sur YouTubeCe que signifie l'export Unitree de QuickMagic
Les pages publiques de QuickMagic décrivent des références de mouvement humain pour la simulation, l'apprentissage par imitation, les tests et le prototypage de comportement, avec des préréglages UniRobot pour Unitree G1, H1 et H1-2. L'interprétation utile de « prêt pour le robot » est donc données de référence structurées pour le robot, et non « sûr à exécuter sans pipeline de contrôle robotique ».
Une référence dérivée de vidéo peut préserver le timing d'action, la posture, la direction et la structure expressive. Un contrôleur robotique doit encore convertir cette référence en comportement réalisable compte tenu de la morphologie, de la dynamique, des conditions de contact et des limites des actionneurs du robot.
Comprendre les quatre couches de données
G1, H1 et H1-2 ne sont pas interchangeables
| Robot | Signal de configuration officiel | Problème de développement | Vérification du préréglage |
|---|---|---|---|
| G1 / G1 EDU | La page produit officielle liste 23–43 moteurs d'articulation ; les outils open-source distinguent couramment les formes 23-DoF et 29-DoF. | La taille, les poignets et les mains dextres optionnels peuvent changer les dimensions d'état et l'ordre des articulations. | Faites correspondre l'URDF exact et la cible du contrôleur, pas seulement « G1 ». |
| H1 | La page officielle liste 5 DoF par jambe et 4 DoF par bras dans la configuration indiquée. | La structure du bras et de la cheville diffère de celle du H1-2. | Utilisez la référence et le modèle spécifiques à H1. |
| H1-2 / H1_2 | La page officielle liste 27 DoF totaux : 7 par bras, 6 par jambe et 1 taille. | Plus de liberté au bras et à la cheville change la réorientation, les limites et les observations de la politique. | Ne chargez pas les fichiers H1 dans un pipeline H1-2. |
1Enregistrer ou générer un mouvement source utile
- Commencez par une action courte et lente contenant la transition de contact clé.
- Gardez le corps entier et les pieds visibles pour les tâches de locomotion ou d'équilibre.
- Utilisez un éclairage adéquat et un faible flou de mouvement.
- Évitez les auto-occultations sévères et le chevauchement de plusieurs personnes.
- Montrez le sol lorsque le placement des pieds est important.
- Utilisez le texte-à-mouvement pour des idées de comportement ; utilisez la vidéo lorsque le timing humain exact est important.
- Évitez de commencer par des coups de pied, chutes, sauts ou rotations rapides comme premier test robot.
2Sélectionner le préréglage UniRobot exact
Choisissez le modèle affiché dans l'interface d'export QuickMagic actuelle et enregistrez la sélection avec le projet. Si la cible est un G1 EDU modifié, une main personnalisée ou une configuration de taille altérée, vérifiez si le préréglage correspond à l'URDF réel et au vecteur d'état du contrôleur.
« G1 », « H1 » et « H1-2 » sont des familles de produits, pas des tableaux d'articulations universels. Un nom de fichier compatible ne peut pas compenser un nombre de DoF ou un ordre d'articulations différent.
3Valider le fichier de mouvement exporté
Questions de validation minimales
- Quel robot et quelle variante exacte ce fichier cible-t-il ?
- Combien d'articulations contrôlées sont présentes ?
- Quel est l'ordre des noms d'articulations et des colonnes ?
- Les valeurs des articulations sont-elles en radians ou en degrés ?
- Les positions linéaires sont-elles en mètres ou en centimètres ?
- Quel axe est vers le haut, vers l'avant et vers la gauche ?
- L'orientation de base est-elle Euler, quaternion ou une autre représentation ?
- Si quaternion : l'ordre est-il
wxyzouxyzw? - Quels sont la fréquence d'images et le pas de temps ?
- Des étiquettes de contact, des vitesses d'articulation ou des valeurs de confiance sont-elles incluses ?
Conservez l'export original. Effectuez la conversion d'unités, le rééchantillonnage et le réordonnancement des articulations dans un adaptateur versionné afin que la source brute reste vérifiable.
Guide des formats de fichier de mouvement robot
| Fichier ou actif | Rôle typique | Ce qu'il n'est pas | Validation |
|---|---|---|---|
| QuickMagic UniRobot | Référence de mouvement robot orientée modèle | Pas automatiquement un flux de commandes bas niveau | Préréglage, schéma, ordre des articulations, unités, timing |
| FBX / BVH | Échange de mouvement squelettique humain et entrée de réorientation | Pas une politique de contrôleur Unitree | Racine, FPS, squelette, pose de référence |
| PKL | Mouvement robot réorienté sérialisé Python dans des projets comme GMR | Pas une norme universelle | Version du projet, tableaux, nom du modèle, compatibilité Python |
| CSV → NPZ | Workflow de référence d'imitation G1 RL MjLab officiel Unitree | Pas la politique déployée elle-même | FPS entrée/sortie, colonnes, option robot |
| URDF / USD | Géométrie du robot, articulations, inertie et description de simulation | Pas des données de mouvement | Commit/version, axes d'articulations, collision, paramètres inertiels |
| ONNX / checkpoint | Politique de suivi ou de locomotion entraînée | Pas une animation brute | Schéma observation/action, normaliseurs, hypothèses de modèle et firmware |
| Messages DDS / SDK | État et commandes du robot en runtime | Pas un conteneur mocap hors ligne | Mode de contrôle, taux, état de sécurité et version de l'interface fournisseur |
Exemple officiel G1 RL MjLab
Le dépôt officiel RL MjLab de Unitree documente l'entraînement par imitation G1 en convertissant une référence de mouvement CSV en NPZ tout en spécifiant explicitement les fréquences d'images d'entrée et de sortie :
python scripts/csv_to_npz.py --input-file src/assets/motions/g1/example.csv --output-name example_motion.npz --input-fps 30 --output-fps 50 --robot g14Réorienter et contraindre la référence
Réorientation cinématique
- Mapper les segments du corps humain aux liaisons et axes d'articulations du robot.
- Ajuster ou mettre à l'échelle la référence humaine aux proportions du robot.
- Limiter les positions, vitesses et accélérations des articulations.
- Définir une pose neutre/de base compatible avec le contrôleur.
- Préserver les trajectoires importantes des effecteurs sans forcer des poses impossibles.
Gestion des contacts et de la base
- Détecter ou définir les intervalles de pieds plantés.
- Projeter les cibles des pieds sur le terrain prévu.
- Ajuster la trajectoire du bassin/de la base pour maintenir un support réalisable.
- Vérifier l'auto-collision et la collision avec l'environnement.
- Traiter l'interaction main-objet comme un problème de contrainte séparé.
GMR fournit des exemples open-source pour l'entrée FBX et BVH, la réorientation de robot et la visualisation MuJoCo. Utilisez un tel outil comme étape de conversion et de validation, pas comme preuve d'exécution sécurisée sur robot réel.
5Valider en simulation et entraîner le suiveur
Validation cinématique
- Chaque trame se charge sans articulation manquante ou dupliquée.
- La pose neutre est correcte.
- Les jambes et bras gauche/droit ne sont pas inversés.
- Les limites articulaires et l'auto-collision sont respectées.
- La durée correspond à la référence originale.
Validation dynamique
- Le robot reste équilibré sous gravité.
- Les contacts des pieds ne pénètrent pas ou ne glissent pas excessivement.
- Le couple, la vitesse et l'accélération demandés restent dans les limites.</
