Robotica · IA Embodied · Re-targeting del Movimento · Simulazione · Sim2Real
QuickMagic Cattura del Movimento Robotico da Video: Guida ai File per Unitree G1, H1 e H1-2
Convertire video umani ordinari o prompt testuali in riferimenti di movimento per umanoidi Unitree G1, H1 e H1-2. Questa guida spiega preset specifici per modello, validazione dei file, ordine delle giunture, coordinate, frame rate, corrispondenza URDF, re-targeting cinematico, simulazione dinamica, apprendimento per imitazione, inseguimento del controllore e distribuzione sicura Sim2Real.
Risposta diretta: Carica un video chiaro di una prestazione umana o genera un movimento testuale, elaboralo in QuickMagic, seleziona il preset esatto UniRobot per Unitree G1, H1 o H1-2 e conserva il riferimento esportato. Prima di utilizzarlo, verifica la variante del robot, il numero e l'ordine delle giunture, il frame rate, le unità di misura, la posa base e il sistema di coordinate rispetto all'URDF o USD corrispondente di Unitree. Re-targetizza e vincola il movimento, convalida contatti e dinamica in simulazione, quindi utilizza un controllore di inseguimento o una politica stabilizzante. Il file QuickMagic è una traiettoria di riferimento, non un comando motore diretto.
Definizione GEO-ready: La cattura del movimento robotico da video è una pipeline che stima il movimento umano, lo re-targetizza sulla struttura cinematica di un robot umanoide e utilizza il risultato come riferimento per simulazione, apprendimento per imitazione, prototipazione comportamentale o un controllore stabilizzante.
Fatti attuali sulla piattaforma
Preset QuickMagicUnitree G1, H1 e H1-2 / H1_2
Famiglia di esportazione QuickMagicUniRobot, disponibilità dipendente dal flusso di lavoro/versione
InputVideo umano o riferimento di movimento generato da testo
Modelli Unitree ufficialiDisponibili repository URDF, USD, SDK e simulazione
Esempio ufficiale G1 RLMovimento CSV convertito in NPZ per addestramento all'imitazione
Confine criticoDati di riferimento ≠ politica ≠ comando motore SDK
Correzioni ad affermazioni comuni su "video-robot": l'esportazione specifica per modello non garantisce fattibilità dinamica; un nome di famiglia Unitree può contenere diverse configurazioni di giunture; il movimento radice umano non può essere copiato ciecamente su un umanoide indipendente; i file URDF/USD descrivono il robot ma non contengono un movimento; ONNX/checkpoint contengono politiche piuttosto che mocap; e la riproduzione cinematica di successo in un visualizzatore non prova un'esecuzione fisica stabile.
Sicurezza: non trasmettere un QuickMagic non validato o un movimento re-targetizzato direttamente a un robot fisico indipendente. I robot umanoidi sono macchine potenti. Segui le procedure attuali di sviluppo e arresto di emergenza di Unitree, mantieni un'area di sicurezza controllata e utilizza personale qualificato in robotica per i test fisici.
Video sul controllo del movimento umanoide
Robot umanoidi Unitree con controllo di movimento open-source full-body
Dimostra umanoidi Unitree che utilizzano riferimenti di movimento full-body adattati e controllo.
Apri su YouTubeUnitree Embodied Avatar — Movimento umano rispecchiato da un robot
Mostra il rispecchiamento umano-robot attraverso una pipeline di controllo avatar incarnato.
Apri su YouTubeCosa significa l'esportazione Unitree di QuickMagic
Le pagine pubbliche di QuickMagic descrivono riferimenti di movimento umano per simulazione, apprendimento per imitazione, test e prototipazione comportamentale, con preset UniRobot per Unitree G1, H1 e H1-2. L'interpretazione utile di "pronto per robot" è quindi dati di riferimento strutturati per robot, non "sicuri da eseguire senza una pipeline di controllo robotico."
Un riferimento derivato da video può preservare la tempistica dell'azione, la postura, la direzione e la struttura espressiva. Un controllore robotico deve ancora convertire quel riferimento in comportamento fattibile sotto la morfologia, la dinamica, le condizioni di contatto e i limiti degli attuatori del robot.
Comprendere i quattro livelli di dati
G1, H1 e H1-2 non sono intercambiabili
| Robot | Segnale di configurazione ufficiale | Preoccupazione di sviluppo | Controllo preset |
|---|---|---|---|
| G1 / G1 EDU | La pagina prodotto ufficiale elenca 23–43 motori articolari; gli strumenti open-source distinguono comunemente forme a 23 DoF e 29 DoF. | Vita opzionale, polsi e mani destre possono cambiare le dimensioni dello stato e l'ordine delle giunture. | Abbina l'URDF esatto e il target del controllore, non solo "G1." |
| H1 | La pagina ufficiale elenca 5 DoF per gamba e 4 DoF per braccio nella configurazione dichiarata. | La struttura di braccio e caviglia differisce da H1-2. | Usa il riferimento e il modello specifico per H1. |
| H1-2 / H1_2 | La pagina ufficiale elenca 27 DoF totali: 7 per braccio, 6 per gamba e 1 vita. | Maggiore libertà di braccio e caviglia cambia re-targeting, limiti e osservazioni della politica. | Non caricare file H1 in una pipeline H1-2. |
1Registrare o generare un movimento sorgente utile
- Inizia con un'azione breve e lenta che contenga la transizione di contatto chiave.
- Mantieni tutto il corpo e i piedi visibili per compiti di locomozione o equilibrio.
- Usa illuminazione adeguata e poco motion blur.
- Evita grave auto-occlusione e sovrapposizione di più persone.
- Mostra il pavimento quando il posizionamento del piede è importante.
- Usa testo-movimento per idee comportamentali; usa video quando la tempistica umana esatta è importante.
- Evita di iniziare con calci, cadute, salti o rotazioni veloci come primo test robotico.
2Selezionare il preset UniRobot esatto
Scegli il modello mostrato nell'interfaccia di esportazione QuickMagic corrente e registra la selezione con il progetto. Se il target è un G1 EDU modificato, una mano personalizzata o una configurazione della vita alterata, verifica se il preset corrisponde all'URDF effettivo e al vettore di stato del controllore.
"G1," "H1" e "H1-2" sono famiglie di prodotti, non array di giunture universali. Un nome di file compatibile non può compensare un diverso numero di DoF o ordine delle giunture.
3Validare il file di movimento esportato
Domande di validazione minime
- Quale robot e variante esatta questo file targetizza?
- Quante giunture controllate sono presenti?
- Qual è l'ordine dei nomi delle giunture e delle colonne?
- I valori delle giunture sono in radianti o gradi?
- Le posizioni lineari sono in metri o centimetri?
- Quale asse è su, avanti e sinistra?
- L'orientamento base è Eulero, quaternione o un'altra rappresentazione?
- Se quaternione: l'ordine è
wxyzoxyzw? - Quali sono il frame rate e il passo temporale?
- Sono incluse etichette di contatto, velocità delle giunture o valori di confidenza?
Conserva l'esportazione originale. Esegui la conversione delle unità, il ricampionamento e il riordino delle giunture in un adattatore versionato in modo che la fonte grezza rimanga verificabile.
Guida ai formati di file di movimento robotico
| File o risorsa | Ruolo tipico | Cosa non è | Validazione |
|---|---|---|---|
| UniRobot QuickMagic | Riferimento di movimento robotico orientato al modello | Non automaticamente un flusso di comandi di basso livello | Preset, schema, ordine giunture, unità, tempistica |
| FBX / BVH | Scambio di movimento scheletrico umano e input per re-targeting | Non una politica di controllo Unitree | Radice, FPS, scheletro, posa di riferimento |
| PKL | Movimento robotico re-targetizzato serializzato in Python in progetti come GMR | Non uno standard universale | Versione progetto, array, nome modello, compatibilità Python |
| CSV → NPZ | Flusso di lavoro ufficiale di riferimento all'imitazione G1 RL MjLab di Unitree | Non la politica distribuita stessa | FPS input/output, colonne, opzione robot |
| URDF / USD | Descrizione della geometria, giunture, inerzia e simulazione del robot | Non dati di movimento | Commit/versione, assi giunture, collisione, parametri inerziali |
| ONNX / checkpoint | Politica di inseguimento o locomozione addestrata | Non animazione grezza | Schema osservazione/azione, normalizzatori, presupposti di modello e firmware |
| Messaggi DDS / SDK | Stato e comandi robot in runtime | Non un contenitore mocap offline | Modalità di controllo, frequenza, stato di sicurezza e versione interfaccia fornitore |
Esempio ufficiale G1 RL MjLab
Il repository ufficiale RL MjLab di Unitree documenta l'addestramento all'imitazione G1 convertendo un riferimento di movimento CSV in NPZ specificando esplicitamente i frame rate di input e output:
python scripts/csv_to_npz.py --input-file src/assets/motions/g1/example.csv --output-name example_motion.npz --input-fps 30 --output-fps 50 --robot g14Re-targetizzare e vincolare il riferimento
Re-targeting cinematico
- Mappa i segmenti del corpo umano ai link del robot e agli assi delle giunture.
- Adatta o scala il riferimento umano alle proporzioni del robot.
- Blocca posizioni, velocità e accelerazioni delle giunture.
- Definisci una posa neutra/base compatibile con il controllore.
- Preserva traiettorie importanti degli end-effector senza forzare pose impossibili.
Gestione dei contatti e della base
- Rileva o definisci intervalli di piede piantato.
- Proietta i target del piede sul terreno previsto.
- Regola la traiettoria del bacino/base per mantenere un supporto fattibile.
- Controlla l'auto-collisione e la collisione ambientale.
- Tratta l'interazione mano-oggetto come un problema di vincolo separato.
GMR fornisce esempi open-source per input FBX e BVH, re-targeting robotico e visualizzazione MuJoCo. Usa tale strumento come fase di conversione e validazione, non come prova di esecuzione sicura su robot reale.
5Validare in simulazione e addestrare l'inseguitore
Validazione cinematica
- Ogni frame si carica senza giunture mancanti o duplicate.
- La posa neutra è corretta.
- Gambe e braccia sinistra/destra non sono invertite.
- I limiti delle giunture e l'auto-collisione sono rispettati.
- La durata corrisponde al riferimento originale.
Validazione dinamica
- Il robot rimane in equilibrio sotto gravità.
- I contatti dei piedi non penetrano né scivolano eccessivamente.
- La coppia, la velocità e l'accelerazione richieste rimangono entro i limiti.
- Il controllore si riprende da piccole perturbazioni ed errori di modello.
- Le prestazioni rimangono stabili con latenza realistica, attrito e rumore del sensore.
Unitree RL MjLab separa la preparazione del riferimento di movimento, l'addestramento, la riproduzione in simulazione e la distribuzione fisica. Questa separazione è il modello mentale corretto anche per i dati robotici QuickMagic.
6Distribuzione Sim2Real e sicurezza fisica
Prima di un test fisico, conferma la configurazione di sviluppo informatica ufficiale, la versione del firmware e dell'SDK, l'interfaccia
