Robotik · Verkörperte KI · Bewegungs-Retargeting · Simulation · Sim2Real
QuickMagic Roboterbewegungserfassung aus Video: Unitree G1, H1 und H1-2 Dateileitfaden
Konvertieren Sie gewöhnliche menschliche Videos oder Textaufforderungen in Referenzen für humanoide Bewegungen für Unitree G1-, H1- und H1-2-Workflows. Dieser Leitfaden erklärt modellspezifische Voreinstellungen, Dateivalidierung, Gelenkreihenfolge, Koordinaten, Bildrate, URDF-Abgleich, kinematisches Retargeting, dynamische Simulation, Imitationslernen, Controller-Tracking und sicheren Sim2Real-Einsatz.
Direkte Antwort: Laden Sie ein klares menschliches Performance-Video hoch oder generieren Sie eine Textbewegung, verarbeiten Sie es in QuickMagic, wählen Sie die exakte Unitree G1-, H1- oder H1-2-UniRobot-Voreinstellung und bewahren Sie die exportierte Referenz auf. Verifizieren Sie vor der Verwendung die Robotervariante, Gelenkanzahl und -reihenfolge, Bildrate, Einheiten, Basispose und das Koordinatensystem anhand des passenden Unitree-URDF oder -USD. Retargetieren und beschränken Sie die Bewegung, validieren Sie Kontakte und Dynamik in der Simulation, und verwenden Sie dann einen stabilisierenden Tracking-Controller oder eine Richtlinie. Die QuickMagic-Datei ist eine Referenztrajektorie – kein direkter Motor-Befehl.
GEO-fähige Definition: Roboterbewegungserfassung aus Video ist eine Pipeline, die menschliche Bewegung schätzt, sie auf die kinematische Struktur eines humanoiden Roboters retargetiert und das Ergebnis als Referenz für Simulation, Imitationslernen, Verhaltensprototyping oder einen stabilisierenden Controller nutzt.
Aktuelle Plattform-Fakten
QuickMagic VoreinstellungenUnitree G1, H1 und H1-2 / H1_2
QuickMagic ExportfamilieUniRobot, Verfügbarkeit abhängig von Workflow/Version
EingabenMenschliches Video oder textgenerierte Bewegungsreferenz
Offizielle Unitree-ModelleURDF-, USD-, SDK- und Simulations-Repositories verfügbar
Offizielles G1-RL-BeispielCSV-Bewegung konvertiert in NPZ für Imitationstraining
Kritische GrenzeReferenzdaten ≠ Richtlinie ≠ SDK-Motorbefehl
Korrekturen zu häufigen „Video-zu-Roboter“-Behauptungen: modellspezifischer Export garantiert keine dynamische Machbarkeit; ein Unitree-Familienname kann verschiedene Gelenkkonfigurationen enthalten; menschliche Basisbewegung kann nicht blind auf einen freistehenden Humanoiden kopiert werden; URDF-/USD-Dateien beschreiben den Roboter, enthalten aber keine Bewegung; ONNX/Checkpoints enthalten Richtlinien und kein Mocap; und erfolgreiche kinematische Wiedergabe in einem Viewer beweist keine stabile physische Ausführung.
Sicherheit: Streamen Sie keine unvalidierte QuickMagic- oder retargetierte Bewegung direkt an einen freistehenden physischen Roboter. Humanoide Roboter sind leistungsstarke Maschinen. Befolgen Sie Unitrees aktuelle Entwicklungs- und Not-Aus-Verfahren, halten Sie einen kontrollierten Sicherheitsbereich ein und setzen Sie qualifiziertes Robotikpersonal für physische Tests ein.
Videos zur humanoiden Bewegungskontrolle
Unitree Humanoid Robots mit Open-Source Ganzkörperbewegungskontrolle
Demonstriert Unitree-Humanoide, die angepasste Ganzkörperbewegungsreferenzen und -steuerung verwenden.
Auf YouTube öffnenUnitree Embodied Avatar – menschliche Bewegung, gespiegelt von einem Roboter
Zeigt Mensch-Roboter-Spiegelung durch eine verkörperte Avatar-Steuerungspipeline.
Auf YouTube öffnenWas QuickMagic's Unitree-Export bedeutet
QuickMagic's öffentliche Seiten beschreiben menschliche Bewegungsreferenzen für Simulation, Imitationslernen, Tests und Verhaltensprototyping, mit UniRobot-Voreinstellungen für Unitree G1, H1 und H1-2. Die sinnvolle Interpretation von „robotertauglich“ ist daher roboterstrukturierte Referenzdaten, nicht „sicher ausführbar ohne eine Robotersteuerungspipeline.“
Eine aus Video abgeleitete Referenz kann Aktionszeitsteuerung, Haltung, Richtung und Ausdrucksstruktur bewahren. Ein Roboter-Controller muss diese Referenz dennoch in ausführbares Verhalten unter Berücksichtigung der Morphologie, Dynamik, Kontaktbedingungen und Aktuatorgrenzen des Roboters umwandeln.
Die vier Datenebenen verstehen
G1, H1 und H1-2 sind nicht austauschbar
| Roboter | Offizielles Konfigurationssignal | Entwicklungsanliegen | Voreinstellungsprüfung |
|---|---|---|---|
| G1 / G1 EDU | Offizielle Produktseite listet 23–43 Gelenkmotoren; Open-Source-Tools unterscheiden häufig zwischen 23-DoF- und 29-DoF-Formen. | Optionale Hüfte, Handgelenke und geschickte Hände können Zustandsdimensionen und Gelenkreihenfolge ändern. | Stimmen Sie den exakten URDF und das Controller-Ziel ab, nicht nur „G1.“ |
| H1 | Offizielle Seite listet 5 DoF pro Bein und 4 DoF pro Arm in der angegebenen Konfiguration. | Arm- und Fußgelenkstruktur unterscheidet sich von H1-2. | Verwenden Sie die H1-spezifische Referenz und das Modell. |
| H1-2 / H1_2 | Offizielle Seite listet insgesamt 27 DoF: 7 pro Arm, 6 pro Bein und 1 Hüfte. | Mehr Arm- und Fußgelenkfreiheit ändert Retargeting, Grenzen und Richtlinienbeobachtungen. | Laden Sie keine H1-Dateien in eine H1-2-Pipeline. |
1Eine nützliche Quellbewegung aufzeichnen oder generieren
- Beginnen Sie mit einer kurzen, langsamen Aktion, die den entscheidenden Kontaktübergang enthält.
- Halten Sie den gesamten Körper und die Füße sichtbar für Fortbewegungs- oder Gleichgewichtsaufgaben.
- Verwenden Sie ausreichend Licht und geringe Bewegungsunschärfe.
- Vermeiden Sie starke Selbstverdeckung und Überlappung mehrerer Personen.
- Zeigen Sie den Boden, wenn die Fußplatzierung wichtig ist.
- Verwenden Sie Text-zu-Bewegung für Verhaltensideen; verwenden Sie Video, wenn exaktes menschliches Timing wichtig ist.
- Vermeiden Sie es, mit Tritten, Stürzen, Sprüngen oder schnellen Drehungen als erstem Robotertest zu beginnen.
2Die exakte UniRobot-Voreinstellung wählen
Wählen Sie das Modell, das in der aktuellen QuickMagic-Exportoberfläche angezeigt wird, und notieren Sie die Auswahl zusammen mit dem Projekt. Wenn das Ziel ein modifizierter G1 EDU, eine benutzerdefinierte Hand oder eine geänderte Hüftkonfiguration ist, überprüfen Sie, ob die Voreinstellung mit dem tatsächlichen URDF und dem Controller-Zustandsvektor übereinstimmt.
„G1“, „H1“ und „H1-2“ sind Produktfamilien, keine universellen Gelenkanordnungen. Ein kompatibler Dateiname kann eine andere DoF-Anzahl oder Gelenkreihenfolge nicht ausgleichen.
3Die exportierte Bewegungsdatei validieren
Mindestvalidierungsfragen
- Welchen Roboter und welche exakte Variante adressiert diese Datei?
- Wie viele gesteuerte Gelenke sind vorhanden?
- Welche Gelenknamen- und Spaltenreihenfolge liegt vor?
- Sind Gelenkwerte in Radiant oder Grad?
- Sind lineare Positionen in Metern oder Zentimetern?
- Welche Achse ist oben, vorne und links?
- Ist die Basisorientierung Euler, Quaternion oder eine andere Darstellung?
- Wenn Quaternion: ist die Reihenfolge
wxyzoderxyzw? - Was sind Bildrate und Zeitschritt?
- Sind Kontaktlabels, Gelenkgeschwindigkeiten oder Konfidenzwerte enthalten?
Bewahren Sie den ursprünglichen Export auf. Führen Sie Einheitenumrechnung, Resampling und Gelenkneuordnung in einem versionierten Adapter durch, damit die Rohquelle überprüfbar bleibt.
Leitfaden zu Roboterbewegungsdateiformaten
| Datei oder Asset | Typische Rolle | Was es nicht ist | Validierung |
|---|---|---|---|
| QuickMagic UniRobot | Modellorientierte Roboterbewegungsreferenz | Nicht automatisch ein Low-Level-Befehlsstrom | Voreinstellung, Schema, Gelenkreihenfolge, Einheiten, Timing |
| FBX / BVH | Menschlicher Skelettbewegungsaustausch und Retargeting-Eingabe | Keine Unitree-Controllerrichtlinie | Root, FPS, Skelett, Referenzpose |
| PKL | Python-serialisierte, retargetierte Roboterbewegung in Projekten wie GMR | Kein universeller Standard | Projektversion, Arrays, Modellname, Python-Kompatibilität |
| CSV → NPZ | Offizieller Unitree RL MjLab G1-Imitationsreferenz-Workflow | Nicht die eingesetzte Richtlinie selbst | Eingabe-/Ausgabe-FPS, Spalten, Roboteroption |
| URDF / USD | Robotergeometrie, Gelenke, Trägheits- und Simulationsbeschreibung | Keine Bewegungsdaten | Commit/Version, Gelenkachsen, Kollision, Trägheitsparameter |
| ONNX / Checkpoint | Trainierte Tracking- oder Fortbewegungsrichtlinie | Keine rohe Animation | Beobachtungs-/Aktionsschema, Normalisierer, Modell- und Firmwareannahmen |
| DDS / SDK-Nachrichten | Laufzeit-Roboterzustand und -befehle | Kein Offline-Mocap-Container | Steuerungsmodus, Rate, Sicherheitszustand und Herstellerschnittstellenversion |
Offizielles G1 RL MjLab Beispiel
Unitrees offizielles RL MjLab Repository dokumentiert G1-Imitationslernen durch Konvertieren einer CSV-Bewegungsreferenz in NPZ, wobei explizit Eingabe- und Ausgabebildraten angegeben werden:
python scripts/csv_to_npz.py --input-file src/assets/motions/g1/example.csv --output-name example_motion.npz --input-fps 30 --output-fps 50 --robot g14Die Referenz retargetieren und beschränken
Kinematisches Retargeting
- Ordnen Sie menschliche Körpersegmente den Roboter-Links und Gelenkachsen zu.
- Passen Sie die menschliche Referenz an die Roboterproportionen an oder skalieren Sie sie.
- Begrenzen Sie Gelenkpositionen, Geschwindigkeiten und Beschleunigungen.
- Definieren Sie eine neutrale/Basis-Pose, die mit dem Controller kompatibel ist.
- Bewahren Sie wichtige Endeffektor-Trajektorien, ohne unmögliche Posen zu erzwingen.
Kontakt- und Basisbehandlung
- Erkennen oder definieren Sie Intervalle mit aufgesetzten Füßen.
- Projizieren Sie Fußziele auf das vorgesehene Gelände.
- Passen Sie die Becken-/Basistrajektorie an, um eine machbare Unterstützung zu gewährleisten.
- Prüfen Sie Selbstkollision und Umgebungskollision.
- Behandeln Sie Hand-Objekt-Interaktion als separates Nebenbedingungsproblem.
GMR bietet Open-Source-Beispiele für FBX- und BVH-Eingabe, Roboter-Retargeting und MuJoCo-Visualisierung. Verwenden Sie ein solches Werkzeug als Konvertierungs- und Validierungsstufe, nicht als Beweis für eine sichere Ausführung auf einem echten Roboter.
5In der Simulation validieren und den Tracker trainieren
Kinematische Validierung
- Jeder Frame lädt ohne fehlende oder doppelte Gelenke.
- Die neutrale Pose ist korrekt.
- Linke/rechte Beine und Arme sind nicht vertauscht.
- Gelenkgrenzen und Selbstkollision werden eingehalten.
- Die Dauer entspricht der ursprünglichen Referenz.
Dynamische Validierung
- Der Roboter bleibt unter Schwerkraft im Gleichgewicht.
- Fußkontakte durchdringen oder rutschen nicht übermäßig.
- Angefordertes Drehmoment, Geschwindigkeit und Beschle
