Holistic AI Tracking for Robotics: Human Reference Motion Data

Ganzheitliches KI-Tracking für die Robotik: Referenzbewegungsdaten des Menschen

Die Fähigkeit, einem humanoiden Roboter beizubringen, sich zu bewegen – nicht durch das manuelle Programmieren jeder einzelnen Gelenktrajektorie, sondern indem man ihm zeigt, wie sich ein Mensch bewegt – stellt einen der bedeutendsten Wandel in der modernen Robotik dar. Im Zentrum dieses Wandels stehen menschliche Referenzbewegungsdaten: hochpräzise Aufzeichnungen menschlicher Bewegung, die als Trainingssignal für Robotersteuerungsrichtlinien dienen. Und die Technologie, die die Erfassung dieser Daten in großem Maßstab ermöglicht, ist das ganzheitliche KI-Tracking.

In diesem Artikel erläutern wir, was ganzheitliches Tracking für die Robotik bedeutet, wie KI-gestützte Bewegungserfassung robotertaugliche Referenzdaten erzeugt und wie Plattformen wie QuickMagic diese Pipeline für Forschende und Ingenieure zugänglich machen, die mit humanoiden Robotern von Unitree und darüber hinaus arbeiten.

Was ist ganzheitliches Tracking in der Robotik?

Ganzheitliches Tracking bezeichnet die Erfassung der vollständigen Bewegung eines menschlichen Subjekts – jedes Gelenks, jeder Extremität, jedes Fingers und der Trajektorie des Körpers durch den Raum – und deren Umwandlung in strukturierte Daten, aus denen ein Roboter lernen kann. Das Wort „ganzheitlich" ist hier entscheidend. Herkömmliche Bewegungserfassungssysteme konzentrieren sich oft auf eine einzige Dimension: Skelett-Tracking des ganzen Körpers ohne Hände, Hand-Tracking ohne Körperkontext oder Gesichtserfassung isoliert. Ganzheitliches Tracking erfasst alles gemeinsam und bewahrt dabei die Beziehungen zwischen den Körperteilen, die menschliche Bewegung natürlich wirken lassen.

Für die Robotik ist diese Vollständigkeit kein Luxus. Sie ist eine Voraussetzung. Wenn ein Roboter lernt, eine Tasse Wasser einzugießen, muss er wissen, wie sich der Oberkörper neigt, wie der Arm greift, wie sich die Finger um den Griff schließen und wie sich das Gewicht durch die Füße verlagert – alles gleichzeitig. Teilweise Daten erzeugen teilweise Verhaltensweisen. Ganzheitliche Daten erzeugen kohärente Ganzkörperfähigkeiten.

Zu den Kernkomponenten des ganzheitlichen Trackings für die Robotik gehören:

• Skelett-Tracking des ganzen Körpers: Gelenkwinkel und -positionen für alle großen Körpersegmente – Kopf, Oberkörper, Arme, Beine, Füße – rekonstruiert als 3D-Skelettanimation.
• Hand- und Finger-Tracking: Individuelle Fingergelenkwinkel, Handgelenksrotation und Griffbildung – unerlässlich für Manipulationsaufgaben und geschicktes Greifen.
• Globale Trajektorienverfolgung: Position und Orientierung des Körpers im Weltraum über die Zeit, nicht nur relative Gelenkbewegung. Dies teilt dem Roboter mit, wo er sich im Raum befindet, nicht nur wie seine Gliedmaßen positioniert sind.
• Zeitliche Konsistenz: Frame-für-Frame-Bewegung, die glatt und physikalisch plausibel ist, ohne plötzliche Sprünge oder Zittern, die einen Lernalgorithmus verwirren würden.

Warum menschliche Referenzbewegungsdaten für Roboter wichtig sind

Roboter lernen nicht so zu laufen wie Menschen. Ein menschliches Kleinkind verbringt Jahre damit, seine Motorik durch Versuch, Irrtum und Nachahmung zu entwickeln. Ein Roboter hingegen lernt typischerweise durch Reinforcement Learning (RL) – einen Prozess, bei dem er Tausende von Bewegungen in der Simulation ausprobiert, für erfolgreiche Belohnungen erhält und allmählich eine Steuerungsrichtlinie entwickelt, die sensorische Eingaben auf Motorikbefehle abbildet.

Das Problem ist, dass RL von Grund auf außerordentlich teuer ist. Der Suchraum möglicher Bewegungen ist astronomisch. Ohne Anleitung könnte ein Roboter Millionen von Simulationsepisode damit verbringen, herauszufinden, dass Gehen das Beugen der Knie beinhaltet – etwas, das ein menschliches Kleinkind durch Beobachten anderer herausfindet.

Hier verändert Robot-Mocap-Referenz-Daten die Gleichung. Statt aus dem Nichts zu lernen, werden dem Roboter menschliche Bewegungen als Referenzsignal gegeben – als Ziel, das er verfolgen soll. Die RL-Richtlinie wird nicht nur dafür belohnt, aufrecht zu bleiben, sondern dafür, die Referenzbewegung so genau wie möglich nachzuahmen. Dies verengt den Suchraum drastisch. Der Roboter muss das Gehen nicht erfinden; er muss menschliches Gehen an seinen eigenen Körper anpassen.

Die Forschung hat durchgängig gezeigt, dass referenzbewegungsgestütztes RL dramatisch bessere Ergebnisse liefert als Lernen von Grund auf. Das wegweisende BeyondMimic-Framework und seine Nachfolger zeigten, dass humanoide Roboter komplexe, dynamische Bewegungen – darunter Kampfsport, Tanzen und akrobatische Saltos – lernen können, indem sie retargetete menschliche Bewegungsdaten verfolgen. Neuere Arbeiten wie OmniTrack (CVPR 2025) zeigten, dass physikkonsistente Referenzdaten es dem Unitree G1 ermöglichen, Radschläge auszuführen und über eine Stunde lang ununterbrochen zu laufen.

Von menschlicher Bewegung zu Roboterbewegung: Die Retargeting-Pipeline

Die Erfassung menschlicher Bewegung ist nur der erste Schritt. Menschen und Roboter haben grundlegend unterschiedliche Körper. Ein menschliches Skelett hat über 200 Gelenke mit spezifischen Bewegungsbereichen, Gewichtsverteilungen und Aktuatorstärken. Ein Unitree G1 hat je nach Konfiguration 23 bis 43 Freiheitsgrade. Ein Unitree H1 hat 27. Die vom Menschen erfassten Bewegungsdaten können nicht direkt auf einen Roboter übertragen werden – sie müssen retargetet werden.

Retargeting ist der Prozess der Abbildung menschlicher Gelenkbewegungen auf die kinematische Struktur eines Roboters. Er umfasst:

1. Körperzuordnung: Identifizierung, welche menschlichen Gelenke welchen Robotergelenken entsprechen. Eine menschliche Schulter entspricht einer Roboterschulter, aber die 3-DOF-Schulterblattbewegung eines Menschen kann auf eine 2-DOF-Schulter eines Roboters abgebildet werden – was eine Vereinfachung erfordert.
2. Skalierung und Proportionenanpassung: Ein menschlicher Arm ist länger als der Arm eines Unitree G1. Die Gliedmaßenlängen müssen skaliert werden, damit die Bewegung zur Geometrie des Roboters passt.
3. Durchsetzung von Gelenkgrenzen: Wenn ein Mensch seine Hüfte über die physische Grenze des Roboters hinaus dreht, muss die retargetete Bewegung begrenzt oder angepasst werden, um unmögliche Befehle zu verhindern.
4. Behandlung von Fußkontakten: Menschliche Füße treffen in bestimmten Mustern auf den Boden. Die retargetete Bewegung muss sicherstellen, dass die Füße des Roboters einen angemessenen Kontakt zum Boden haben – kein Schweben, kein Eindringen.
5. Anti-Penetrations-Korrektur: Gliedmaßen sollten nicht durcheinander oder durch den eigenen Körper des Roboters hindurchgehen. Hochwertiges Retargeting umfasst Kollisionserkennung und -korrektur.

Forschungen aus den Jahren 2025 und 2026 haben deutlich gemacht, dass die Retargeting-Qualität direkt die Leistung der Richtlinie bestimmt. Die Studie „Retargeting Matters: General Motion Retargeting for Humanoid Motion Tracking" (Stanford HAI, 2025) verglich drei Retargeting-Methoden – PHC, ProtoMotions und eine neue Methode namens GMR – und stellte fest, dass Artefakte in retargeteten Daten (Bodendurchdringung, Selbstüberschneidung, plötzliche Gelenksprünge) die Robustheit erlernter Richtlinien erheblich beeinträchtigten. In manchen Fällen machte schlechtes Retargeting es dem Roboter unmöglich, die Bewegung überhaupt zu erlernen.

Deshalb bieten Plattformen, die das Retargeting automatisch übernehmen – menschliche Bewegung auf spezifische Robotermodelle wie den Unitree G1, H1 oder H1_2 abbilden – enormen Mehrwert. Sie entfernen einen komplexen, fehleranfälligen Schritt aus dem Arbeitsablauf der Forschenden und erzeugen Daten, die in Simulationsumgebungen sofort nutzbar sind.

Traditionelles Mocap vs. KI-gestützte markerlose Erfassung

Jahrzehntelang war der Goldstandard für die Bewegungserfassung das optische markerbasierte System: reflektierende Marker, die an bestimmten Körperpunkten angebracht und von Arrays kalibrierter Infrarotkameras in einem kontrollierten Studio verfolgt wurden. Systeme wie OptiTrack und Vicon liefern submillimetergenaue Präzision, bringen aber erhebliche Einschränkungen mit sich:

Der Kompromiss ist klar. Traditionelle Systeme gewinnen bei der reinen Präzision; KI-markerlose Systeme gewinnen bei Zugänglichkeit, Skalierbarkeit und Kosten. Für die Robotikforschung – bei der das Ziel oft darin besteht, große, vielfältige Trainingsdatensätze zu erzeugen, statt eine Präzision auf Benchmark-Niveau bei einer einzelnen Erfassung zu erreichen – sind die Vorteile der KI-gestützten Erfassung entscheidend.

Ein Forschungsteam, das 100 verschiedene Gangarten benötigt, um eine generalistische Fortbewegungsrichtlinie zu trainieren, kann nicht realistischerweise 100 Probanden in ein Mocap-Studio bringen. Aber es kann 100 Videos mit einem Smartphone aufnehmen, sie auf eine markerlose Plattform hochladen und für jedes davon retargetete Roboterbewegungsdaten erhalten. Das ist die Art von Skalierbarkeit, die Unitree-Mocap-KI-Workflows ermöglichen.

Unitree-Roboter-Integration: Von menschlicher Bewegung zu G1, H1 und H1_2

Unitree Robotics hat sich als eine der am weitesten verbreiteten humanoiden Roboterplattformen in der akademischen und industriellen Forschung etabliert. Der Unitree G1 – 132 cm groß, etwa 35 kg schwer, mit 23 bis 43 Freiheitsgraden je nach Konfiguration – ist zu einer Referenzplattform für die Erforschung der zweibeinigen Fortbewegung geworden, mit über 30 begutachteten Publikationen allein im Jahr 2025 von Institutionen wie Caltech, SJTU, HKU und Cornell. Der Unitree H1 und H1_2 – vollgroße Humanoide mit 180 cm Körpergröße – werden für Ganzkörpermanipulation und dynamische Fortbewegungsaufgaben eingesetzt.

Die Integration von KI-Bewegungserfassung mit Unitree-Robotern umfasst eine spezifische Pipeline:

1. Erfassung

Die menschliche Bewegung wird als Video mit einer beliebigen Kamerquelle aufgezeichnet – einem Smartphone, einer Webcam oder einer Profikamera. Die wichtigsten Anforderungen sind klare Sichtbarkeit des Subjekts, angemessene Beleuchtung und eine Bildrate von mindestens 30 FPS (60 FPS oder mehr werden für schnelle Bewegungen bevorzugt).

2. KI-Verarbeitung

Das Video wird von KI-Modellen verarbeitet, die Körperpunkte Frame für Frame erkennen, eine 3D-Skelettanimation rekonstruieren und eine Anti-Penetrations-Korrektur anwenden, um sicherzustellen, dass die Bewegung physikalisch plausibel ist. Das Ergebnis ist eine Ganzkörper-Bewegungssequenz in einem Standardformat wie BVH oder FBX.

3. Retargeting auf die Roboterkinematik

Die menschliche Bewegung wird auf die kinematische Struktur des jeweiligen Unitree-Modells retargetet. Die 29-DOF-EDU-Konfiguration des Unitree G1 beispielsweise hat andere Gelenkgrenzen und Gliedmaßenproportionen als die 27-DOF-Struktur des H1. Der Retargeting-Prozess skaliert die menschliche Bewegung, um diese Einschränkungen zu erfüllen, und erzeugt Gelenkwinkelverläufe, die vom Roboter physisch erreicht werden können.

4. Export in roboterkompatiblem Format

Die retargetete Bewegung wird in Formaten exportiert, die direkt von Simulations- und Trainingsframeworks für Roboter verwendet werden können. Das UniRobot-Export-Preset von QuickMagic übernimmt diesen Schritt und erzeugt Daten, die mit den Spezifikationen von Unitree G1, H1 und H1_2 kompatibel sind, zur Verwendung in Isaac Gym, MuJoCo und dem Unitree RL GYM.

5. Training und Deployment

Die retargetete Referenzbewegung dient als Tracking-Ziel für RL-basierte Bewegungsimitation. Die Richtlinie lernt, der Referenz so genau wie möglich zu folgen, während sie das Gleichgewicht hält und die physische Dynamik des Roboters berücksichtigt. Nach dem Training kann die Richtlinie über das Unitree SDK auf den physischen Roboter ausgerollt werden.

Diese Pipeline – von der Videoaufnahme bis zum Roboter-Deployment – kann heute ohne jegliche traditionelle Mocap-Hardware abgeschlossen werden. Ein Forscher mit einem Unitree G1, einer Smartphone-Kamera und einer browserbasierten KI-Mocap-Plattform kann Trainingsdaten erzeugen, Simulationen ausführen und Richtlinien auf den physischen Roboter ausrollen.

Anwendungen: Wo ganzheitliches Tracking auf Roboterlernen trifft

Imitationslernen

Imitationslernen – auch Behavioral Cloning genannt – trainiert einen Roboter darauf, demonstrierte Verhaltensweisen nachzuahmen. Ganzheitliche menschliche Bewegungsdaten liefern die Demonstrationen. Für humanoide Roboter bedeutet dies, nicht nur zu lernen, was zu tun ist (eine Tasse aufheben), sondern wie es mit menschenähnlicher Bewegungsqualität zu tun ist – die Gewichtsverlagerung, die Greiftrajektorie, die Griffbildung. Der Reichtum ganzheitlicher Daten (Körper + Hände + Trajektorie) erzeugt natürlichere und generalisierbarere Verhaltensweisen als reine Körperdaten.

Reinforcement Learning mit Referenzverfolgung

Beim RL-basierten Bewegungsimitationsverfahren wird die Richtlinie des Roboters darauf trainiert, die Referenzbewegung zu verfolgen, während die physische Stabilität erhalten bleibt. Die Referenzbewegung dient als Belohnungssignal: Je näher die Bewegung des Roboters an der Referenz liegt, desto höher die Belohnung. Dieser Ansatz wurde in mehreren Frameworks validiert – BeyondMimic, OmniTrack, OmniH2O – und auf mehreren Roboterplattformen, wobei er durchgängig robustere und natürlichere Richtlinien erzeugte als RL von Grund auf.

Verhaltens-Prototyping

Bevor man sich auf einen vollständigen RL-Trainingslauf einlässt – der Stunden oder Tage an GPU-Zeit in Anspruch nehmen kann –, können Forschende Verhaltensweisen anhand von Referenzbewegungsdaten prototypisieren. Unterstützt die kinematische Struktur des Roboters diese Bewegung? Gibt es Verletzungen von Gelenkgrenzen? Wird die Bewegung dynamisch stabil sein? Indem Referenzdaten zuerst in der Simulation getestet werden, können Forschende undurchführbare Bewegungen frühzeitig herausfiltern und Trainingsressourcen auf Bewegungen mit hoher Erfolgswahrscheinlichkeit konzentrieren.

Teleoperation und Human-in-the-Loop-Steuerung

Echtzeit-Tracking menschlicher Bewegung ermöglicht Teleoperation: Die Bewegungen eines menschlichen Bedieners werden in Echtzeit erfasst und auf den Roboter abgebildet, wodurch eine direkte Steuerung des Roboters für komplexe Aufgaben möglich wird. Systeme wie TWIST2 (2025) zeigten, dass VR-basierte Ganzkörper-Teleoperation 100 bimanuelle Manipulationsdemonstrationen in unter 20 Minuten mit nahezu 100 % Erfolgsquote sammeln kann – eine Effizienz bei der Datenerfassung, die mit manueller Roboterprogrammierung unmöglich wäre.

Aufbau einer Fähigkeitsbibliothek

Da sich die Robotik in Richtung universeller humanoider Plattformen bewegt, wird die Fähigkeit, Bibliotheken wiederverwendbarer Bewegungsfähigkeiten aufzubauen und zu pflegen, entscheidend. Ganzheitliches Tracking ermöglicht die systematische Erfassung vielfältiger menschlicher Bewegungen – Gehen, Laufen, Hocken, Greifen, Ergreifen, Werfen –, die katalogisiert, auf verschiedene Robotermodelle retargetet und bei Bedarf für Training oder direktes Deployment abgerufen werden können.

Datenqualität: Was Referenzbewegungen für das Robotertraining geeignet macht

Nicht alle Bewegungsdaten sind für das Roboterlernen gleichermaßen nützlich. Die Qualität der Referenzdaten wirkt sich direkt auf die Qualität der erlernten Richtlinie aus. Basierend auf Erkenntnissen aus der jüngsten Robotikforschung sind die folgenden Qualitätskriterien entscheidend:

• Physische Plausibilität: Die Bewegung muss von einem physischen Körper ausführbar sein – kein Schweben, keine Bodendurchdringung, keine Selbstüberschneidung. Physikalisch inkonsistente Referenzdaten zwingen die RL-Richtlinie dazu, gleichzeitig die Bewegung zu lernen und unmögliche Physik zu korrigieren, was die Leistung beeinträchtigt.
• Einhaltung der Gelenkgrenzen: Jeder Gelenkwinkel in den retargeteten Daten muss innerhalb des mechanischen Bereichs des Roboters liegen. Gelenkwerte, die Grenzen überschreiten, erzeugen NaN-Fehler oder unregelmäßiges Verhalten während des Trainings.
• Zeitliche Glätte: Plötzliche Sprünge in Gelenkwinkeln – selbst Einzelbild-Diskontinuitäten – erzeugen Instabilität beim RL-Training. Bewegungsdaten sollten gefiltert werden, um Zittern zu entfernen, und dort interpoliert werden, wo Frames fehlen.
• Genauigkeit der Fußkontakte: Bei Fortbewegungsaufgaben müssen Timing und Position der Fußkontakte korrekt sein. Fußgleiten (Füße, die rutschen, wenn sie aufgesetzt sein sollten) ist eines der häufigsten Artefakte, die die Qualität von Fortbewegungsrichtlinien beeinträchtigen.
• Vielfalt: Eine Richtlinie, die auf einer einzigen Gangart trainiert wurde, erzeugt nur diese eine Gangart. Das Training mit vielfältigen Referenzdaten – unterschiedliche Geschwindigkeiten, unterschiedliche Terrains, unterschiedliche Bewegungsarten – erzeugt eine generalistische Richtlinie, die sich an neuartige Situationen anpassen kann.

KI-Bewegungserfassungsplattformen erfüllen mehrere dieser Kriterien automatisch. Anti-Penetrations-Systeme verhindern, dass Gliedmaßen durcheinander hindurchgehen. Retargeting-Presets erzwingen Gelenkgrenzen. Cloud-basierte Verarbeitung ermöglicht die Batch-Erfassung vielfältiger Bewegungssätze. Doch der menschliche Forscher spielt weiterhin eine Rolle bei der Qualitätssicherung – indem er die retargetete Bewegung in der Simulation vor einem Trainingslauf in der Vorschau prüft.

Die Embodiment-Lücke und wie man sie überbrückt

Selbst mit perfekter Bewegungserfassung und perfektem Retargeting bleibt eine grundlegende Herausforderung bestehen: die Embodiment-Lücke. Menschen und Roboter sind nicht dasselbe. Der Massenschwerpunkt eines Menschen unterscheidet sich von dem eines Unitree G1. Menschliche Muskeln erzeugen Kraft anders als Elektromotoren. Menschliche Gelenke haben andere Dämpfungseigenschaften als Robotergelenke.

Wenn man einem Roboter sagt, er solle „diese menschliche Bewegung verfolgen", bittet man ihn implizit, etwas zu tun, wofür sein Körper nicht entworfen wurde. Dies kann zu Folgendem führen:

• Schweben: Die Referenzbewegung platziert den Roboter in der Luft, während sein Gewicht sagt, dass er auf dem Boden sein sollte.
• Durchdringung: Retargetete Gelenkwinkel führen dazu, dass die Gliedmaßen des Roboters durch seinen Körper oder den Boden schneiden.
• Fußgleiten: Die Füße des Roboters rutschen, weil das Gangmuster des Menschen nicht zur Schrittlänge des Roboters passt.

Die jüngste Forschung hat diese Lücke durch physikkonsistente Referenzgenerierung angegangen. Das OmniTrack-Framework (CVPR 2025) beispielsweise verwendet einen zweistufigen Ansatz: Zuerst „stellt sich" eine Richtlinie mit privilegierten Informationen vor, wie der Roboter die menschliche Bewegung realistisch in einem Physiksimulator ausführen würde, und erzeugt so eine Bewegung, die dem menschlichen Original ähnelt, aber der Physik des Roboters gehorcht. Danach lernt eine Richtlinie der zweiten Stufe, diese physikkonsistente Referenz nur mit propriozeptiven Daten (dem, was der Roboter tatsächlich wahrnehmen kann) zu verfolgen. Diese Entkopplung – die Trennung von „Ist diese Bewegung physikalisch möglich?" und „Kann der Roboter ihr folgen?" – hat modernste Ergebnisse erzielt, darunter den Unitree G1, der Seitwärtssaltos, Radschläge und 60 Minuten lang ununterbrochenes Laufen im Freien ausführt.

Die praktische Konsequenz für Forschende, die KI-Bewegungserfassung nutzen, ist einfach: Das rohe Human-zu-Roboter-Retargeting liefert die anfängliche Referenz, und eine physikbasierte Verfeinerung (entweder durch Simulations-Rollouts oder gelernte Verfeinerungsrichtlinien) erzeugt die endgültige, einsatzfähige Referenzbewegung. Beide Schritte profitieren von hochwertigen Ausgangsdaten – und hier zählt die Erfassungsqualität von KI-Mocap-Plattformen.