AI Body Tracking for Games: Unity & Unreal

Was ist KI-Körperverfolgung für Spielanimationen?

KI-Körperverfolgung ist die Verwendung von Computer Vision und maschinellen Lernmodellen, um die Pose und Bewegung einer Person aus einem Video zu schätzen, diese Bewegung über die Zeit zu rekonstruieren und eine bearbeitbare 3D-Skelettanimation auszugeben. Für die Spielproduktion wird die resultierende Bewegung auf einen rigged Charakter in einer Engine wie Unity oder Unreal Engine übertragen – oder neu ausgerichtet (retargeted).

Dies unterscheidet sich von der Live-Körperverfolgung, die zur Steuerung eines Avatars in Echtzeit verwendet wird. Der Video-zu-Bewegung-Workflow von QuickMagic erstellt ein Animations-Asset, das Sie in einem Spiel in der Vorschau anzeigen, bearbeiten, wiederverwenden, überblenden und ausliefern können. Die Ausgabe sind Bewegungsdaten, kein fertiger Charakter, Level oder gerenderte Zwischensequenz.

Traditionelle optische Motion-Capture zeichnet Marker mit mehreren kalibrierten Kameras auf. Inertialsysteme verwenden tragbare Sensoren. Markerlose KI-Motion-Capture von QuickMagic beginnt mit Aufnahmen von einem Telefon, einer Webcam oder einer Kamera und wandelt sichtbare Bewegungen in bearbeitbare 3D-Animation um – kein Anzug oder reflektierende Marker erforderlich.

Warum Spieleentwickler KI-Mocap nutzen

Der größte Vorteil von KI-Mocap für Spiele ist die Iterationsgeschwindigkeit. Ein Designer kann eine Idee für eine Fortbewegung testen, ein Animator eine Unterhaltung blocken, oder ein kleines Studio kann eine Bibliothek von Hintergrundbewegungen aufbauen, ohne für jede Änderung eine Aufnahmebühne buchen zu müssen.

• Früher prototypen: Platzhalterposen durch menschliches Timing in der Vorphase ersetzen.
• Mehr Variationen aufnehmen: schnell alternative Idles, Reaktionen, Gesten und Fortbewegungen aufzeichnen.
• Remote arbeiten: Darsteller können geeignetes Filmmaterial ohne Anreise zum Studio aufnehmen.
• Bewegungen bearbeitbar halten: importierte Animationen können getrimmt, überblendet, neu getimt, geschichtet oder poliert werden.
• Wiederverwendung über Charaktere hinweg: ein sauberer Quellclip kann auf mehrere kompatible Rigs neu ausgerichtet werden.

Gute Anwendungsfälle sind NPC-Idles, Dialoggesten, Kampfblockouts, Fortbewegungsprototypen, Emotes, In-Engine-Zwischensequenzen, Previs und Animationsreferenzen. Präzise Hand-Prop-Interaktionen, Akrobatik mit starker Selbstverdeckung und Heldenbewegungen mit strengen Fußkontakten verdienen normalerweise eine sorgfältigere Aufnahme- und Nachbearbeitung.

Der vollständige Video-zu-Spielanimation-Workflow

1. Klare Performance aufnehmen
2. Bewegung in QuickMagic generieren
3. Überprüfen und exportieren
4. Importieren und neu ausrichten
5. Polieren und bereitstellen

1. Filmmaterial aufnehmen, das die KI lesen kann

Beginnen Sie mit der Originalvideodatei Ihrer Kamera. Für die Ganzkörperverfolgung halten Sie Kopf und Füße des Darstellers sichtbar, lassen Sie Platz um den Körper, verwenden Sie gleichmäßiges Licht und vermeiden Sie Kleidung, die die Silhouette verbirgt. Eine stabile Kamera und ein klarer Kontrast zwischen Darsteller und Hintergrund erleichtern die Schätzung der Gelenkpositionen.

• Halten Sie den gesamten Darsteller während der gesamten Aufnahme im Bild.
• Vermeiden Sie längere Phasen, in denen Arme den Oberkörper kreuzen oder Beine sich gegenseitig verstecken.
• Verwenden Sie eine ausreichend hohe Verschlusszeit oder ausreichend Licht, um Bewegungsunschärfe zu begrenzen.
• Nehmen Sie vor einer langen Sitzung einen kurzen Test auf.
• Verwenden Sie zu Beginn eine klare neutrale Pose, falls Ihr Retargeting-Setup eine solche erwartet.

2. Körperverfolgung in QuickMagic generieren

Laden Sie das Video hoch, trimmen Sie unnötige Frames, wählen Sie den Darsteller und den Aufnahmemodus aus und wählen Sie die für das Projekt benötigten Optionen für Körper, Hände oder Gesicht aus. Wählen Sie die Referenzpose, Abtastrate, In-Place-Einstellung und den Ziel-Workflow aus, bevor Sie die Bewegung generieren. QuickMagic unterstützt Ganzkörper- und Oberkörper-Workflows, während verfügbare Optionen für Hände, Gesicht, mehrere Subjekte und Exporte je nach Plan und Aufnahmemodus variieren können.

Für einen ersten Test verwenden Sie einen kurzen Clip und überprüfen Sie ihn, bevor Sie einen ganzen Batch verarbeiten. Der QuickMagic-Einsteigerleitfaden bietet eine umfassendere Anleitung zu Aufnahme, Konfiguration, Verfeinerung und Export.

3. Den Solve vor dem Export überprüfen

Betrachten Sie die Bewegung aus mehr als einem Winkel. Prüfen Sie, ob sich das Becken in die richtige Richtung bewegt, die Füße zum richtigen Zeitpunkt den Boden berühren, die Knie stabil bleiben und die Hände den beabsichtigten Bögen folgen. Wenn ein Körperteil in der Quellvorschau falsch ist, korrigieren oder regenerieren Sie die Quelle, wenn möglich; das ist wiederverwendbarer, als denselben Fehler an jedem Zielcharakter zu beheben.

4. Entscheiden zwischen In-Place und Root Motion

Verwenden Sie In-Place-Animation, wenn der Gameplay-Code oder ein Character Controller den Charakter bewegt. Verwenden Sie Root Motion, wenn die Performance selbst die Verschiebung antreiben soll, wie bei einem festgelegten Angriff, einem Sprung oder einem filmischen Gang. Treffen Sie diese Entscheidung vor dem Export und überprüfen Sie sie innerhalb der Engine erneut – Root-Verhalten ist einer der häufigsten Gründe, warum ein ansonsten korrekter Clip zu rutschen oder zu springen scheint.

Den richtigen Export für Unity oder Unreal Engine wählen

Die beste Datei ist nicht einfach die universellste. Es ist die Ausgabe, die die Skelettkonvertierung für den Zielcharakter minimiert. QuickMagic bietet derzeit FBX sowie workflow-spezifische Formate und Voreinstellungen; die Verfügbarkeit kann je nach Plan und Produktversion variieren. Überprüfen Sie daher den aktuellen Exportbildschirm.

Weitere formatbezogene Anleitungen finden Sie auf der aktuellen Seite QuickMagic 3D-Animation-Exportformate.

Körperverfolgung in Unity: Schritt-für-Schritt-Import und Retargeting

Für einen typischen Körperverfolgung Unity-Workflow erstellt QuickMagic die Bewegung und Unitys Mecanim-System ordnet sie einem Humanoid-Avatar zu. Ein gültiges Humanoid-Rig ermöglicht die Wiederverwendung einer Animation über verschiedene Charaktere mit unterschiedlichen Proportionen, vorausgesetzt, ihre erforderlichen Knochen sind korrekt zugeordnet.

1. Fügen Sie die Bewegung zum Projekt hinzu. Ziehen Sie die exportierte FBX- oder unterstützte Unity-Animation-Datei in einen dedizierten Ordner wie Assets/Animations/QuickMagic.
2. Konfigurieren Sie das Quell-Rig. Wählen Sie die importierte FBX aus. Setzen Sie im Rig-Tab des Inspektors Animation Type auf Humanoid. Verwenden Sie Create From This Model für einen Quell-Avatar oder Copy From Other Avatar nur, wenn die Animation dieselbe Knochenstruktur wie ein bereits im Projekt vorhandener Avatar verwendet.
3. Validieren Sie den Avatar. Klicken Sie auf Configure, bestätigen Sie, dass erforderliche Knochen grün und korrekt zugewiesen sind, und überprüfen Sie die Referenzpose. Wenn Unity meldet, dass der Charakter nicht in einer T-Pose ist, verwenden Sie Enforce T-Pose oder korrigieren Sie die Zuordnung manuell.
4. Konfigurieren Sie den Clip. Aktivieren Sie im Animation-Tab die Option Import Animation. Legen Sie Clip-Namen und -Bereich, Loop-Optionen und Root Transform Rotation/Position-Einstellungen fest. Klicken Sie auf Apply und zeigen Sie eine Vorschau des Clips an.
5. Wenden Sie ihn auf den Zielcharakter an. Bestätigen Sie, dass das Zielmodell ebenfalls einen gültigen Humanoid-Avatar hat. Fügen Sie den Clip einem Animator Controller hinzu, weisen Sie den Controller dem Animator des Charakters zu und testen Sie ihn in der Szene oder im Play-Modus.
6. Überprüfen Sie die Bewegungseigentümerschaft. Wenn Code den Spieler bewegt, belassen Sie den Clip in Place und deaktivieren Sie Apply Root Motion. Wenn die Animation die Bewegung antreiben soll, aktivieren Sie Root Motion und bestätigen Sie, dass die importierten Root-Einstellungen die beabsichtigte Verschiebung erzeugen.

Häufige Unity-Probleme und Lösungen

Körperverfolgung in Unreal Engine: Schritt-für-Schritt-Import und Retargeting

In einem typischen Körperverfolgung Unreal-Workflow kommt der Export als FBX mit einem animierten Skelett an. Unreal importiert diese Daten als Animation Sequence. Wenn sich das Quellskelett vom Produktionscharakter unterscheidet, übertragen Unreals IK-Rig- und IK-Retargeter-Werkzeuge die Bewegung.

1. Wählen Sie den passenden QuickMagic-Export. Beginnen Sie mit der Unreal-Vorgabe, die Ihrem beabsichtigten Workflow entspricht. Für einen benutzerdefinierten Charakter kann auch ein generisches oder Mixamo-ähnliches FBX als Retargeting-Quelle dienen.
2. Importieren Sie die Quellanimation. Erstellen Sie im Content Browser einen klaren Quellordner wie Characters/Mocap/QuickMagic/Source, importieren Sie dann das FBX. Aktivieren Sie den Animationsimport. Wählen Sie ein vorhandenes Skeleton nur, wenn es wirklich kompatibel ist; importieren Sie andernfalls das Quellskelett und die Animation zum Retargeting.
3. Erstellen oder verwenden Sie Quell- und Ziel-IK-Rigs. Jede Seite benötigt ein IK-Rig, das an ihr Skeletal Mesh gebunden ist. Legen Sie den Retarget-Root fest – normalerweise das Becken oder die Hüfte – und definieren Sie passende Ketten für Wirbelsäule, Arme, Beine, Nacken und Kopf. Fügen Sie Fingerketten nur hinzu, wenn sie Teil des Aufnahme- und Ziel-Workflows sind.
4. Erstellen Sie den IK-Retargeter. Weisen Sie Quell- und Ziel-IK-Rig zu, überprüfen Sie die Kettenzuordnung und zeigen Sie eine Vorschau der Animation an. Richten Sie die Retarget-Posen sorgfältig aus; eine Fehlanpassung von T-Pose/A-Pose verursacht oft Schulter-, Ellbogen- und Handgelenksfehler.
5. Exportieren Sie die retargetierte Animation Sequence. Sobald die Vorschau korrekt ist, exportieren Sie die ausgewählte Animation in den Ordner des Zielcharakters. Verwenden Sie sie in einem Animation Blueprint, Montage, Blend Space, Control Rig-Workflow oder Sequencer.
6. Überprüfen Sie Root und Kontakte. Bestätigen Sie Root Motion, Beckenhöhe, Fußpositionierung, Handplatzierung und Maßstab. Verwenden Sie Engine-Werkzeuge oder ein DCC-Paket für die endgültige Kurvenbereinigung.

Eine tiefergehende engine-spezifische Anleitung finden Sie unter QuickMagic zu Unreal Engine 5: Kompletter Workflow.

Häufige Unreal Engine-Probleme und Lösungen