Smartphone-Video → bearbeitbare Charakterbewegung
Kostenloses KI-Motion-Capture vom Handy: 3D- & 2D-Animationsleitfaden
Nehmen Sie eine Performance mit einem normalen Smartphone auf, konvertieren Sie sie mit QuickMagic in eine bearbeitbare Skelettanimation, übertragen Sie das Ergebnis auf eine 3D-Figur oder wandeln Sie die Bewegung für einen Reallusion Cartoon Animator G3 Human-Workflow um.
Aktuelle Fakten zum kostenlosen QuickMagic-Plan
Sehen Sie das ursprüngliche Tutorial: Vom Handy zur Animation
Das Original-Erstellervideo zeigt eine Performance, die mit einem Handy aufgenommen und sowohl für die 3D-Charakteranimation als auch für einen Cartoon Animator-2D-Charakter-Workflow verwendet wurde.
Wie Handy-zu-Bewegungserfassung funktioniert
Ihr Handy ist das Aufnahmegerät, nicht der Motion-Capture-Computer. QuickMagic empfängt das hochgeladene RGB-Video, schätzt die Körperhaltung des Darstellers über mehrere Einzelbilder, rekonstruiert die Bewegung in 3D und schreibt das Ergebnis als Skelettanimationsdaten. Die exportierte Animation kann dann auf eine digitale Figur übertragen werden.
Da die Eingabe nur die von der Kamera erfassten Ansichten enthält, ist die Rekonstruktion am zuverlässigsten, wenn die Gelenke sichtbar bleiben. Lange Verdeckungen, Bewegungsunschärfe, abgeschnittene Füße, geringer Kontrast und extreme Bodenarbeit erhöhen die Mehrdeutigkeit.
| Stufe | Was passiert | Was Sie kontrollieren |
|---|---|---|
| Aufnahme | Das Handy nimmt normale Videobilder auf | Bildausschnitt, Beleuchtung, Schärfe, Kamerabewegung und Performance |
| Posenschätzung | QuickMagic verfolgt sichtbare Körper-, Hand- oder Gesichtsmerkmale gemäß dem ausgewählten Workflow | Subjektauswahl, Aufnahmemodus und Quellqualität |
| 3D-Rekonstruktion | Bild-für-Bild-Posenschätzungen werden zu einer sich bewegenden Skelett-Hierarchie | Modell/Voreinstellung, Boden und Bereinigungsoptionen |
| Export und Übertragung | Die Quellbewegung wird auf eine Produktionsfigur abgebildet | Skelettvoreinstellung, Bildrate, Referenzpose, Kontakte und Root-Bewegung |
1Planen Sie die Aufnahme, bevor Sie auf „Aufnehmen“ drücken
- Entscheiden Sie, ob Sie Ganzkörper-, Oberkörper-, Hand- oder Gesichtsbewegungen benötigen.
- Wählen Sie die Aufnahme mit statischer Kamera, es sei denn, die Einstellung erfordert speziell eine Kamerabewegung.
- Bestätigen Sie das Zielprogramm: Blender, Maya, UE5, Unity, Cartoon Animator oder ein anderes Tool.
- Wählen Sie die Ziel-Bildrate vor der Aufnahme und dem Export.
- Halten Sie die Performance innerhalb der Dauer- und Dateigrößenbeschränkungen des aktiven Tarifs.
- Entscheiden Sie, ob der endgültige Clip an Ort und Stelle oder mit erhaltener Root-Bewegung sein soll.
2Nehmen Sie ein trackbares Smartphone-Video auf
Kameraposition
- Halten Sie bei Ganzkörperbewegungen Kopf und beide Füße während der gesamten Aufnahme im Bild.
- Lassen Sie Platz für weite Armbewegungen, Sprünge und Drehungen.
- Platzieren Sie die Kamera weit genug entfernt, um perspektivische Verzerrungen zu reduzieren.
- Verwenden Sie ein Stativ oder eine stabile Unterlage, es sei denn, der Workflow ist für eine bewegte Kamera konfiguriert.
Beleuchtung und Belichtung
- Verwenden Sie gleichmäßiges Front- oder Seitenlicht, das die Gliedmaßen lesbar hält.
- Vermeiden Sie ein helles Fenster direkt hinter dem Darsteller.
- Verhindern Sie, dass das Handy einen langsamen Verschluss verwendet, der starke Bewegungsunschärfe erzeugt.
- Sperren Sie Fokus und Belichtung, wenn die Handykamera dies unterstützt.
Bildrate
Nehmen Sie für die meisten kontrollierten Performances mit 30 fps auf. Verwenden Sie 60 fps nur bei schnellen Aktionen, wenn genügend Licht vorhanden ist, um scharfe Bilder zu gewährleisten, und der gewählte QuickMagic-Tarif und das Zielprogramm die gewünschte Ausgabe unterstützen. Eine höhere Bildrate kann versteckte Gelenke oder unscharfe Silhouetten nicht wiederherstellen.
| Performance | Empfohlener Aufnahmeansatz | Hauptrisiko |
|---|---|---|
| Gehen, Gestik, Dialog-Körperspiel | Stabiles 1080p, 30 fps, vollständiges Subjekt sichtbar | Abgeschnittene Füße und langsamer Kamera-Verschluss |
| Tanz, Tritte, schnelle Drehungen | Helle Beleuchtung, 60 fps falls verfügbar, zusätzlicher Bildrand | Bewegungsunschärfe, Selbstverdeckung und Verlassen des Bildausschnitts |
| Knien oder Bodenkontakt | Weitere Einstellung, sichtbarer Boden, seitlich-frontaler Winkel | Verdeckte Gliedmaßen und mehrdeutiger Kontakt |
| Oberkörper-2D-Charakterspiel | Hüftaufwärts-Bildausschnitt mit klaren Händen und Oberkörper | Hände kreuzen den Körper oder verlassen den Bildausschnitt |
3Laden Sie die Bewegung in QuickMagic hoch und validieren Sie sie
- Übertragen Sie die Original-Handy-Datei, ohne sie durch eine Messenger-App neu zu codieren.
- Melden Sie sich bei QuickMagic an und öffnen Sie „Video zu 3D-Animation“.
- Laden Sie den Clip hoch und bestätigen Sie, dass der richtige Bildbereich vorhanden ist.
- Wählen Sie das Subjekt und die Aufnahmeeinstellungen, die der Kamera und dem Körperdetail entsprechen.
- Überprüfen Sie die Vorschau in normaler Geschwindigkeit und Bild für Bild.
- Generieren Sie neu oder verfeinern Sie die Quelle, wenn Sie größere Gliedmaßenvertauschungen, Root-Sprünge oder verlorene Kontakte sehen.
4Exportieren Sie die korrekte Bewegungsdatei
Der aktuelle kostenlose Tarif bietet den FBX-Export. Die Tarife Starter und Professional führen zusätzliche Voreinstellungen auf, wie Unreal, Mixamo, BIP, VMD, Unity Anim, C4D, Character Creator/iClone und Roblox.
- Wählen Sie die Skelett- oder Software-Voreinstellung, die von der Ziel-Pipeline benötigt wird.
- Passen Sie die Ausgabe-Bildrate an das Projekt an.
- Bewahren Sie einen unberührten Quellenexport auf.
- Benennen Sie die Datei klar, z.B.
Actor_Walk_Phone_Source_30fps.fbx. - Testen Sie einen kurzen Clip, bevor Sie eine große Charge verarbeiten.
3D-Workflow: Handy-Video zu einer 3D-Figur
- Importieren Sie das QuickMagic-FBX. Erstellen oder wählen Sie das Quellskelett in Ihrer DCC-Software oder Spiel-Engine.
- Bereiten Sie die Zielfigur vor. Bestätigen Sie das Ziel-Rig, die Proportionen und die Referenzpose.
- Ordnen Sie die Skelette zu. Verwenden Sie das Übertragungssystem der Anwendung.
- Validieren Sie die Kontakte. Überprüfen Sie Füße, Hände, Requisiten, Root-Trajektorie und Bodenhöhe.
- Polieren Sie die Zielanimation. Beheben Sie Probleme, die durch unterschiedliche Charakterproportionen entstanden sind.
- Exportieren oder integrieren Sie. Backen Sie erst, nachdem der bearbeitbare Workflow verifiziert wurde.
| Software | Typischer Workflow | Hauptbereich für Bereinigung |
|---|---|---|
| Blender | FBX importieren → Knochen zuordnen → auf Rigify/eigenes Rig übertragen | Skalierung, Root-Bewegung, Fußkontakte und Kurvenbereinigung |
| Maya | FBX importieren → mit HumanIK oder Studio-Retargeter charakterisieren | Referenzpose, Bodenkontakt und Animationslayer |
| Unreal Engine 5 | Quellskelett importieren → IK Rig → IK Retargeter | Übertragungspose, Root-Bewegung und Fußrutschen des Ziels |
| Unity | FBX importieren → Humanoid Avatar konfigurieren → Animator | Avatar-Zuordnung, Root-Transformation und Fuß-IK |
| 3ds Max | FBX importieren → auf CAT/Biped/eigenes Rig übertragen | Rotationsumkehrungen, Key-Dichte und Kontakte |
2D-Workflow: QuickMagic-Bewegung zu Cartoon Animator
Schritt 1: Konvertieren Sie die QuickMagic-Ausgabe
Wenn Sie mit FBX beginnen, verwenden Sie einen kompatiblen Reallusion-Workflow, um die menschliche Animation in ein von Cartoon Animator akzeptiertes Bewegungsformat zu konvertieren. Reallusion dokumentiert das Importieren von FBX- oder BVH-Menschenbewegungen über Character Creator zur Verwendung in iClone; der genaue Weg hängt von den installierten Produktversionen und Lizenzen ab.
Schritt 2: Verwenden Sie einen unterstützten G3-Human-Charakter
Die aktuelle Dokumentation von Reallusion zum „Import 3D Motion“ gibt G3-Human-Charaktere an. Wenden Sie einen kompatiblen G3-Human oder einen Dummy für 3D-Bewegung an, bevor Sie den konvertierten Clip laden.
Schritt 3: Öffnen Sie „Import 3D Motion“
- Wählen Sie den G3-Human-Charakter aus.
- Öffnen Sie Animation → Import 3D Motion oder die entsprechende Toolbar-Schaltfläche.
- Laden Sie die kompatible konvertierte Bewegung.
- Zeigen Sie eine Vorschau des verknüpften 3D-Dummys und des 2D-Charakters zusammen an.
Schritt 4: Wählen Sie den Kamera-Projektionswinkel
Eine 3D-Bewegung kann sich frei drehen, aber ein 2D-Charakter besteht aus einer begrenzten Anzahl von Sprites mit Blickwinkeln. Wählen Sie den Projektionswinkel, der zum Charakterdesign passt. Reallusion dokumentiert die Konzepte vorne, vorne-seitlich, seitlich, hinten-seitlich und hinten.
Schritt 5: Wenden Sie die Bewegung an und verfeinern Sie sie
- Zeigen Sie eine Vorschau des 3D-Dummys und des 2D-Charakters zusammen an.
- Aktivieren Sie „Camera Tracking“, wenn sich der Charakter während der Vorschau außerhalb des Bildschirms bewegt.
- Passen Sie Geschwindigkeit, Trimmen und Bewegungsprojektion an.
- Verwenden Sie „Ground Offset“ und Körperhaltungseinstellungen, um den Kontakt zu verbessern.
- Klicken Sie auf Apply to Timeline und bearbeiten Sie das 2D-Ergebnis.
So verbessern Sie die Qualität von Handy-Mocap
| Problem | Behebung bei der Aufnahme | Behebung in der Animation |
|---|---|---|
| Fußrutschen | Füße sichtbar halten und klare Bodenebene aufnehmen | Root-Geschwindigkeit und Fußkontakt des Ziels nach dem Übertragen korrigieren |
| Zittern | Helleres Licht, stabile Kamera und Originalvideodatei verwenden | Selektive Glättung anwenden, nicht das gesamte Skelett filtern |
| Falsches Glied nach Arme verschränken | Kamerawinkel ändern oder längere Selbst |
