クイックアンサー：動画を3Dアニメーションに変換する方法
クリアなパフォーマンスを録画し、QuickMagicにアップロードして、キャプチャとターゲットスケルトンを設定し、AIモーションを生成し、ソルブを確認し、アニメーションをエクスポートし、リギングされたキャラクターにリターゲットし、Blender、Unity、Unreal Engine、Maya、3ds Max、またはその他の3Dツールで結果をクリーンアップします。
QuickMagicはマーカーレスAIモーションキャプチャを使用するため、入力はスマートフォン、ウェブカメラ、DSLR、またはその他の単一カメラから取得できます。動画から身体の動きを推定し、完成したレンダリングムービーではなく、編集可能なスケルタルアニメーションデータを出力します。
「動画を3Dアニメーションに変換する」の実際の意味
動画は一連の平面画像です。3Dスケルトン、編集可能なボーン、アニメーションカーブは含まれません。したがって、動画から3Dアニメーションへの変換は、MP4からMOVのような従来のファイル変換ではありません。
AIモーションキャプチャシステムは、パフォーマーをフレームごとに分析し、三次元空間でのジョイント位置を推定し、時間経過に伴う動きを再構築し、その動きをデジタルスケルトンに適合させます。スケルトンはエクスポートして、リギングされたキャラクターに適用できます。
始める前に必要なもの
- スマートフォン、ウェブカメラ、またはカメラで録画した短いパフォーマンス動画。
- QuickMagicアカウントと、必要なキャプチャ/エクスポートオプションへのアクセス。
- リギングされた人型キャラクター、またはそれを入手する計画。
- Blender、Unity、Unreal Engine、Maya、3ds Max、MotionBuilder、iClone、MMDなどの出力先。
- 動画素材と録画されたパフォーマーの肖像権を使用する許可。
最初のテストには、5〜10秒のシンプルなアクションを使用してください。短いクリップなら、長いパフォーマンスを処理する前にパイプライン全体を検証しやすくなります。
QuickMagicで動画を3Dアニメーションに変換する方法
録画前に出力先を決める
ターゲットソフトウェア、キャラクタースケルトン、プロジェクトのフレームレート、参照ポーズ、およびモーションがシーン内を移動するかその場に留まるかを特定します。これにより、最適なQuickMagicプリセットとエクスポート形式が決まります。
クリーンで追跡可能な動画を録画する
両足を含むパフォーマー全体をフレーム内に収めます。均一な照明、手足の明確な分離、安定したカメラ、十分な床スペースを使用します。激しいモーションブラー、長時間の遮蔽、関節を隠すゆったりした服、身体を横切る物体を避けてください。
元の動画をアップロードする
QuickMagicでVideo Mocapワークフローを開き、再圧縮されたソーシャルメディアコピーではなく、最高品質のソースファイルをアップロードします。パフォーマーを選択し、現在のインターフェースで可能な場合は不要な時間をトリミングします。
モーションソルブを設定する
全身または上半身のキャプチャ、身体/手/顔のオプション、適切な参照ポーズ、出力フレームレート、その場またはルートモーションの動作、最も近い出力先スケルトンプリセットを選択します。
3Dモーションを生成して確認する
複数のカメラアングルから結果を確認します。足、骨盤、床の高さ、速いターン、交差した腕、隠れた関節、手、頭の方向、ルートの動きをチェックします。元のカメラから正しく見えるモーションでも、深度エラーが含まれている可能性があります。
目に見える追跡エラーを修正する
ワークフローが2Dリファインメントを提供する場合は、明らかな関節位置を修正し、モーションを再生成します。ソースソルブを修正する方が、同じエラーをターゲットキャラクターごとに個別に修正するよりも再利用性が高くなります。
正しいアニメーション形式をエクスポートする
広く使えるデフォルトとしてFBX、軽量スケルタルモーションにはBVH、3ds Max BipedにはBIP、または実際のパイプラインに合うUnreal、Mixamo、Unity、C4D、CC/iClone、VMD、Robloxなどの出力先指向プリセットを使用します。
モーションをキャラクターにリターゲットする
ソーススケルトンをインポートし、TポーズまたはAポーズの違いを調整し、ソースボーンをターゲットリグにマッピングし、スケールと軸を確認し、リターゲットされたアニメーションを編集可能なコントロールまたはカーブにベイクします。
アニメーションをクリーンアップして仕上げる
足の滑り、ジッター、クリッピング、ルートのドリフト、手の接触、キャラクター固有の変形を修正します。次に、必要に応じてカメラ、照明、マテリアル、セカンダリアニメーション、サウンド、レンダリングを追加します。
最初のQuickMagicテストのための推奨設定
| 設定 | 開始点 | 理由 |
|---|---|---|
| クリップ長 | 5〜10秒 | 処理が速く、確認が容易。 |
| フレーミング | 全身と足が見える | 床の接触と手足の追跡が改善。 |
| 解像度 | 1080p以上 | 姿勢推定に有用な詳細を保持。 |
| カメラ | 安定、主に正面/斜めから | 回避可能な深度とフレーミングエラーを低減。 |
| キャプチャモード | 全身 | キャラクターアニメーションの最適な一般テスト。 |
| ポーズ | 元のポーズまたはターゲットに必要なポーズ | エクスポートとリターゲットワークフローの調整に役立つ。 |
| フレームレート | 30 FPS | バランスの取れたデフォルト。必要な場合は24/60/120 FPSプロジェクトに合わせる。 |
| 形式 | FBX | DCCやエンジン間での幅広い互換性。 |
| ルート動作 | 意図的に選択 | 多くのゲームループではその場、映画的な移動では移動を保持。 |
どの3Dアニメーション形式をエクスポートすべきか
| 形式またはプリセット | 最適な用途 | 主な制限 |
|---|---|---|
| FBX | Blender、Unity、Unreal、Maya、MotionBuilder、一般的なパイプライン | 拡張子だけでは、一致するボーンやポーズは保証されない。 |
| BVH | 軽量スケルタルモーション、Blender、モーションキャプチャエディタ、研究ツール | メッシュ、マテリアル、プロダクションコントロール、標準のフェイシャルブレンドシェイプはなし。 |
| BIP | 3ds Max Character Studio Biped | ユニバーサルなカスタムリグ形式ではない。 |
| Unrealプリセット | Unreal Engineリターゲティング | 意図したスケルトン/バージョンのワークフローに一致させる必要がある。 |
| Mixamoプリセット | Mixamo互換の人型パイプライン | 正しいターゲットマッピングとポーズ調整が依然として必要。 |
| VMD | MikuMikuDance互換モデル | ボーン名、IK、スケール、モーフの互換性が重要。 |
ファイル形式とターゲットスケルトンプリセットは異なる問題を解決します。2つのエクスポートが両方ともFBXファイルであっても、ボーン名、階層、レストポーズ、ルート設定、フェイシャルチャンネルが異なる場合があります。
人気ソフトウェアでの動画由来3Dアニメーションの使用
FBXまたはBVHをインポートし、シーンのフレームレートを合わせ、ソースアーマチュアを確認してから、コンストレイント、アドオン、または手動のボーンマッピングを使用してRigifyまたはカスタムリグにリターゲットします。
互換性のあるFBXまたはUnity向け出力をインポートし、アバターをHumanoidまたはGenericに設定し、Animator Controllerを割り当て、Root Transformとループ設定を確認します。
最も近いUnrealプリセットを使用し、ソースとターゲットのIK Rigsを作成または割り当て、リターゲットチェーンをマッピングし、参照ポーズを調整し、結果をAnimation Sequenceとしてエクスポートします。
Character Studio BipedにBIPをロードします。CATまたはカスタムスケルトンの場合は、FBXと適切なアニメーション転送またはリターゲットワークフローを使用します。
FBXをインポートし、HumanIKでソーススケルトンをキャラクタライズし、ターゲットキャラクターをマッピングし、リターゲットし、最終モーションを編集可能なコントロールにベイクします。
動画から3Dアニメーションへのワークフローを見る
このチュートリアルでは、パフォーマンス動画のアップロード、モーションキャプチャの生成、結果の修正、エクスポートされたアニメーションの3Dワークフローでの使用という大きなプロセスを示しています。
よくある動画から3Dアニメーションへの問題
足の滑り
足のIKやコンタクトキーを追加する前に、ソースのコンタクトタイミング、シーンスケール、ターゲットプロポーション、フレームレート、ルートモーション、リターゲットポーズを確認します。
ジッターまたは不安定な手足
ブラー、低コントラスト、遮蔽が追跡の不確実性を引き起こしたかどうかを確認します。可能な場合はソースソルブを修正し、影響を受けたカーブのみをスムーズにして、アクションのインパクトを失わないようにします。
ねじれた腕や肩
ソースとターゲットの参照ポーズを調整し、ローカルボーン軸とマッピングを確認します。Tポーズ/Aポーズの違いが一般的な原因です。
手や体の一部が交差する
単眼キャプチャでは手足が重なると情報が限られます。録画時の視認性を改善し、アニメーションレイヤーやコントロールリグキーを使用して最終的な接触を修正します。
キャラクターが間違った方向に動く
ワールド軸、ルートの向き、その場の設定、骨盤のマッピング、インポーターの座標変換を確認します。
よくある質問
通常のスマートフォン動画を3Dアニメーションに変換できますか？
はい。マーカーレスAIモーションキャプチャは、通常のスマートフォン映像から身体の動きを推定できます。良いフレーミング、照明、鮮明さ、視認性が結果に大きく影響します。
QuickMagicは完全なアニメーション3Dモデルを作成しますか？
QuickMagicは編集可能なモーションデータを作成します。互換性のあるリギングされたキャラクターが必要で、通常はアニメーションのリターゲット、クリーンアップ、ステージング、照明、レンダリングが必要です。
グリーンスクリーンやモーションキャプチャスーツは必要ですか？
いいえ。クリアでコントラストのある背景は役立ちますが、マーカーレスキャプチャには反射マーカー、スーツ、グリーンスクリーンは必要ありません。
MP4を直接FBXに変換できますか？
単純なファイル変換ではありません。QuickMagicはまずMP4から3Dスケルタルモーションを推定し、その生成されたアニメーションをFBXまたは他のサポート形式でエクスポートします。
Blenderにはどの形式が最適ですか？
FBXが広いデフォルトです。選択したBlenderのリターゲットワークフローが軽量スケルタルデータを中心に設計されている場合、BVHが有用です。
生のAIモーションキャプチャにはクリーンアップが必要ですか？
プロダクションアニメーションは通常、検証とクリーンアップが必要です。特に足、ルートの移動、コンタクト、速いターン、遮蔽、手、キャラクター固有のプロポーションが重要です。
他人のオンライン動画を使用できますか？
必要な権利と許可がある場合のみ。サードパーティの素材をアップロードする前に、著作権、パフォーマーの同意、プライバシー、プラットフォームの現在の利用規約を確認してください。
短いパフォーマンスから始めましょう
5秒の全身アクションを録画し、モーションに変換し、ターゲットプリセットをエクスポートし、長いシーンをキャプチャする前にリターゲットテストを完了してください。
QuickMagicで動画を変換 →
