ゲームアニメーションのためのAIボディトラッキングとは
AIボディトラッキングとは、コンピュータビジョンと機械学習モデルを使用して、ビデオから人物のポーズと動きを推定し、その動きを時間経過とともに再構築し、編集可能な3Dスケルタルアニメーションを出力することです。ゲーム制作では、結果のモーションは、UnityやUnreal Engineなどのエンジンでリグ付けされたキャラクターに転送（リターゲット）されます。
これは、リアルタイムでアバターを制御するために使用されるライブボディトラッキングとは異なります。QuickMagicのビデオからモーションへのワークフローは、プレビュー、編集、再利用、ブレンド、ゲームに出荷できるアニメーションアセットを作成します。出力はモーションデータであり、完成したキャラクター、レベル、またはレンダリングされたカットシーンではありません。
従来の光学式モーションキャプチャは、いくつかのキャリブレーションされたカメラでマーカーを記録します。慣性システムはウェアラブルセンサーを使用します。マーカーレスのQuickMagic AIモーションキャプチャは、電話、ウェブカメラ、またはカメラからの映像から始まり、目に見える動きを編集可能な3Dアニメーションに変換します。スーツや反射マーカーは必要ありません。
| 方法 | 一般的なキャプチャ設定 | 最適な用途 | 主なトレードオフ |
|---|---|---|---|
| AIビデオモーションキャプチャ | 電話またはカメラ、スーツ不要 | 迅速な反復、インディーチーム、プリビス、NPC、モーションライブラリ | オクルージョンや難しい接触はクリーンアップが必要な場合がある |
| 慣性モーションキャプチャ | ウェアラブルセンサースーツ | 長時間のテイク、固定カメラボリューム外でのキャプチャ | センサーのセットアップ、ドリフト、ハードウェアコスト |
| 光学式モーションキャプチャ | マーカーとキャリブレーションされたカメラボリューム | ハイエンドステージキャプチャ、複数パフォーマーのプロダクション | スタジオ、クルー、キャリブレーション、予算 |
ゲームチームがAIモーションキャプチャを使用する理由
ゲーム向けAIモーションキャプチャの最大の利点は、反復速度です。デザイナーはトラバーサルのアイデアをテストし、アニメーターは会話をブロックし、小規模スタジオは変更のたびにキャプチャステージを予約することなく、背景パフォーマンスのライブラリを構築できます。
- より早くプロトタイプを作成：プリプロダクション中にプレースホルダーのポーズを人間のタイミングに置き換えます。
- より多くのバリエーションをキャプチャ：代替アイドル、リアクション、ジェスチャー、ロコモーションを迅速に記録します。
- リモートで作業：パフォーマーはスタジオに移動することなく、適切な映像を記録できます。
- モーションを編集可能に維持：インポートされたアニメーションはトリミング、ブレンド、再タイミング、レイヤー、またはポリッシュできます。
- 複数のキャラクターで再利用：クリーンなソースクリップは、互換性のある複数のリグにリターゲットできます。
良いユースケースには、NPCアイドル、会話ジェスチャー、コンバットブロッキング、トラバーサルプロトタイプ、エモート、エンジン内シネマティック、プリビス、アニメーションリファレンスが含まれます。精密な手とプロップのインタラクション、自己オクルージョンの多いアクロバット、厳格な足の接触を伴うヒーロームーブは、通常、より慎重なキャプチャとクリーンアップパスが必要です。
「数分でインポート」とは、鮮明な映像、正しいエクスポート、準備されたターゲットリグがある場合の受け渡しを説明しています。キャプチャされたすべてのパフォーマンスが自動的に出荷可能であることを意味するわけではありません。AIモーションキャプチャを強力なアニメーションソースとして扱い、外部モーションアセットと同じレビューを適用してください。
ビデオからゲームアニメーションへの完全なワークフロー
- 鮮明なパフォーマンスを録画
- QuickMagicでモーションを生成
- 確認してエクスポート
- インポートしてリターゲット
- ポリッシュしてデプロイ
1. AIが読み取れる映像を録画する
カメラから元のビデオファイルから始めます。全身トラッキングの場合、パフォーマーの頭と足をフレーム内に収め、体の周りにスペースを残し、均一な照明を使用し、シルエットを隠すような服を避けてください。安定したカメラと、パフォーマーと背景の間の明確なコントラストにより、関節位置の推定が容易になります。
- テイク全体を通してパフォーマー全体をフレーム内に収めます。
- 腕が胴体を横切ったり、脚が互いに隠れたりする長時間の期間を避けてください。
- モーションブラーを制限するために、十分に速いシャッター速度または適切な照明を使用します。
- 長時間のセッションの前に短いテストを録画します。
- リターゲット設定で期待される場合、最初に明確なニュートラルポーズを使用します。
2. QuickMagicでボディトラッキングを生成する
ビデオをアップロードし、不要なフレームをトリミングし、パフォーマーとキャプチャモードを選択し、プロジェクトに必要なボディ、ハンド、またはフェースオプションを選択します。モーションを生成する前に、参照ポーズ、サンプルレート、インプレース設定、ターゲットワークフローを選択します。QuickMagicは全身および上半身のワークフローをサポートし、利用可能なハンド、フェース、マルチサブジェクト、およびエクスポートオプションは、プランとキャプチャモードによって異なる場合があります。
最初のテストでは、短いクリップを使用し、フルバッチを処理する前に検査します。QuickMagic ビギナーガイドでは、録画、設定、リファインメント、エクスポートに関するより広範なウォークスルーを提供しています。
3. エクスポート前にソルブを確認する
モーションを複数の角度から見てください。骨盤が正しい方向に移動しているか、足が適切なタイミングで地面に接触しているか、膝が安定しているか、手が意図した弧を描いているかを確認します。ソースプレビューで体の一部が間違っている場合は、可能な限りソースを修正または再生成します。その方が、すべてのターゲットキャラクターで同じエラーを修正するよりも再利用性が高まります。
4. インプレースとルートモーションのどちらかを決定する
ゲームプレイコードまたはキャラクターコントローラーがキャラクターを動かす場合はインプレースアニメーションを使用します。確定攻撃、跳躍、またはシネマティック歩行のように、パフォーマンス自体が変位を駆動する場合はルートモーションを使用します。この決定はエクスポート前に行い、エンジン内で再度確認してください。ルートの動作は、正しいクリップが滑ったり跳ねたりするように見える最も一般的な理由の1つです。
UnityまたはUnreal Engineに適したエクスポートを選択する
最適なファイルは、単に最も汎用的なものではありません。ターゲットキャラクターのスケルトン変換を最小限に抑える出力です。QuickMagicは現在、FBXに加えてワークフロー固有の形式とプリセットを提供しています。利用可能性はプランと製品バージョンによって異なる場合があるため、現在のエクスポート画面を確認してください。
| 出力先 | 推奨される開始点 | エクスポート前に確認すること |
|---|---|---|
| Unity Humanoid | サポートされているセットアップ用のUnity Anim、または互換性のあるFBX | アバターマッピング、参照ポーズ、ルートトランスフォーム、クリップサンプルレート |
| Unrealマネキン互換キャラクター | 意図したUEワークフローに一致するQuickMagic Unrealプリセット | エンジン/プリセットの互換性、ソーススケルトン、ルートボーン、参照ポーズ |
| カスタムUnrealスケルトン | 一致するUnrealプリセット、またはソースとしての汎用/MixamoスタイルFBX | IKリグチェーン、リターゲットルート、Tポーズ/Aポーズの調整、スケール |
形式レベルのガイダンスについては、現在のQuickMagic 3Dアニメーションエクスポート形式ページを参照してください。
Unityでのボディトラッキング：インポートとリターゲットの手順
一般的なUnityでのボディトラッキングワークフローでは、QuickMagicがモーションを作成し、UnityのMecanimシステムがそれをHumanoidアバターにマッピングします。有効なHumanoidリグにより、1つのアニメーションを異なるプロポーションのキャラクター間で再利用できます（ただし、必要なボーンが正しくマッピングされている必要があります）。
- モーションをプロジェクトに追加します。エクスポートされたFBXまたはサポートされているUnityアニメーションアセットを、
Assets/Animations/QuickMagicなどの専用フォルダーにドラッグします。 - ソースリグを設定します。インポートしたFBXを選択します。インスペクターのRigタブで、Animation TypeをHumanoidに設定します。ソースアバターにはCreate From This Modelを使用するか、アニメーションがプロジェクト内の既存のアバターと同じボーン構造を使用している場合にのみCopy From Other Avatarを使用します。
- アバターを検証します。Configureをクリックし、必要なボーンが緑色で正しく割り当てられていることを確認し、参照ポーズを確認します。UnityがキャラクターがTポーズではないと報告した場合は、Enforce T-Poseを使用するか、手動でマッピングを修正します。
- クリップを設定します。Animationタブで、Import Animationを有効にします。クリップ名と範囲、ループオプション、Root Transform Rotation/Position設定を設定します。Applyをクリックしてクリップをプレビューします。
- ターゲットキャラクターに適用します。ターゲットモデルにも有効なHumanoidアバターがあることを確認します。クリップをAnimator Controllerに追加し、コントローラーをキャラクターのAnimatorに割り当て、SceneまたはPlay Modeでテストします。
- モーションの所有権を確認します。コードがプレイヤーを動かす場合は、クリップをそのままにしてApply Root Motionを無効にします。アニメーションが移動を駆動する必要がある場合は、ルートモーションを有効にし、インポートされたルート設定が意図した変位を生成することを確認します。
Unityの公式ドキュメントでは、Humanoidアニメーションのインポートは、モデルのボーンをHumanoidアバターにマッピングすることで機能すると説明されています。緑色のチェックマークは必要なボーンが見つかったことを意味しますが、クリップを承認する前に、オプションのボーンと参照ポーズも検査する必要があります。
よくあるUnityの修正
| 問題 | 最初に確認すること |
|---|---|
| キャラクターがTポーズのまま | Animator Controllerの割り当て、アバターの有効性、ステートにクリップが含まれているかどうか |
| キャラクターが移動しているのに足が滑る | インプレースとルートモーションの選択、Root Transform設定、ゲームプレイ速度 |
| 腕または肩がねじれる | Humanoidボーンマッピング、ソース/ターゲット参照ポーズ、筋力制限 |
| クリップの再生が速すぎる、または遅すぎる | ソースタイミング、アニメーションサンプルレート、クリップ速度、インポート時のリサンプリング |
Unreal Engineでのボディトラッキング：インポートとリターゲットの手順
一般的なUnrealでのボディトラッキングワークフローでは、エクスポートはアニメーション化されたスケルトンを含むFBXとして到着します。UnrealはそのデータをAnimation Sequenceとしてインポートします。ソーススケルトンがプロダクションキャラクターと異なる場合、UnrealのIK RigおよびIK Retargeterツールがモーションを転送します。
- 適切なQuickMagicエクスポートを選択します。意図したワークフローに一致するUnrealプリセットから始めます。カスタムキャラクターの場合、汎用またはMixamoスタイルのFBXもリターゲットソースとして機能します。
- ソースアニメーションをインポートします。コンテンツブラウザで、
Characters/Mocap/QuickMagic/Sourceなどの明確なソースフォルダーを作成し、FBXをインポートします。アニメーションインポートを有効にします。既存のスケルトンを選択するのは、それが本当に互換性がある場合のみにしてください。それ以外の場合は、リターゲット用にソーススケルトンとアニメーションをインポートします。 - ソースとターゲットのIKリグを作成または再利用します。各サイドには、そのスケルタルメッシュにリンクされたIKリグが必要です。リターゲットルート（通常は骨盤またはヒップ）を設定し、背骨、腕、脚、首、頭の一致するチェーンを定義します。フィンガーチェーンは、キャプチャとターゲットワークフローの一部である場合にのみ追加します。
- IK Retargeterを作成します。ソースとターゲットのIKリグを割り当て、チェーンマッピングを確認し、アニメーションをプレビューします。リターゲットポーズを慎重に調整します。Tポーズ/Aポーズの不一致は、肩、肘、手首のエラーの一般的な原因です。
- リターゲットされたAnimation Sequenceをエクスポートします。プレビューが正しくなったら、選択したアニメーションをターゲットキャラクターのフォルダーにエクスポートします。Animation Blueprint、Montage、Blend Space、Control Rigワークフロー、またはSequencerで使用します。
- ルートと接触を確認します。ルートモーション、骨盤の高さ、足の接地、手の配置、スケールを確認します。最終的なカーブのクリーンアップには、エンジンツールまたはDCCパッケージを使用します。
Epicの
