スマートフォンビデオ → 編集可能なキャラクターモーション
スマホで無料AIモーションキャプチャ：3D＆2Dアニメーションガイド
通常のスマートフォンでパフォーマンスを撮影し、QuickMagicで編集可能なスケルタルアニメーションに変換し、結果を3Dキャラクターにリターゲットするか、Reallusion Cartoon Animator G3 Human向けにモーションを変換します。
現在のQuickMagic無料プランの仕様
元のスマホからアニメーションへのチュートリアル動画を見る
元のクリエイター動画では、スマホで撮影したパフォーマンスを使用して、3DキャラクターアニメーションとCartoon Animator 2Dキャラクターワークフローの両方に活用する方法を実演しています。
スマホからモーションキャプチャへの仕組み
スマホは録画デバイスであり、モーションキャプチャコンピュータではありません。QuickMagicはアップロードされたRGB動画を受け取り、フレーム全体のパフォーマーのボディポーズを推定し、3Dでモーションを再構築し、結果をスケルタルアニメーションデータとして書き出します。エクスポートされたアニメーションは、デジタルキャラクターにリターゲットできます。
入力にはカメラで捉えたビューのみが含まれるため、関節が可視状態にある場合に再構築が最も信頼できます。長時間のオクルージョン、モーションブラー、足の欠損、低コントラスト、極端な床面作業は曖昧さを増大させます。
| 段階 | 処理内容 | ユーザーが制御する項目 |
|---|---|---|
| 録画 | スマホが通常の動画フレームを記録 | フレーミング、照明、シャープネス、カメラの動き、パフォーマンス |
| ポーズ推定 | QuickMagicが選択されたワークフローに従って、可視の身体、手、顔の特徴を追跡 | 被写体選択、キャプチャモード、ソース品質 |
| 3D再構築 | フレームごとのポーズ推定が動的なスケルトン階層になる | モデル/プリセット選択、地面、クリーンアップオプション |
| エクスポートとリターゲット | ソースモーションがプロダクションキャラクターにマッピングされる | スケルトンプリセット、フレームレート、参照ポーズ、コンタクト、ルートモーション |
1録画前にキャプチャを計画する
- フルボディ、上半身、手、顔のどのモーションが必要か決める。
- ショットに特にカメラの動きが必要でない限り、固定カメラキャプチャを選択する。
- 出力先を確認する：Blender、Maya、UE5、Unity、Cartoon Animator または他のツール。
- 録画とエクスポートの前にターゲットフレームレートを選択する。
- アクティブプランの時間とファイルサイズの制限内でパフォーマンスを収める。
- 最終クリップをその場での動きにするか、ルートの移動を保持するか決める。
2追跡可能なスマートフォン動画を撮影する
カメラの設置
- フルボディモーションの場合、テイク全体で頭と両足がフレーム内に収まるようにする。
- 腕を大きく動かす、ジャンプ、ターンなどのために余裕を持たせる。
- 遠近歪みを減らすために、カメラを十分に離して設置する。
- ワークフローが動くカメラ用に設定されていない限り、三脚や安定した台を使用する。
照明と露出
- 手足が読み取りやすいように、均等な正面またはサイドの照明を使用する。
- パフォーマーの真後ろに明るい窓があるのを避ける。
- スマホがスローシャッターになり、強いモーションブラーが発生するのを防ぐ。
- スマホカメラが対応している場合は、フォーカスと露出を固定する。
フレームレート
コントロールされたパフォーマンスのほとんどは30 FPSで録画します。速いアクションの場合のみ60 FPSを使用しますが、フレームをシャープに保つ十分な光があり、選択したQuickMagicプランと出力先が希望の出力に対応している場合に限ります。フレームレートが高くても、隠れた関節やぼやけたシルエットを回復することはできません。
| パフォーマンス | 推奨録画方法 | 主なリスク |
|---|---|---|
| 歩行、ジェスチャー、会話の身体演技 | 安定した1080p、30 FPS、被写体全体が可視 | 足の欠損、カメラの露出が遅い |
| ダンス、蹴り、速いターン | 明るい照明、可能なら60 FPS、フレームに余裕を持たせる | モーションブラー、自己オクルージョン、フレームアウト |
| ひざまずきや床との接触 | より広いショット、床が見える、斜め前方のアングル | 手足の隠れ、接触の曖昧さ |
| 上半身の2Dキャラクター演技 | 腰から上のフレーミングで、手と胴体がはっきり見える | 手が体の前を横切る、またはフレームアウト |
3QuickMagicでモーションをアップロードして検証する
- 元のスマホファイルをメッセージングアプリなどを通さず、再エンコードせずに転送する。
- QuickMagicにサインインし、「ビデオから3Dアニメーション」を開く。
- クリップをアップロードし、正しいフレーム範囲が含まれていることを確認する。
- カメラと身体の詳細に合った被写体とキャプチャ設定を選択する。
- 通常速度とフレームごとでプレビューを確認する。
- 大きな手足の入れ替わり、ルートの飛び跳ね、コンタクトの喪失が見られる場合は、ソースを再生成または調整する。
4正しいモーションファイルをエクスポートする
現在の無料プランではFBXエクスポートが利用可能です。StarterプランとProfessionalプランでは、Unreal、Mixamo、BIP、VMD、Unity Anim、C4D、Character Creator/iClone、Robloxなどの追加プリセットがリストされています。
- 出力先パイプラインに必要なスケルトンまたはソフトウェアプリセットを選択する。
- 出力フレームレートをプロジェクトに合わせる。
- 手を加えていないソースのエクスポートを保存しておく。
- ファイル名を明確に付ける（例：
Actor_Walk_Phone_Source_30fps.fbx）。 - 大量処理の前に短いクリップでテストする。
3Dワークフロー：スマホ動画から3Dキャラクターへ
- QuickMagic FBXをインポートする。 DCCツールやゲームエンジンでソーススケルトンを作成または選択する。
- ターゲットキャラクターを準備する。 ターゲットリグ、プロポーション、参照ポーズを確認する。
- スケルトンをマッピングする。 アプリケーションのリターゲットシステムを使用する。
- コンタクトを検証する。 足、手、小道具、ルート軌道、床の高さを確認する。
- ターゲットアニメーションを調整する。 キャラクターのプロポーションの違いによって生じた問題を修正する。
- エクスポートまたは統合する。 編集可能なワークフローが確認できてからベイクする。
| ソフトウェア | 一般的なワークフロー | 主なクリーンアップ領域 |
|---|---|---|
| Blender | FBXインポート → ボーンのマッピング → Rigify/カスタムリグへのリターゲット | スケール、ルートモーション、足のコンタクト、カーブのクリーンアップ |
| Maya | FBXインポート → HumanIKまたはスタジオリターゲッターでキャラクタライズ | 参照ポーズ、床コンタクト、アニメーションレイヤー |
| Unreal Engine 5 | ソーススケルトンインポート → IK Rig → IK Retargeter | リターゲットポーズ、ルートモーション、ターゲットの足滑り |
| Unity | FBXインポート → Humanoid Avatar設定 → Animator | アバターマッピング、ルートトランスフォーム、フットIK |
| 3ds Max | FBXインポート → CAT/Biped/カスタムリグへのリターゲット | 回転フリップ、キーの密度、コンタクト |
2Dワークフロー：QuickMagicモーションからCartoon Animatorへ
ステップ1：QuickMagic出力を変換する
FBXから始める場合、互換性のあるReallusionワークフローを使用して、人間のアニメーションをCartoon Animatorが受け入れるモーションフォーマットに変換します。Reallusionは、Character Creatorを介してFBXまたはBVHの人間モーションをインポートし、iCloneで使用する方法をドキュメント化しています。正確な手順は、インストールされている製品バージョンとライセンスによって異なります。
ステップ2：サポートされているG3 Humanキャラクターを使用する
Reallusionの現在のImport 3D Motionドキュメントでは、G3 Humanキャラクターが指定されています。変換したクリップをロードする前に、互換性のあるG3 Human、または3D Motion用のDummyを適用します。
ステップ3：Import 3D Motionを開く
- G3 Humanキャラクターを選択する。
- Animation → Import 3D Motion または対応するツールバーボタンを開く。
- 互換性のある変換済みモーションをロードする。
- リンクされた3Dダミーと2Dキャラクターを一緒にプレビューする。
ステップ4：カメラ投影角度を選択する
3Dモーションは自由に回転できますが、2Dキャラクターは限られた向きのスプライトで構成されています。キャラクターデザインに合った投影角度を選択します。Reallusionは、正面、斜め正面、横、斜め背面、背面の概念をドキュメント化しています。
ステップ5：モーションを適用して調整する
- 3Dダミーと2Dキャラクターを一緒にプレビューする。
- プレビュー中にキャラクターが画面外に移動する場合は、Camera Trackingを有効にする。
- 速度、トリム、モーション投影を調整する。
- Ground Offsetと身体姿勢の設定を使用して接触を改善する。
- Apply to Timelineをクリックして、2D結果を編集する。
スマホモーションキャプチャの品質を向上させる方法
| 問題 | 録画時の修正 | アニメーション時の修正 |
|---|---|---|
| 足の滑り | 足が見えるようにし、明確な床面を記録する | リターゲット後にルート速度とターゲットの足の接触を修正する |
| ジッター | 明るい光、安定したカメラ、元の動画ファイルを使用する | スケルトン全体をフィルタリングするのではなく、選択的なスムージングを適用する |
| 腕を組んだ後の手足の誤認識 | カメラアングルを変えるか、長時間の自己オクルージョンを減らす | ソーストラックを修正するか、エクスポート前に再生成する |
| 膝や肘のポップ | 手足の可視性を高め、ぼやけを減らす | リターゲットポーズ、ポール方向、ローカルキーを修正する |
| 2Dスプライトの歪み | キャラクターの利用可能な角度に適した動きを選択する | 投影角度、Flip Body、姿勢、手の設定を変更する |
