2026年7月更新
マーカーレスモーションキャプチャーの解説：仕組みと活用法
マーカーレスモーションキャプチャーは、AIとコンピュータビジョンを使って通常の動画を3Dアニメーションデータに変換します。スーツやマーカー、センサーは不要です。このガイドでは、パイプライン全体、主要なAIモデル、精度ベンチマーク、トップツール、そして2026年の実世界での応用例を解説します。
マーカーレスモーションキャプチャーとは、標準的な動画映像から人間の動きを記録し、それを3Dアニメーションデータに変換する技術です。反射マーカーやセンサースーツ、専用カメラは必要ありません。コンピュータビジョンと深層学習モデルを使用して、身体の関節を検出し、3Dポーズを推定し、ゲーム、映画、VR、ロボティクスでデジタルキャラクターを動かすためのスケルトンアニメーションデータを生成します。
2026年現在、マーカーレスモーションキャプチャーは実験的な研究段階から実用的な制作段階へと移行しています。QuickMagic、Move.ai、Plask、DeepMotionなどのツールを使えば、スマートフォンで撮影した動画をアップロードするだけで、数分でクリーンなFBXやBVHアニメーションファイルを入手できます。このガイドでは、この技術がどのように機能するのか、背後にあるAIモデル、優れている点、そしてまだ不十分な点について正確に説明します。
マーカーレスモーションキャプチャーとは？
「マーカーレス」という用語は、パフォーマーの身体に物理的なマーカーがないことを指します。反射ドットを追跡する代わりに、AIモデルがピクセルデータから直接、解剖学的なキーポイント（肩、肘、手首、腰、膝、足首など）を識別します。これらのキーポイントは、パフォーマーの動きをフレームごとに映し出すデジタルスケルトンを形成します。
マーカーレスモーキャップは、カメラのセットアップに基づいて3つのカテゴリに分類されます。
| タイプ | 必要なカメラ数 | 精度 | 主な使用例 |
|---|---|---|---|
| シングルカメラマーカーレス | 1台のRGBカメラ（スマホ、ウェブカメラ） | 中程度 | インディーゲーム、ソーシャルメディアコンテンツ、プロトタイピング |
| マルチカメラマーカーレス | 2～8台の同期RGBカメラ | 高い | 映画VFX、スポーツ分析、研究 |
| 深度カメラマーカーレス | 1台以上のRGB-Dカメラ（Kinect、RealSense） | 中程度～高い | VR/AR、インタラクティブインスタレーション、臨床評価 |
マーカーレスモーションキャプチャーの仕組み：5ステップのパイプライン
1 動画入力とフレーム抽出
プロセスは標準的な動画ファイルから始まります。システムは動画を個々のフレームにデコードします。通常は24、30、または60フレーム/秒です。各フレームは静止画像であり、AIが個別に分析した後、時間的スムージングによって連続した動きにリンクされます。
この段階での重要な考慮事項：
- 解像度：解像度が高いほど（1080p以上）、ポーズ推定器が利用できるピクセルデータが増え、キーポイントの精度が向上します。
- フレームレート：フレームレートが速いほど、速い動きをモーションブラーを抑えてキャプチャできます。QuickMagicは、さまざまな制作ニーズに応じて24/30/60/120 FPS入力をサポートしています。
- 照明：均一で拡散した照明が最も信頼性の高い結果をもたらします。強い影や逆光はキーポイント検出を混乱させる可能性があります。
- カメラの安定性：静止カメラは移動カメラよりもクリーンなデータを生成しますが、QuickMagicのような高度なシステムは、グローバルトラッキングモードでの移動カメラ映像をサポートしています。
2 2Dポーズ推定
これが中核となるAIステップです。深層学習モデルが各動画フレームを分析し、人体の解剖学的キーポイントの2Dピクセル座標を予測します。モデルは、多様なポーズ、服装、環境の人間を示す数百万のラベル付き画像でトレーニングされています。
モデルは、畳み込みニューラルネットワーク（CNN）を通じて画像を処理します。このネットワークは、身体部位に対応する視覚パターンを認識するように学習しています。各キーポイント（例：「左肘」）について、モデルはその関節が画像のどこに位置する可能性が高いかを示す確率ヒートマップを出力します。各ヒートマップのピークが最終的な2D座標になります。
モデル別の一般的なキーポイント数：
- MoveNet（Google）：17キーポイント – 主要な関節のみ
- OpenPose（CMU）：25の身体キーポイント + 70の顔 + 手ごとに21
- MediaPipe BlazePose（Google）：手と足を含む33の全身キーポイント
- HRNet（Microsoft）：COCOベンチマークで最高の公開精度を持つ17キーポイント
マルチパーソン検出には2つのアーキテクチャアプローチがあります。トップダウン（最初に各人物を検出し、その後個別にポーズを推定 – より正確だが遅い）とボトムアップ（すべての身体部位を一度に検出し、その後スケルトンにグループ化 – 高速だが混雑したシーンでは精度が低い）です。
3 2D→3Dリフティング
2Dキーポイントが検出された後、システムは奥行き（2D画像に欠けているZ軸情報）を推定する必要があります。これはマーカーレスモーキャップで最も技術的に難しいステップです。
単一の2D画像は、奥行きに関して本質的に曖昧です。カメラに向かって伸ばした腕は、横に伸ばした腕と似て見えます。これを解決するために、3Dポーズ推定モデルは2つの戦略のいずれかを使用します。
リフティングベースの手法：ペアの2D-3Dモーションデータでトレーニングされたニューラルネットワークが、2Dキーポイントシーケンスを取得し、それを3D空間に「リフト」します。VideoPose3DやPoseFormerなどのモデルは、時間情報（複数の連続フレーム）を使用して奥行きを明確にします。典型的な精度：平均関節位置誤差35～45mm。
パラメトリック身体モデルフィッティング：生の3D座標を予測する代わりに、システムはパラメトリックな人体モデル（最も一般的なのはSMPLまたはSMPL-X）を2D観測値に適合させます。SMPLは、形状パラメータとポーズパラメータによって身体を定義します。これらのパラメータを検出された2Dキーポイントに一致するように最適化することで、システムは解剖学的に正しい関節回転を備えた一貫性のある3D身体メッシュを生成します。精度：MHFormerやMixSTEなどの時間モデルでは30～40mm。
マルチカメラシステムは、三角測量を使用することでリフティングを完全に回避できます。同じキーポイントが2つ以上の較正されたカメラアングルから見える場合、その3D位置を幾何学的に計算できます。これが、研究グレードのマーカーレスシステム（Theia3D、Anipose）がマーカーベースのモーキャップに迫る精度を達成する方法です。
4 スケルトンフィッティングとリターゲティング
3Dポーズデータ（リフティングまたはモデルフィッティングのいずれか）は、汎用スケルトンを表します。特定の3Dキャラクターを動かすには、このデータをリターゲティングする必要があります。つまり、ソーススケルトンのプロポーションからターゲットキャラクターのリグにマッピングします。
リターゲティングには以下が含まれます：
- ボーン長のスケーリング：関節間の距離をキャラクターのプロポーションに合わせて調整
- 回転抽出：逆運動学（IK）を介して3D関節位置を関節回転に変換
- 座標系の調整：ソーススケルトンの基準フレームをキャラクターリグの期待されるバインドポーズに一致させる
- 足の接地処理：足が地面に触れているフレームを検出し、足の滑りを防ぐために固定
QuickMagicのようなツールは、Mixamo、UE MetaHuman、Character Creator & iClone、Robloxなどのキャラクターリグフォーマットへの直接エクスポートを提供することで、このステップを自動化します。各フォーマットには事前設定されたリターゲティングプロファイルが用意されています。
5 クリーンアップとエクスポート
最終段階では、時間的スムージングを適用してジッターを低減し、一般的なアーティファクト（足の滑り、関節の飛び出し、相互貫通）を修正し、アニメーションデータを業界標準フォーマットでエクスポートします。
一般的なクリーンアップ操作：
- 時間的スムージング：カルマンフィルターまたは学習された時間モデルがフレーム間のジッターを低減
- 足の接地補正：足と地面の接触フレームを自動検出して固定
- 貫通防止：手足が互いを通り抜けないように関節位置を調整
- ループとトリミング：アニメーションを希望の開始/終了フレームでカットし、オプションでシームレスなループを作成
エクスポートフォーマットとその一般的な使用例：
- FBX — Maya、Blender、3ds Max、Unity、Unreal Engine向けのユニバーサル交換フォーマット
- BVH — モーションキャプチャネイティブフォーマット、アニメーションツールで広くサポート
- BIP — Character Studioワークフロー向けの3ds Max Bipedフォーマット
- VMD — VTuberおよびMMDコンテンツ向けのMikuMikuDanceフォーマット
- UE MetaHuman — Unreal Engine 5キャラクターフォーマット
- USD — Pixarが開発した3Dシーン向けの新しい標準フォーマット
マーカーレスモーキャップを支えるAIモデル
2Dポーズ推定モデル
OpenPose（カーネギーメロン大学）
リアルタイムのマルチパーソン2Dポーズ推定を実現した最初のオープンソースフレームワーク。2017年にリリースされ、Part Affinity Fields（PAF）を使用したボトムアップアプローチを採用し、身体部位を個人に関連付けます。25の身体キーポイント、70の顔のランドマーク、手ごとに21のキーポイントを検出します。研究や商用パイプラインのコンポーネントとして広く使用されています。
MediaPipe BlazePose（Google）
モバイルデバイスでのリアルタイムパフォーマンス用に設計されています。33の全身キーポイントを中級スマートフォンで30+ FPSで追跡します。軽量なアーキテクチャにより、多くの消費者向けフィットネス、AR、アバターアプリのバックボーンとなっています。
HRNet（Microsoft Research）
高解像度ネットワークは、低解像度の特徴から回復するのではなく、ネットワーク全体を通じて高解像度の表現を維持します。この設計により、HRNetはCOCO Keypointsベンチマークで最高の公開精度を達成しています。研究グレードの3Dパイプラインで2D検出バックボーンとしてよく使用されます。
ViTPose
Vision Transformerベースのポーズ推定器で、いくつかのベンチマークでHRNetを上回っています。自己注意メカニズムを使用して全身のグローバルコンテキストを捉え、自己遮蔽が多い複雑なポーズでの精度を向上させます。
3Dポーズおよび身体モデル
SMPL（Skinned Multi-Person Linear）
マックス・プランク知能システム研究所が開発したパラメトリック身体モデル。SMPLは、10個の形状パラメータ（身体プロポーションを制御）と72個のポーズパラメータ（24関節×3回転）を使用して人体を表現します。これらのパラメータを与えると、SMPLはリアルな皮膚変形を備えた完全な3Dメッシュを出力します。SMPLは最近Epic Games（Meshcapade経由）に買収され、Unreal Engineとのより深い統合が示唆されています。
SMPL-X
SMPLの拡張で、手の関節（片手15関節）と顔の表情が追加されています。VTuberアバターやデジタルヒューマンなど、全身＋手＋顔のキャプチャが必要なアプリケーションで使用されます。
VideoPose3D
時間的3Dポーズ推定モデルで、2Dキーポイントのシーケンスを入力として受け取り、3Dキーポイントの軌跡を出力します。時間的畳み込みを使用することで、動きのコンテキストを活用して奥行き推定精度を向上させます。2D検出のみで動作し、マルチカメラセットアップは不要です。
商用ツールがこれらのモデルをどのように組み合わせるか
QuickMagicのような最新のマーカーレスモーキャッププラットフォームは、単一のモデルに依存していません。代わりに、複数の専門モデルをエンドツーエンドのパイプラインにチェーンします。
- 人物検出（YOLOまたは類似） – 各フレームのパフォーマーを識別しクロップ
- 2Dポーズ推定（カスタムHRNetまたはViTPoseバリアント） – 高精度でキーポイントを検出
- 時間的3Dリフティング（独自の時間ネットワーク） – 2Dシーケンスを3Dに変換
- 身体モデルフィッティング（SMPLまたはカスタムスケルトン） – 一貫性のある関節回転を生成
- 後処理（学習フィルター＋ルールベースの補正） – ジッターを平滑化、足の滑りを修正
- リターゲティングとエクスポート – ターゲットリグフォーマットにマッピング
この多段階アプローチにより、商用ツールは単一のオープンソースモデル単独よりも高品質を達成できます。これは、各段階が特定のタスクに最適化され、プロダクション品質のモーションデータでトレーニングされているためです。
マーカーレス vs マーカーベース：主な違い
| 比較項目 | マーカーベース（光学式） | マーカーレス（AI/ビジョン） |
|---|---|---|
| 必要なハードウェア | 赤外線カメラ、反射マーカー、スーツ | 標準RGBカメラ（スマホ、ウェブカメラ、デジタル一眼レフ） |
| セットアップ時間 | 1～4時間（キャリブレーション、マーカー配置） | 1～5分（カメラを向けて録画） |
| 精度 | サブミリ位置、1度未満の関節角度 | 10～50mm位置、2～5度の関節角度 |
| コスト | 5万～25万ドル以上 | 0～50ドル/月 |
| 携帯性 | 固定スタジオ設置 | カメラがあればどこでも |
| パフォーマーの準備 | スーツ装着、マーカーキャリブレーション | 不要 – 普段着でOK |
| オクルージョン処理 | 身体に隠れたマーカーは喪失 | AIモデルが隠れた関節を推定可能 |
| マルチパーソン | 可能（十分なカメラ数で） | 可能（シングルカメラで1～2人） |
| 手/指のトラッキング | 可能（ハンドマーカーセットで） | 可能（身体より精度は低い） |
| リアルタイムプレビュー | 可能（低レイテンシーシステム） | 可能（リアルタイムモデル） |
| 最適な用途 | AAA映画、バイオメカニクス、医療 | インディーゲーム、コンテンツ制作、プロトタイピング |
慣性（スーツベース）システムを含むより詳細な比較については、こちらをご覧ください：AIモーションキャプチャー vs 従来のモーキャップ：長所と短所。
マーカーレスモーションキャプチャーの活用分野
ゲーム開発
インディーおよび中堅ゲームスタジオは、マーカーレスモーキャップを使用してキャラクターアニメーション（歩行サイクル、戦闘動作、待機時の動き、カットシーンのパフォーマンス）を、モーキャップハードウェアに投資することなくキャプチャしています。開発者はスマートフォンでリファレンス映像を録画し、AIモーキャップツールで処理し、10分以内にアニメーション対応のFBXファイルを入手できます。QuickMagicはUnreal Engine MetaHuman、Unity、Mixamoリグに直接エクスポートできるため、リターゲティングの手間が省けます。
AAAスタジオも、光学式システムを補完する形でマーカーレスを使用しています。プロトタイピングのためのクイックリファレンスキャプチャ、プリビジュアライゼーションのためのモーションスカウト、ヒーロークオリティの精度を必要としない背景キャラクターアニメーションの大量生成などです。
映画と視覚効果
マーカーレスモーキャップは映画で2つの役割を果たします。プリビジュアライゼーション（高価な光学式セッションの前に、セットでラフなパフォーマンスをキャプチャしてシーンをブロックする）と背景キャラクターアニメーション（群衆シーンや脇役キャラクターをマーカーレスキャプチャからアニメートし、光学式システムは主要パフォーマンス用に確保する）です。Move.aiのマルチカメラマーカーレスシステムは、パフォーマーがLEDウォールセットとインタラクションするバーチャルプロダクション環境で
