ダンスデュオモーションキャプチャー:AIでパートナーダンスのルーティンをキャプチャー

TL;DR ― 知っておくべきポイント QuickMagicのAIマルチサブジェクトトラッキングは、1台のスマートフォン動画から2人のダンサーをキャプチャーします。スーツ、マーカー、スタジオは不要です。映像をアップロードし、AIが両方のパフォーマーを同時に追跡し、同期データを確認、Blender、Unreal Engine、Maya、Unityにエクスポートします。このガイドでは、撮影から最終仕上げまでの完全なワークフローを説明します。

パートナーダンスのモーションキャプチャーが特に難しい理由

はい、高額なモーションキャプチャースタジオやセンサースーツなしで、2人分のダンス動作をキャプチャーすることが可能です。QuickMagicのようなAI動画ベースのツールは、1本の動画記録から複数のダンサーを追跡し、その動きを編集可能な3Dアニメーションデータに変換できます。このガイドでは、リファレンス映像の録画から最終アニメーションの調整までの完全なワークフローを説明します。

パートナーダンスは、手作業でアニメーション化するのが最も難しいもののひとつです。2つの身体が同期して動く―リフト、スピン、密着したホールド、体重移動―これらはフレームごとの完璧な連携を必要とし、経験豊富なアニメーターでも数週間かかります。従来の光学式モーションキャプチャーはこうしたシナリオに対応できますが、コストと複雑さのために多くのクリエイターには手の届かないものでした。

QuickMagicは、従来の機材を必要とせず、高速でアクセスしやすいモーションキャプチャーを求めるクリエイターのために設計されています。そのマルチサブジェクトワークフローでは、1本の動画からデュオを録画し、両方のパフォーマーを同時に追跡し、3Dソフトウェアで使用可能な同期アニメーションデータを生成できます。適切な撮影設定と対象を絞ったクリーンアップにより、プロフェッショナルなゲーム開発、バーチャルプロダクション、シネマティックプリビズに適した高品質な結果を得ることができます。

従来のパートナーダンスモーションキャプチャー
  • 高価な機器を備えたハイエンド光学スタジオ
  • フルマーカースーツを着た2人のパフォーマー
  • クリーンアップ専任の技術者チーム
  • オクルージョンにより手動修正に数時間
  • セッションごとの長いセットアップとキャリブレーション
QuickMagic AIダンスデュオモーションキャプチャー
  • 1台のスマートフォンカメラまたはウェブカメラ
  • 普段着―マーカーやスーツは不要
  • AIが自動的にクリーンアップを処理
  • マルチサブジェクトトラッキングで密着に対応
  • アップロードからエクスポートまでの効率的な処理

パートナーダンスアニメーション:従来の光学パイプラインとQuickMagic AIマルチサブジェクトトラッキングの比較。両方のパフォーマーが単一の動画ソースから同時に追跡されます。

デュオモーションキャプチャーの恩恵を受けるダンススタイル

あらゆるパートナールーティンはマルチパーソンダンストラッキングでキャプチャーできますが、特に手動キーフレーミングと比較して劇的な改善が見られるスタイルもあります。

ラテン・ボールルーム

サルサ、バチャータ、チャチャチャ。ラテンダンスを生き生きとさせるヒップの動き、スピン、速いフットワークは、手作業でアニメーション化するのに膨大な時間がかかる要素です。AIトラッキングは微妙な体重移動のすべてを捉えます。

スウィングとリンディホップ

ハイエナジーな空中技、素早いパートナーチェンジ、バウンスのリズム。マルチサブジェクトトラッカーは、スウィングを本物らしく感じさせるダイナミックなエネルギーを保持します。

バレエ・パ・ド・ドゥ

正確なリフト、アラベスクバランス、サポート付きピルエット。上半身のトラッキングは、古典的なパートナーシップを定義する微妙な手から腰へのコンタクトポイントを捉えます。

コンテンポラリーとモダン

コンタクト・インプロヴィゼーション、体重移動、フロアワーク。これらのスタイルを従来のモーションキャプチャーで捉えにくくする物理的な近接性を、AIトラッキングはうまく処理します。

ヒップホップデュオ

ポッピング、ロッキング、ブレイクバトル。素早い方向転換やアイソレーションの動きは、30fpsまたは60fpsのキャプチャーでクリーンに変換されます。

タンゴ

クローズドエンブレイス、鋭いヘッドスナップ、複雑なレッグラップ。AIトラッカーは、適切な角度から撮影すれば、密着したホールドでも2つの身体を区別できます。

始める前に必要なもの

項目要件理由
ダンス動画スマートフォンまたはカメラ、最低1080p、30fps以上解像度とフレームレートがトラッキング精度を左右します。高いほど良いです。
2人のダンサー両方のパフォーマーの全身が見えることマルチサブジェクトトラッキングは、両者がフレーム内に明確な身体の輪郭を持っている必要があります。
コントラストのある服装ダンサーは異なる色を着用し、同じ服装は避けるダンサーが交差したり近づいたりする際に、AIが識別を維持するのに役立ちます。
オープンスペース最低6x6メートル、背景はクリアに人物検出モデルを混乱させる背景の雑然さを軽減します。
良好な照明均一で拡散した光。強いバックライトは避ける不十分な照明はトラッキング失敗の最大の原因です。こちらのAIモーションキャプチャー録画のヒントをご覧ください。
QuickMagicアカウント無料プランでも可、有料プランは長時間動画向けこちらからサインアップ.
プロのヒント: ダンサーが同じ色(例:両方黒いリハーサル着)を着ている場合は、一人が明るい色のシャツやスカートを着用してください。AIはモーションキャプチャースーツを必要としませんが、2つの身体の間の視覚的なコントラストが必要です。

AIでパートナーダンスアニメーションをキャプチャーする方法

以下の5つのステップに従って、パートナーダンス動画を同期3Dアニメーションデータに変換します。このプロセスはあらゆるダンススタイルで機能し、主要な3Dソフトウェアパッケージにエクスポートできます。

ステップ1:パートナーダンスのリファレンス動画を撮影する

ダンスデュオモーションキャプチャーのための撮影は、パフォーマンス動画の撮影とは異なります。観客ではなく、AIのために撮影しているのです。重要なポイントは次の通りです。

1

カメラアングル:真正面、やや高い位置

カメラを胸の高さくらいに設置し、パフォーマンススペースに向けてまっすぐにします。リフトを伴うパートナーダンス(バレエ、スウィングの空中技)の場合は、カメラを頭の高さまで上げて、持ち上げられたダンサーがフレームから外れないようにします。低いアングルは避けてください。AIによる脚のトラッキングが難しくなります。ほとんどのパートナースタイルでは、10〜15度のわずかな見下ろしアングルが最適です。

2

距離:両方のダンサーを頭からつま先までフレームに収める

ルーティン全体を通して両方のダンサーが完全に見えるように、つまり頭からつま先まで見えるように十分に離れて立ちます。サルサやスウィングのように速く移動するダンスの場合は、側面に余分なスペースを確保します。目安としては、どちらかのダンサーの足や手が一度でもフレームから外れると、トラッキングに不具合が生じます。少し広めに撮影する方が、少しきつめに撮影するよりも安全です。

3

照明:明るく均一に、ダンサーに影を作らない

正面または側面からの自然な窓からの光が理想的です。床に強い影を落とす天井のスポットライトは避けてください。AIが影を手足と誤認する可能性があります。屋内で撮影する場合は、パフォーマンススペースに対して45度の角度に2つのソフトライトを配置します。照明の設定の詳細については、AIモーションキャプチャー録画のヒントをご覧ください。

4

背景:シンプルで整理整頓

無地の壁、スタジオの背景、または空の部屋が最適です。複雑な背景(派手な壁紙、家具、他の人)は人物検出モデルを混乱させます。どうしても屋外で撮影する必要がある場合は、芝生や舗装された開けた場所を選び、ダンサーの背後に視覚的なノイズを生み出す樹木や建物は避けてください。

5

手ブレ防止:三脚必須、フォーカスと露出を固定

手持ち撮影は絶対にしないでください。カメラの揺れはノイズを加え、AIが処理する必要が生じ、トラッキング精度が低下します。三脚を使用するか、スマートフォンを安定した面に置いてください。ほとんどのスマートフォンでは、画面を長押ししてフォーカスと露出をロックできます。これにより、ダンス中に自動露出が変化して明るさに依存するトラッキングモデルを混乱させるのを防げます。

警告: QuickMagicはカメラ移動にも対応していますが、密着した身体接触を伴うデュオダンスでは、固定された静止カメラの方がはるかにクリーンな結果を生み出します。カメラ移動はシングルダンサーのシーン用に取っておいてください。

ステップ2:マルチサブジェクトトラッキングをアップロードして設定する

リファレンス動画が用意できたら、QuickMagicダッシュボードにアクセスします。マルチサブジェクトトラッキングワークフローがパートナーダンスアニメーションキャプチャーを可能にします。

1

新しいプロジェクトを作成し、動画をアップロードする

QuickMagicダッシュボードで新規プロジェクトをクリックし、動画からモーションへを選択し、ダンス映像をアップロードします。対応フォーマットはMP4、MOV、AVIです。最良の結果を得るには、最高品質のソースファイルをアップロードしてください。事前に圧縮や再エンコードはしないでください。

2

マルチサブジェクトモードを選択する

処理設定パネルで、マルチサブジェクトトラッキングをONに切り替えます。QuickMagicは動画内のすべての人物を自動的に検出します。プレビューに2つの検出されたサブジェクトが表示されるはずです。システムが2人以上を検出した場合(背景の人や反射など)、追跡するサブジェクト数を手動で指定できます。

重要:マルチサブジェクトトラッキングはシングルサブジェクトモードよりも多くの処理クレジットを使用します。動画の1秒あたりに追跡される各人物が1クレジットを消費します(オプションの顔と手のトラッキングアドオンは別途)。動画の長さを計画する際に考慮してください。

3

トラッキング設定を構成する

パートナーダンスキャプチャーでは、以下の設定が最も重要です。

  • トラッキングモード: フルボディ(上半身ではありません)。パートナーダンスにはフットワーク、リフト、レッグラップが含まれます。完全な身体データが必要です。
  • ハンドトラッキング: ON。パートナーの接続ポイント(手のホールド、腰のグリップ、肩のコンタクト)は重要です。手のデータはこれらの相互作用を物理的に正確に保ちます。
  • フェイストラッキング: オプション。表情が重要なクローズアップのシネマティックショットにアニメーションを使用する予定がある場合に有効にします。
  • 出力フレームレート: 動画ソースに合わせます。30fpsで撮影した場合は30fpsでエクスポートします。スローモーション加工のために60fpsで撮影した場合は60fpsでエクスポートします。
4

送信して処理する

処理を開始をクリックします。動画の長さとプランティアに応じて、処理時間は2〜15分です。アニメーションデータがレビュー可能になったら通知が届きます。

ステップ3:デュオアニメーションデータを確認してクリーンアップする

処理が完了すると、QuickMagicビューアに追跡された両方のキャラクターが3Dグランドプレーン上に重ねて表示されます。ここがデュオキャプチャーがシングルパーソンの作業と最も異なる点です。2つのスケルトンが一緒にレビューされる必要があります。

1

両方のアニメーションを同時に再生する

両方のキャラクタースケルトンを表示したままタイムラインをスクラブします。ダンサーが最も近づく瞬間、つまり手の接続、リフトポイント、エンブレイスポジションに特に注意してください。接触ポイントで一方のダンサーの腕がもう一方を貫通している場合は、次のステップで修正する必要があります。

2

IDの入れ替わりを確認する

速いスピンやダンサーが交差するときに、AIが一時的にどちらの身体がどちらかを見失う可能性があります。QuickMagicの識別トラッキングモデルは堅牢ですが、以下の瞬間を確認してください。サルサでの速いアンダーアームターン、スウィングでのパッシング動作、バレエでの回転リフトなどです。IDの入れ替わり(ダンサーAが一時的にダンサーBになる)を発見した場合、通常は異なるサブジェクトカウント設定で処理を再実行することで修正できます。

3

QuickMagicの内蔵クリーンアップツールを使用する

モーションクリーンアップパネルを使用して、一般的なデュオトラッキングアーティファクトに対処します。

  • フットスライディング: フットロッキングを有効にして、床に接触しているフレームでよくある「ムーンウォーク」効果を防ぎます。これは特にタンゴやボールルームのような正確なフットワークを必要とするパートナーダ