Facial Motion Capture From Video: Free Phone-Based MoCap Guide

オリジナルの顔キャプチャチュートリアルを見る

両方のプレーヤーは静的なYouTube iframeを使用しており、実行時にJavaScriptを必要としません。ブラウザ、地域、ネットワーク、またはローカルファイルビューアが埋め込み再生をブロックする場合は、赤い直接リンクボタンを使用してください。すべての記事画像はこのHTMLファイルに埋め込まれています。

フェイシャルモーションキャプチャが生成するもの

フェイシャルモーションキャプチャは、目に見える表情を時間変化するコントロールに変換します。ブレンドシェイプワークフローでは、各コントロールは顎を開く、まぶたを閉じる、眉を上げる、唇を圧縮する、頬を膨らませるなどの動きを表します。アニメーションは、時間経過に伴う係数値のシーケンスであり、最終的なキャラクターメッシュではありません。

Appleは、ARKitの顔表情を、特定の顔の特徴の動きに関連付けられた名前付き係数の辞書として文書化しています。これらの係数は2Dまたは3Dキャラクターを駆動できます。QuickMagic のOnlyFaceドキュメントには、ARKit互換の52ブレンドシェイプワークフローが説明されています。

ソースとターゲットのフェイシャルチャンネルを理解する

最小限の有用な検証セット

• jawOpen
• eyeBlinkLeft および eyeBlinkRight
• mouthSmileLeft および mouthSmileRight
• browInnerUp
• mouthPucker
• 少なくとも1つの頬/鼻の表情
• ターゲットがサポートしている場合の視線チャンネル

3つのマッピングケース

Blenderスクリプト: 一致するシェイプキー名のドライバーを作成する

以下のスクリプトは、名前がソースシェイプキーと完全に一致するすべてのターゲットシェイプキーに対してクランプされたドライバーを作成します。実行する前にBlenderファイルを複製し、2つのオブジェクト名を変更してください。

# Blender: 一致するフェイシャルシェイプキー名のドライバーを作成
# Blenderのスクリプトワークスペースで実行する前に、これら2つのオブジェクト名を編集してください。
import bpy

SOURCE_OBJECT = "QuickMagic_SourceFace"
TARGET_OBJECT = "Target_Character"
GAIN = 1.0

source = bpy.data.objects.get(SOURCE_OBJECT)
target = bpy.data.objects.get(TARGET_OBJECT)

if source is None or target is None:
    raise RuntimeError("ソースまたはターゲットオブジェクトが見つかりませんでした。")

if not source.data.shape_keys or not target.data.shape_keys:
    raise RuntimeError("両方のオブジェクトにシェイプキーが含まれている必要があります。")

source_keys = source.data.shape_keys.key_blocks
target_keys = target.data.shape_keys.key_blocks

created = []
skipped = []

for target_key in target_keys:
    name = target_key.name
    if name == "Basis":
        continue
    if source_keys.get(name) is None:
        skipped.append(name)
        continue

    # ターゲット値に既存のドライバーがあれば削除します。
    try:
        target_key.driver_remove("value")
    except TypeError:
        pass

    fcurve = target_key.driver_add("value")
    driver = fcurve.driver
    driver.type = "SCRIPTED"

    variable = driver.variables.new()
    variable.name = "src"
    variable.type = "SINGLE_PROP"
    variable.targets[0].id_type = "KEY"
    variable.targets[0].id = source.data.shape_keys
    escaped = name.replace("\\", "\\\\").replace('"', '\\"')
    variable.targets[0].data_path = f'key_blocks["{escaped}"].value'

    # 共通の0-1ターゲット範囲にクランプします。
    driver.expression = f"min(max(src * {GAIN}, 0.0), 1.0)"
    created.append(name)

print(f"{len(created)}個のドライバーを作成しました。")
print("スキップされた一致しないターゲットキー:", skipped)

スクリプト実行後

1. タイムラインをスクラブし、ターゲットがアニメーションすることを確認します。
2. 印刷された一致しないターゲットキーのリストを確認します。
3. 異なる名前のチャンネルを手動でマッピングします。
4. 必要に応じて GAIN または個々のドライバー式を変更します。
5. 左右のチャンネルを注意深くテストします。

オプションのHuman Generatorワークフロー

Human Generatorは有料のBlenderキャラクター生成アドオンであり、QuickMagic の要件ではありません。現在のマーケットプレイスのリストは最新のBlenderバージョンをサポートしていますが、購入ティア、Blender互換性、転送ツールは現在の製品ページで確認する必要があります。

1. Human Generatorを文書化されたBlenderアドオンワークフローを通じてインストールします。
2. フェイシャルシェイプキーシステムを持つキャラクターを作成または読み込みます。
3. QuickMagic ソースFBXをインポートします。
4. ソースとターゲットのシェイプキー名を比較します。
5. アドオンがソースデータを明示的にサポートしている場合は、その文書化された転送機能を使用するか、Blenderドライバーを使用します。
6. ターゲット固有の表情の強さと補正シェイプを調整します。

フェイシャルアニメーションのクリーンアップとキャリブレーション

表情が弱すぎる

その特定の表情のチャンネルゲインを増やすか、より急な応答曲線を使用します。

表情が強すぎる、または顔をクリップする

ターゲット値をクランプし、ゲインを減らします。複数のシェイプが過度に組み合わさっていないか確認します。

まばたきが不完全

動画でまぶたが見えていたことを確認し、まばたきのゲインを調整し、ターゲットのまぶたの変形が不完全な場合は補正シェイプを追加します。

リップシンクがぼやけている

顎の開きと唇の閉じを維持します。子音のタイミングを除去するような広範なスムージングは避けてください。

左右の表情が反転している

片方だけの笑顔と眉上げをテストし、ミラーリングされたソース/ターゲットマッピングを修正します。

ジッター

目に見えてノイズのあるチャンネル区間のみをスムージングします。自然な目の動き、まばたき、発話の明瞭さ、非対称な演技は保持します。

同じフェイシャルデータをMaya