Facial Motion Capture From Video: Free Phone-Based MoCap Guide

Assista aos tutoriais originais de captura facial

Ambos os players usam iframes estáticos do YouTube e não requerem JavaScript em tempo de execução. Se um navegador, região, rede ou visualizador de arquivos local bloquear a reprodução incorporada, use os botões vermelhos de link direto. Todas as imagens do artigo estão incorporadas neste arquivo HTML.

O que a captura de movimento facial produz

A captura de movimento facial converte expressões visíveis em controles variáveis no tempo. Em um fluxo de trabalho de blendshapes, cada controle representa um movimento como abertura da mandíbula, fechamento das pálpebras, levantamento das sobrancelhas, compressão dos lábios ou inflação das bochechas. A animação é a sequência de valores de coeficiente ao longo do tempo — não a malha final do personagem.

A Apple documenta as expressões faciais do ARKit como um dicionário de coeficientes nomeados associados a movimentos específicos de características faciais. Esses coeficientes podem controlar personagens 2D ou 3D. A documentação do OnlyFace do QuickMagic descreve um fluxo de trabalho de 52 blendshapes compatível com ARKit.

Entender os canais faciais de origem e destino

Conjunto de validação útil mínimo

• jawOpen
• eyeBlinkLeft e eyeBlinkRight
• mouthSmileLeft e mouthSmileRight
• browInnerUp
• mouthPucker
• Pelo menos uma expressão de bochecha/nariz
• Canais de olhar quando o alvo os suportar

Três casos de mapeamento

Script do Blender: criar drivers para nomes de shape keys correspondentes

O script abaixo cria drivers com limite para cada shape key alvo cujo nome corresponda exatamente a um shape key de origem. Duplique o arquivo do Blender antes de executá-lo e altere os dois nomes de objeto.

# Blender: criar drivers para nomes de shape keys faciais correspondentes
# Edite esses dois nomes de objeto antes de executar no espaço de trabalho Scripting do Blender.
import bpy

SOURCE_OBJECT = "QuickMagic_SourceFace"
TARGET_OBJECT = "Target_Character"
GAIN = 1.0

source = bpy.data.objects.get(SOURCE_OBJECT)
target = bpy.data.objects.get(TARGET_OBJECT)

if source is None or target is None:
    raise RuntimeError("Objeto de origem ou destino não encontrado.")

if not source.data.shape_keys or not target.data.shape_keys:
    raise RuntimeError("Ambos os objetos devem conter shape keys.")

source_keys = source.data.shape_keys.key_blocks
target_keys = target.data.shape_keys.key_blocks

created = []
skipped = []

for target_key in target_keys:
    name = target_key.name
    if name == "Basis":
        continue
    if source_keys.get(name) is None:
        skipped.append(name)
        continue

    # Remove um driver existente no valor alvo, se presente.
    try:
        target_key.driver_remove("value")
    except TypeError:
        pass

    fcurve = target_key.driver_add("value")
    driver = fcurve.driver
    driver.type = "SCRIPTED"

    variable = driver.variables.new()
    variable.name = "src"
    variable.type = "SINGLE_PROP"
    variable.targets[0].id_type = "KEY"
    variable.targets[0].id = source.data.shape_keys
    escaped = name.replace("\\", "\\\\").replace('"', '\\"')
    variable.targets[0].data_path = f'key_blocks["{escaped}"].value'

    # Limita à faixa alvo comum de 0–1.
    driver.expression = f"min(max(src * {GAIN}, 0.0), 1.0)"
    created.append(name)

print(f"Criados {len(created)} drivers.")
print("Chaves alvo sem correspondência ignoradas:", skipped)

Após executar o script

1. Percorra a linha do tempo e confirme que o alvo anima.
2. Revise a lista impressa de chaves alvo sem correspondência.
3. Mapeie manualmente canais com nomes diferentes.
4. Altere GAIN ou expressões de driver individuais conforme necessário.
5. Teste os canais esquerdo/direito cuidadosamente.

Fluxo de trabalho opcional do Human Generator

Human Generator é um add-on pago de geração de personagens para Blender, não um requisito do QuickMagic. A listagem atual do mercado suporta versões modernas do Blender, mas o nível de compra, a compatibilidade com o Blender e as ferramentas de transferência devem ser verificados na página atual do produto.

1. Instale o Human Generator através do fluxo de trabalho documentado de add-on do Blender.
2. Crie ou carregue um personagem com um sistema de shape keys faciais.
3. Importe o FBX fonte QuickMagic.
4. Compare os nomes dos shape keys de origem e destino.
5. Use o recurso de transferência documentado do add-on quando ele suportar explicitamente os dados de origem, ou use drivers do Blender.
6. Ajuste a força da expressão específica do alvo e formas corretivas.

Limpar e calibrar a animação facial

Expressão muito fraca

Aumente o ganho do canal ou use uma curva de resposta mais íngreme nessa expressão específica.

Expressão muito forte ou corta o rosto

Limite o valor alvo e reduza o ganho. Verifique se várias formas estão se combinando excessivamente.

Piscadas incompletas

Verifique se as pálpebras estavam visíveis no vídeo, depois ajuste o ganho da piscada e adicione uma forma corretiva se a deformação da pálpebra alvo estiver incompleta.

Sincronia labial parece suave

Preserve a abertura da mandíbula e o fechamento dos lábios. Evite suavização ampla que remova o tempo das consoantes.

Expressões esquerda e direita invertidas

Teste um sorriso unilateral e levantamento de sobrancelha, depois corrija o mapeamento espelhado origem/destino.

Tremulação

Suavize apenas os intervalos de canal visivelmente ruidosos. Preserve movimentos naturais dos olhos, piscadas, artic