Facial Motion Capture From Video: Free Phone-Based MoCap Guide

Mira los tutoriales originales de captura facial

Ambos reproductores usan iframes estáticos de YouTube y no requieren JavaScript en tiempo de ejecución. Si un navegador, región, red o visor de archivos local bloquea la reproducción incrustada, usa los botones de enlace directo rojos. Todas las imágenes del artículo están incrustadas en este archivo HTML.

Qué produce la captura de movimiento facial

La captura de movimiento facial convierte las expresiones visibles en controles que varían con el tiempo. En un flujo de trabajo de mezclas, cada control representa un movimiento como la apertura de la mandíbula, el cierre del párpado, la elevación de las cejas, la compresión de los labios o la inflación de las mejillas. La animación es la secuencia de valores de coeficientes a lo largo del tiempo, no la malla del personaje final.

Apple documenta las expresiones faciales de ARKit como un diccionario de coeficientes con nombre asociados a movimientos específicos de rasgos faciales. Esos coeficientes pueden conducir personajes 2D o 3D. La documentación de OnlyFace de QuickMagic describe un flujo de trabajo de 52 mezclas compatible con ARKit.

Entender los canales faciales de origen y destino

Conjunto mínimo útil de validación

• jawOpen
• eyeBlinkLeft y eyeBlinkRight
• mouthSmileLeft y mouthSmileRight
• browInnerUp
• mouthPucker
• Al menos una expresión de mejilla/nariz
• Canales de mirada cuando el destino los soporte

Tres casos de mapeo

Script de Blender: crear drivers para nombres de claves de forma coincidentes

El siguiente script crea drivers con límite para cada clave de forma de destino cuyo nombre coincide exactamente con una clave de forma fuente. Duplica el archivo de Blender antes de ejecutarlo y cambia los dos nombres de objeto.

# Blender: crear drivers para nombres de claves de forma faciales coincidentes
# Edita estos dos nombres de objeto antes de ejecutar en el espacio de trabajo de Scripting de Blender.
import bpy

SOURCE_OBJECT = "QuickMagic_SourceFace"
TARGET_OBJECT = "Target_Character"
GAIN = 1.0

source = bpy.data.objects.get(SOURCE_OBJECT)
target = bpy.data.objects.get(TARGET_OBJECT)

if source is None or target is None:
    raise RuntimeError("No se encontró el objeto fuente o destino.")

if not source.data.shape_keys or not target.data.shape_keys:
    raise RuntimeError("Ambos objetos deben contener claves de forma.")

source_keys = source.data.shape_keys.key_blocks
target_keys = target.data.shape_keys.key_blocks

created = []
skipped = []

for target_key in target_keys:
    name = target_key.name
    if name == "Basis":
        continue
    if source_keys.get(name) is None:
        skipped.append(name)
        continue

    # Eliminar un driver existente en el valor de destino, si está presente.
    try:
        target_key.driver_remove("value")
    except TypeError:
        pass

    fcurve = target_key.driver_add("value")
    driver = fcurve.driver
    driver.type = "SCRIPTED"

    variable = driver.variables.new()
    variable.name = "src"
    variable.type = "SINGLE_PROP"
    variable.targets[0].id_type = "KEY"
    variable.targets[0].id = source.data.shape_keys
    escaped = name.replace("\\", "\\\\").replace('"', '\\"')
    variable.targets[0].data_path = f'key_blocks["{escaped}"].value'

    # Limitar al rango de destino común 0–1.
    driver.expression = f"min(max(src * {GAIN}, 0.0), 1.0)"
    created.append(name)

print(f"Se crearon {len(created)} drivers.")
print("Claves de destino no coincidentes omitidas:", skipped)

Después de ejecutar el script

1. Desplázate por la línea de tiempo y confirma que el destino se anima.
2. Revisa la lista impresa de claves de destino no coincidentes.
3. Mapea manualmente los canales con nombres diferentes.
4. Cambia GAIN o las expresiones de drivers individuales donde sea necesario.
5. Prueba con cuidado los canales izquierdo/derecho.

Flujo de trabajo opcional con Human Generator

Human Generator es un complemento de pago para la generación de personajes en Blender, no un requisito de QuickMagic. La lista actual del marketplace es compatible con versiones modernas de Blender, pero se debe verificar el nivel de compra, la compatibilidad con Blender y las herramientas de transferencia en la página del producto actual.

1. Instala Human Generator a través de su flujo de trabajo de complemento documentado para Blender.
2. Crea o carga un personaje con un sistema de claves de forma faciales.
3. Importa el FBX fuente de QuickMagic.
4. Compara los nombres de las claves de forma fuente y destino.
5. Usa la función de transferencia documentada del complemento cuando sea compatible explícitamente con los datos fuente, o usa drivers de Blender.
6. Ajusta la fuerza de expresión específica del destino y las formas correctivas.

Limpiar y calibrar la animación facial

Expresión demasiado débil

Aumenta la ganancia del canal o usa una curva de respuesta más pronunciada en esa expresión específica.

Expresión demasiado fuerte o distorsiona el rostro

Limita el valor de destino y reduce la ganancia. Comprueba si se están combinando en exceso varias formas.

Parpadeos incompletos

Verifica que los párpados fueran visibles en el vídeo, luego ajusta la ganancia del parpadeo y añade una forma correctiva si la deformación del párpado de destino es incompleta.

Sincronización de labios imprecisa

Preserva la apertura de mandíbula y el cierre de labios. Evita un suavizado amplio que elimine el tiempo de las consonantes.

Expresiones izquierda y derecha invertidas

Prueba una sonrisa y una elevación de ceja de un solo lado, luego corrige el mapeo fuente/destino reflejado.

Temblor

Suaviza solo los intervalos de canales visiblemente ruidosos. Preserva movimientos oculares naturales, parpadeos, articulación del habla y actuación asimétrica.

Usar los mismos datos faciales en Maya, Unreal Engine y Unity

Maya

Conecta los coeficientes fuente a los pesos del nodo Blend Shape de destino con el Editor de conexiones, claves guiadas o nodos de utilidad/reasignación. Usa el Editor de gráficos para calibrar y hornea los controles de destino solo cuando sea necesario.

Unreal Engine

Habilita la importación de morph target al importar el FBX correspondiente. Unreal puede encapsular la animación de morph target en una secuencia de animación y exponer las curvas morph individuales. El uso de MetaHuman requiere un flujo de trabajo de mapeo de curvas compatible por separado.

Unity

Unity expone los pesos de las mezclas de malla a través de SkinnedMeshRenderer. Anímalos en un clip de animación o establécelos en tiempo de ejecución mediante scripting. Confirma si el FBX importado incluye las curvas neces