AI Body Tracking for Games: Unity & Unreal

O que é rastreamento corporal por IA para animação de jogos?

Rastreamento corporal por IA é o uso de visão computacional e modelos de aprendizado de máquina para estimar a pose e o movimento de uma pessoa a partir de vídeo, reconstruir esse movimento ao longo do tempo e gerar animação esquelética 3D editável. Para a produção de jogos, o movimento resultante é transferido — ou retargetado — para um personagem rigged em um motor como Unity ou Unreal Engine.

Isso é diferente do rastreamento corporal ao vivo usado para controlar um avatar em tempo real. O fluxo de trabalho de vídeo para movimento do QuickMagic cria um ativo de animação que você pode visualizar, editar, reutilizar, misturar e enviar em um jogo. A saída são dados de movimento, não um personagem finalizado, nível ou cena renderizada.

A captura de movimento óptica tradicional registra marcadores com várias câmeras calibradas. Sistemas inerciais usam sensores vestíveis. A captura de movimento por IA QuickMagic sem marcadores começa com imagens de um telefone, webcam ou câmera e converte o movimento visível em animação 3D editável — sem traje ou marcadores reflexivos necessários.

Por que equipes de jogos usam mocap por IA

A maior vantagem do mocap por IA para jogos é a velocidade de iteração. Um designer pode testar uma ideia de travessia, um animador pode bloquear uma conversa, ou um pequeno estúdio pode construir uma biblioteca de performances de fundo sem reservar um palco de captura para cada mudança.

• Prototipe mais cedo: substitua poses placeholder pelo timing humano durante a pré-produção.
• Capture mais variações: grave rapidamente posições de idle alternativas, reações, gestos e locomoção.
• Trabalhe remotamente: performers podem gravar imagens adequadas sem viajar para um estúdio.
• Mantenha o movimento editável: a animação importada pode ser cortada, misturada, reajustada, em camadas ou polida.
• Reutilize entre personagens: um clipe de origem limpo pode ser retargetado para vários rigs compatíveis.

Bons casos de uso incluem idles de NPCs, gestos de diálogo, bloqueio de combate, protótipos de travessia, emotes, cinemáticas no motor, previs e referência de animação. Interações precisas de mão com objetos, acrobacias com auto-oclusão pesada e movimentos de herói com contatos rígidos de pés geralmente merecem uma passagem de captura e limpeza mais cuidadosa.

O fluxo de trabalho completo do vídeo para animação de jogo

1. Grave uma performance nítida
2. Gere movimento no QuickMagic
3. Revise e exporte
4. Importe e retargete
5. Polir e implantar

1. Grave imagens que a IA possa ler

Comece com o arquivo de vídeo original da sua câmera. Para rastreamento corporal completo, mantenha a cabeça e os pés do performer visíveis, deixe espaço ao redor do corpo, use iluminação uniforme e evite roupas que escondam a silhueta. Uma câmera estável e um contraste claro entre o performer e o fundo facilitam a estimativa das posições das articulações.

• Mantenha o performer inteiro no quadro durante toda a tomada.
• Evite longos períodos em que os braços cruzem o tronco ou as pernas se escondam.
• Use um obturador rápido o suficiente ou luz adequada para limitar o borrão de movimento.
• Grave um teste curto antes de uma sessão longa.
• Use uma pose neutra clara no início se sua configuração de retargeting esperar uma.

2. Gere o rastreamento corporal no QuickMagic

Faça upload do vídeo, corte os frames desnecessários, selecione o performer e o modo de captura e escolha as opções de corpo, mão ou rosto necessárias para o projeto. Selecione a pose de referência, a taxa de amostragem, a configuração in-place e o fluxo de trabalho alvo antes de gerar o movimento. O QuickMagic suporta fluxos de trabalho de corpo inteiro e parte superior do corpo, enquanto as opções disponíveis de mão, rosto, múltiplos sujeitos e exportação podem variar de acordo com o plano e o modo de captura.

Para um primeiro teste, use um clipe curto e inspecione-o antes de processar um lote completo. O guia para iniciantes do QuickMagic fornece um passo a passo mais amplo sobre gravação, configuração, refinamento e exportação.

3. Revise a solução antes da exportação

Veja o movimento de mais de um ângulo. Verifique se a pelve viaja na direção correta, se os pés tocam o chão no momento certo, se os joelhos permanecem estáveis e se as mãos seguem os arcos pretendidos. Se uma parte do corpo estiver errada na pré-visualização da origem, corrija ou regenere a origem quando possível; isso é mais reutilizável do que corrigir o mesmo erro em cada personagem alvo.

4. Decida entre animação in-place e root motion

Use animação in-place quando o código do jogo ou um Character Controller mover o personagem. Use root motion quando a própria performance deve impulsionar o deslocamento, como em um ataque comprometido, salto ou caminhada cinematográfica. Tome essa decisão antes da exportação e verifique novamente dentro do motor — o comportamento da raiz é uma das razões mais comuns pelas quais um clipe aparentemente correto parece deslizar ou pular.

Escolha a exportação correta para Unity ou Unreal Engine

O melhor arquivo não é simplesmente o mais universal. É a saída que minimiza a conversão do esqueleto para o personagem alvo. O QuickMagic oferece atualmente FBX mais formatos e predefinições específicos do fluxo de trabalho; a disponibilidade pode variar de acordo com o plano e a versão do produto, então confirme a tela de exportação atual.

Consulte a página atual de formatos de exportação de animação 3D do QuickMagic para obter orientação em nível de formato.

Rastreamento corporal no Unity: importação e retarget passo a passo

Para um fluxo de trabalho de rastreamento corporal no Unity típico, o QuickMagic cria o movimento e o sistema Mecanim do Unity o mapeia para um Avatar Humanoid. Um rig Humanoid válido permite que uma animação seja reutilizada entre personagens com diferentes proporções, desde que seus ossos necessários sejam mapeados corretamente.

1. Adicione o movimento ao projeto. Arraste o FBX exportado ou o ativo de animação Unity suportado para uma pasta dedicada, como Assets/Animations/QuickMagic.
2. Configure o rig de origem. Selecione o FBX importado. Na guia Rig do Inspetor, defina Animation Type como Humanoid. Use Create From This Model para um Avatar de origem, ou Copy From Other Avatar apenas quando a animação usar a mesma estrutura de ossos de um Avatar já no projeto.
3. Valide o Avatar. Clique em Configure, confirme se os ossos necessários estão verdes e atribuídos corretamente e verifique a pose de referência. Se o Unity relatar que o personagem não está em uma T-pose, use Enforce T-Pose ou corrija o mapeamento manualmente.
4. Configure o clipe. Na guia Animation, habilite Import Animation. Defina o nome e o intervalo do clipe, opções de loop e configurações de Root Transform Rotation/Position. Clique em Apply e visualize o clipe.
5. Aplique-o ao personagem alvo. Confirme se o modelo alvo também possui um Avatar Humanoid válido. Adicione o clipe a um Animator Controller, atribua o controlador ao Animator do personagem e teste-o na Cena ou no Play Mode.
6. Verifique a propriedade do movimento. Se o código move o jogador, mantenha o clipe in-place e deixe Apply Root Motion desabilitado. Se a animação deve conduzir o deslocamento, habilite o root motion e confirme se as configurações de raiz importadas produzem o deslocamento pretendido.

Correções comuns no Unity

Rastreamento corporal no Unreal Engine: importação e retarget passo a passo

Em um fluxo de trabalho de rastreamento corporal no Unreal típico, a exportação chega como um FBX contendo um esqueleto animado. O Unreal importa esses dados como uma Animation Sequence. Se o esqueleto de origem for diferente do personagem de produção, as ferramentas IK Rig e IK Retargeter do Unreal transferem o movimento.

1. Escolha a exportação apropriada do QuickMagic. Comece com a predefinição Unreal que corresponde ao seu fluxo de trabalho pretendido. Para um personagem personalizado, um FBX genérico ou estilo Mixamo também pode servir como fonte de retargeting.
2. Importe a animação de origem. No Content Browser, crie uma pasta de origem clara, como Characters/Mocap/QuickMagic/Source, e importe o FBX. Habilite a importação de animação. Escolha um Skeleton existente apenas quando for genuinamente compatível; caso contrário, importe o esqueleto e a animação de origem para retargeting.
3. Crie ou reuse IK Rigs de origem e destino. Cada lado precisa de um IK Rig vinculado à sua Skeletal Mesh. Defina a raiz de retarget — normalmente a pelve ou o quadril — e defina cadeias correspondentes para a coluna, braços, pernas, pescoço e cabeça. Adicione cadeias de dedos apenas quando fizerem parte da captura e do fluxo de trabalho alvo.
4. Crie o IK Retargeter. Atribua os IK Rigs de origem e destino, verifique o mapeamento das cadeias e visualize a animação. Alinhe as poses de retarget cuidadosamente; uma incompatibilidade T-pose/A-pose frequentemente causa erros nos ombros, cotovelos e pulsos.
5. Exporte a Animation Sequence retargetada. Quando a pré-visualização estiver correta, exporte a animação selecionada para a pasta do personagem alvo. Use-a em um Animation Blueprint, Montage, Blend Space, fluxo de trabalho Control Rig ou Sequencer.
6. Verifique raiz e contatos. Confirme root motion, altura da pelve, plantio dos pés, posicionamento das mãos e escala. Use ferramentas do motor ou um pacote DCC para qualquer limpeza final de curvas.

Para um passo a passo mais aprofundado específico do motor, leia QuickMagic para Unreal Engine 5: Fluxo de Trabalho Completo.

Correções comuns no Unreal Engine

Lista de verificação de qualidade pronta para jogos

Execute o clipe dentro do contexto do jogo, não apenas em uma janela de pré-vis