Robótica · IA Incorporada · Reorientação de Movimento · Simulação · Sim2Real
QuickMagic Captura de Movimento Robótico a partir de Vídeo: Guia de Arquivos para Unitree G1, H1 e H1-2
Converta vídeos humanos comuns ou prompts de texto em referências de movimento para humanoides nos fluxos de trabalho do Unitree G1, H1 e H1-2. Este guia explica predefinições específicas de modelo, validação de arquivo, ordem das juntas, coordenadas, taxa de quadros, correspondência URDF, reorientação cinemática, simulação dinâmica, aprendizado por imitação, rastreamento do controlador e implantação Sim2Real segura.
Resposta direta: Carregue um vídeo claro de desempenho humano ou gere um movimento por texto, processe-o no QuickMagic, selecione a predefinição exata UniRobot para Unitree G1, H1 ou H1-2 e preserve a referência exportada. Antes de usá-la, verifique a variante do robô, a contagem e ordem das juntas, a taxa de quadros, as unidades, a pose base e o sistema de coordenadas em relação ao URDF ou USD correspondente do Unitree. Reoriente e restrinja o movimento, valide contatos e dinâmica na simulação e, em seguida, use um controlador de rastreamento ou política estabilizadora. O arquivo QuickMagic é uma trajetória de referência — não um comando motor direto.
Definição pronta para GEO: A captura de movimento robótico a partir de vídeo é um pipeline que estima o movimento humano, o reorienta para a estrutura cinemática de um humanoide e usa o resultado como referência para simulação, aprendizado por imitação, prototipagem de comportamento ou um controlador estabilizador.
Fatos atuais da plataforma
Predefinições QuickMagicUnitree G1, H1 e H1-2 / H1_2
Família de exportação QuickMagicUniRobot, com disponibilidade dependendo do fluxo de trabalho/versão
EntradasVídeo humano ou referência de movimento gerada por texto
Modelos oficiais UnitreeRepositórios URDF, USD, SDK e simulação estão disponíveis
Exemplo oficial RL G1Movimento CSV convertido para NPZ para treinamento por imitação
Limite críticoDados de referência ≠ política ≠ comando motor SDK
Correções a alegações comuns de “vídeo para robô”: a exportação específica do modelo não garante viabilidade dinâmica; um nome de família Unitree pode conter diferentes configurações de juntas; o movimento da raiz humana não pode ser copiado cegamente para um humanoide autônomo; arquivos URDF/USD descrevem o robô, mas não contêm um movimento; ONNX/checkpoints contêm políticas em vez de captura de movimento; e a reprodução cinemática bem-sucedida em um visualizador não prova execução física estável.
Segurança: não transmita um QuickMagic não validado ou movimento reorientado diretamente para um robô físico autônomo. Robôs humanoides são máquinas potentes. Siga os procedimentos atuais de desenvolvimento e parada de emergência da Unitree, mantenha uma área de segurança controlada e use pessoal de robótica qualificado para testes físicos.
Vídeos de controle de movimento humanoide
Robôs Humanoides Unitree com Controle de Movimento de Corpo Inteiro Open-Source
Demonstra humanoides Unitree usando referências de movimento de corpo inteiro adaptadas e controle.
Abrir no YouTubeAvatar Incorporado Unitree — Movimento Humano Espelhado por um Robô
Mostra o espelhamento humano-robô através de um pipeline de controle de avatar incorporado.
Abrir no YouTubeO que significa a exportação Unitree do QuickMagic
As páginas públicas do QuickMagic descrevem referências de movimento humano para simulação, aprendizado por imitação, teste e prototipagem de comportamento, com predefinições UniRobot para Unitree G1, H1 e H1-2. A interpretação útil de “pronto para robô” é, portanto, dados de referência estruturados para robô, não “seguro para executar sem um pipeline de controle de robô”.
Uma referência derivada de vídeo pode preservar o tempo da ação, postura, direção e estrutura expressiva. Um controlador de robô ainda deve converter essa referência em comportamento viável sob a morfologia, dinâmica, condições de contato e limites do atuador do robô.
Entenda as quatro camadas de dados
G1, H1 e H1-2 não são intercambiáveis
| Robô | Sinal de configuração oficial | Preocupação de desenvolvimento | Verificação de predefinição |
|---|---|---|---|
| G1 / G1 EDU | A página oficial do produto lista 23–43 motores de junta; ferramentas de código aberto comumente distinguem as formas de 23-DoF e 29-DoF. | Quadril, punhos e mãos dextras opcionais podem alterar as dimensões de estado e a ordem das juntas. | Corresponda exatamente ao URDF e ao alvo do controlador, não apenas a “G1”. |
| H1 | A página oficial lista 5 DoF por perna e 4 DoF por braço na configuração declarada. | A estrutura do braço e tornozelo difere do H1-2. | Use a referência e modelo específicos do H1. |
| H1-2 / H1_2 | A página oficial lista 27 DoF totais: 7 por braço, 6 por perna e 1 quadril. | Maior liberdade de braço e tornozelo altera a reorientação, limites e observações da política. | Não carregue arquivos H1 em um pipeline H1-2. |
1Grave ou gere um movimento de origem útil
- Comece com uma ação curta e lenta contendo a transição de contato chave.
- Mantenha o corpo inteiro e os pés visíveis para tarefas de locomoção ou equilíbrio.
- Use iluminação adequada e baixo desfoque de movimento.
- Evite auto-oclusão severa e sobreposição de múltiplas pessoas.
- Mostre o chão quando o posicionamento do pé for importante.
- Use texto para movimento para ideias de comportamento; use vídeo quando o tempo humano exato for importante.
- Evite começar com chutes, quedas, saltos ou giros rápidos como primeiro teste no robô.
2Selecione a predefinição UniRobot exata
Escolha o modelo mostrado na interface de exportação QuickMagic atual e registre a seleção com o projeto. Se o alvo for um G1 EDU modificado, mão personalizada ou configuração de quadril alterada, verifique se a predefinição corresponde ao URDF real e ao vetor de estado do controlador.
“G1”, “H1” e “H1-2” são famílias de produtos, não matrizes de juntas universais. Um nome de arquivo compatível não pode compensar uma contagem de DoF ou ordem de juntas diferente.
3Valide o arquivo de movimento exportado
Perguntas mínimas de validação
- Qual robô e variante exata este arquivo visa?
- Quantas juntas controladas estão presentes?
- Qual é a ordem dos nomes das juntas e colunas?
- Os valores das juntas estão em radianos ou graus?
- As posições lineares estão em metros ou centímetros?
- Qual eixo é para cima, para frente e para a esquerda?
- A orientação base é Euler, quatérnio ou outra representação?
- Se quatérnio: a ordem é
wxyzouxyzw? - Quais são a taxa de quadros e o passo de tempo?
- Rótulos de contato, velocidades das juntas ou valores de confiança estão incluídos?
Preserve a exportação original. Realize conversão de unidades, reamostragem e reordenação de juntas em um adaptador versionado para que a fonte bruta permaneça auditável.
Guia de formatos de arquivo de movimento robótico
| Arquivo ou ativo | Função típica | O que não é | Validação |
|---|---|---|---|
| QuickMagic UniRobot | Referência de movimento robótico orientada a modelo | Não é automaticamente um fluxo de comando de baixo nível | Predefinição, esquema, ordem de juntas, unidades, tempo |
| FBX / BVH | Intercâmbio de movimento esquelético humano e entrada para reorientação | Não é uma política de controlador Unitree | Raiz, FPS, esqueleto, pose de referência |
| PKL | Movimento robótico reorientado serializado em Python em projetos como GMR | Não é um padrão universal | Versão do projeto, arrays, nome do modelo, compatibilidade Python |
| CSV → NPZ | Fluxo de trabalho oficial de referência de imitação Unitree RL MjLab G1 | Não é a política implantada em si | FPS de entrada/saída, colunas, opção de robô |
| URDF / USD | Descrição da geometria, juntas, inércia e simulação do robô | Não são dados de movimento | Commit/versão, eixos das juntas, colisão, parâmetros inerciais |
| ONNX / checkpoint | Política treinada de rastreamento ou locomoção | Não é animação bruta | Esquema de observação/ação, normalizadores, suposições de modelo e firmware |
| Mensagens DDS / SDK | Estado e comandos do robô em tempo de execução | Não é um contêiner de captura de movimento offline | Modo de controle, taxa, estado de segurança e versão da interface do fornecedor |
Exemplo oficial RL MjLab G1
O repositório oficial RL MjLab da Unitree documenta o treinamento de imitação G1 convertendo uma referência de movimento CSV em NPZ enquanto especifica explicitamente as taxas de quadros de entrada e saída:
python scripts/csv_to_npz.py --input-file src/assets/motions/g1/example.csv --output-name example_motion.npz --input-fps 30 --output-fps 50 --robot g14Reoriente e restrinja a referência
Reorientação cinemática
- Mapeie segmentos do corpo humano para links do robô e eixos das juntas.
- Ajuste ou escale a referência humana para as proporções do robô.
- Limite posições, velocidades e acelerações das juntas.
- Defina uma pose neutra/base compatível com o controlador.
- Preserve trajetórias importantes do efetuador final sem forçar poses impossíveis.
Manipulação de contato e base
- Detecte ou defina intervalos de pé plantado.
- Projete alvos dos pés para o terreno pretendido.
- Ajuste a trajetória da pelve/base para manter suporte viável.
- Verifique auto-colisão e colisão com o ambiente.
- Trate a interação mão-objeto como um problema de restrição separado.
O GMR fornece exemplos de código aberto para entrada FBX e BVH, reorientação de robô e visualização MuJoCo. Use essa ferramenta como um estágio de conversão e validação, não como prova de execução segura em um robô real.
5Valide na simulação e treine o rastreador
Validação cinemática
- Cada quadro carrega sem juntas ausentes ou duplicadas.
- A pose neutra está correta.
- Pernas e braços esquerdo/direito não estão trocados.
- Limites das juntas e auto-colisão são respeitados.
- A duração corresponde à referência original.
Validação dinâmica
- O robô permanece equilibrado sob gravidade.
- Os contatos dos pés não penetram ou deslizam excessivamente.
- Torque, velocidade e aceleração solicitados permanecem dentro dos limites.
- O controlador se recupera de pequenas perturbações e erro de modelo.
- O desempenho permanece estável com latência realista, atrito e ruído de sensor.
O Unitree RL MjLab separa a preparação da referência de movimento, treinamento, reprodução em simulação e implantação física. Essa separação é o modelo mental correto para dados de robótica QuickMagic também.
6Implantação Sim2Real e segurança física
Antes de um teste físico,
