Alibaba revela modelos de IA para controlar robôs

A Alibaba apresentou o Qwen-Robot Suite — um conjunto de modelos de IA para robôs e tarefas no ambiente físico: Qwen-RobotNav para navegação, Qwen-RobotManip para ações com objetos e Qwen-RobotWorld para prever como uma cena se desenrolará. A equipe descreveu o projeto como um «stack completo para inteligência artificial incorporada».

Estes são modelos de software destinados a ajudar agentes físicos a perceber seu entorno, planejar ações e executar comandos em linguagem natural. O Qwen-Robot Suite já está passando por testes piloto com clientes selecionados da Alibaba Cloud no campo da robótica.

Por que a Alibaba está trazendo o Qwen para o mundo físico

Modelos de linguagem grande e multimodal já podem trabalhar com texto, imagens, vídeo e fala, mas isso não é suficiente para robôs. Agentes físicos precisam não apenas entender um comando, mas também traduzi-lo em movimento, considerar o espaço, as propriedades dos objetos, as limitações dos sensores e as consequências das ações.

A Alibaba chama isso de campo da IA física, ou «IA incorporada». Nesta abordagem, um modelo deve trabalhar não apenas com dados digitais, mas também com o ambiente físico: movendo-se, encontrando objetos, controlando manipuladores e prevendo o que acontecerá após uma ação.

Qwen-RobotNav: cinco tarefas de navegação em um modelo

O Qwen-RobotNav é responsável pela navegação. O modelo combina cinco grupos de tarefas:

• seguindo instruções;
• movendo-se para um ponto especificado;
• procurando objetos;
• rastreamento de um alvo;
• condução autônoma.

De acordo com a Alibaba, o Qwen-RobotNav é construído sobre o Qwen3-VL e treinado em 15,6 milhões de amostras relacionadas ao planejamento de rotas e raciocínio visual-linguístico.

A empresa afirmou 76,5% de sucesso no VLN-CE RxR e 90% no EVT-Bench. A Alibaba também especificou que o modelo pode operar como uma ferramenta para sistemas agentes maiores: um modelo de nível superior planeja a tarefa, enquanto o Qwen-RobotNav lida com o movimento.

Em suas demonstrações, a Alibaba descreve cenários como procurar um item perdido em uma sala ou verificar se um objeto específico em um prédio está aberto. Em tais tarefas, um robô deve não apenas se mover, mas coletar evidências visuais e retornar uma resposta ao usuário.

Qwen-RobotManip: ações com objetos

O Qwen-RobotManip é projetado para ações físicas com objetos. O modelo é destinado a ajudar robôs a pegar, mover e colocar itens, bem como transferir habilidades entre diferentes tipos de dispositivos.

Um dos principais desafios da robótica é que os robôs descrevem ações de maneira diferente. Um manipulador, uma plataforma de dois braços, um robô com uma mão ou um sistema móvel usam diferentes coordenadas, articulações e formatos de comando. O Qwen-RobotManip tenta trazer esses dados para uma representação comum, de modo que o treinamento em um tipo de robô ajude outro.

Para o treinamento, a Alibaba usou mais de 38.100 horas de dados. Este volume incluiu 11.320 horas de dados de robótica aberta, 1.933 horas de vídeo de ação humana em primeira pessoa e 24.808 horas de demonstrações robóticas sintéticas criadas com base em tais vídeos.

A empresa afirmou que o modelo ficou em primeiro lugar na RoboChallenge Table30 v1 na categoria de modelos de uso geral. De acordo com a Alibaba, o Qwen-RobotManip também demonstrou robustez a novas instruções, objetos desconhecidos e a transferência de habilidades entre diferentes robôs.

Qwen-RobotWorld: um modelo de mundo para robôs

Qwen-RobotWorld é um modelo de mundo em vídeo controlado por linguagem natural. Ele é destinado a prever como uma cena se desenrolará após uma ação dada.

Por exemplo, o modelo recebe uma observação atual e um comando em texto, e então gera um estado futuro provável do ambiente. Essa abordagem pode ser usada para manipulação, direção autônoma, navegação, planejamento e a criação de dados de treinamento sintéticos para robôs.

Para treinar o Qwen-RobotWorld, a equipe montou o corpus Embodied World Knowledge. Ele inclui 8,6 milhões de pares «vídeo-texto» e mais de 200 milhões de quadros, cobre mais de 20 tipos de plataformas robóticas e mais de 500 categorias de ações.

A Alibaba afirmou que o Qwen-RobotWorld ficou em primeiro lugar no EWMBench e no DreamGen Bench, e também superou todos os modelos abertos no WorldModelBench e no PBench. A descrição técnica também afirma que o modelo demonstra alta consistência com regularidades físicas básicas — movimento, conservação de massa, fluidos e gravidade.

Robôs de consumo em massa ainda estão longe de se tornar realidade

Apesar dos resultados reivindicados, o Qwen-Robot Suite por enquanto permanece um conjunto de modelos em vez de uma plataforma de robótica de consumo finalizada. A implementação no mundo real enfrenta ruído de sensores, desgaste de atuadores, situações não padronizadas, erros de percepção e um número enorme de cenários raros. Muitos dos benchmarks nos quais esses sistemas são comparados são executados em simulação ou sob condições experimentais limitadas.

A Alibaba também não divulgou o custo de acesso, o cronograma para um lançamento público ou a lista de clientes que já estão testando o Qwen-Robot Suite.

Como lembrete, em abril a Alibaba Cloud revelou o modelo agente Qwen3.6-Plus com uma janela de contexto de 1 milhão de tokens e suporte para ferramentas externas.

Fonte: ForkLog