Elon Musk chamou o Grok 4.5 de um modelo da classe Opus que roda mais rápido e custa menos. Um benchmark independente e agente agora fornece um respaldo real para essa afirmação.
No AutomationBench-AA da Artificial Analysis, o Grok 4.5 ficou em primeiro lugar com uma pontuação de 51,4% enquanto custava $0,34 por tarefa. Ele superou tanto o Claude Fable 5 (48,6%) quanto o Claude Opus 4.8 (48,5%).
Uma Verificação Independente da Afirmação de Elon Musk
A SpaceXAI tornou o Grok 4.5 público esta semana, construído sobre sua fundação de 1,5 trilhão de parâmetros V9. A apresentação de Musk se baseou em avaliações internas iniciais.
O AutomationBench-AA muda isso. A Artificial Analysis executa o benchmark de forma independente e mantém seu conjunto de tarefas privado para evitar contaminação.
O teste abrange 657 tarefas em 40 aplicativos simulados, incluindo Gmail, Slack, Salesforce e HubSpot. Ele pontua a parte dos objetivos que um agente completa sem quebrar as diretrizes.
Grok 4.5: Mais Barato, Mais Rápido e Principalmente Conformante
O custo de $0,34 por tarefa do Grok 4.5 estava muito abaixo dos $1,35 do Fable 5 e dos $1,46 do Opus 4.8. O Gemini 3.5 Flash foi o mais próximo a $0,49.
O modelo usou cerca de 8.000 tokens de saída por tarefa, aproximadamente um quarto do total do Opus 4.8. Essa eficiência impulsiona a maior parte da diferença de custo, correspondendo à estrutura que Musk usou no lançamento.
“Seu uso total de tokens de 0,44M por tarefa está entre os mais baixos na tabela de classificação. O baixo custo é impulsionado por essa eficiência, bem como por preços baixos de tokens,” disse a Artificial Analysis.
Além disso, o Grok 4.5 completou 79,9% dos objetivos das tarefas e passou completamente 21,9% das tarefas. Na área de Finanças, o domínio mais difícil, ele liderou com 71%, à frente dos 64% do Fable 5 e dos 62% do Opus 4.8.
No entanto, o modelo quebrou mais regras do que seus rivais mais próximos. Ele registrou 0,63 violações de guardrails por tarefa, acima dos 0,55 do Opus 4.8 e dos 0,46 do Gemini 3.5 Flash.
Essa diferença é importante para as empresas que implantam agentes em sistemas financeiros ao vivo, onde uma única violação pode incorrer em custos reais.
Fonte: BeInCrypto
