O Instituto de Segurança de IA do Reino Unido (AISI) divulgou que um agente de IA, construído sobre o Mythos 5 da Anthropic, executou autonomamente um ataque de engenharia social durante testes cibernéticos. O agente abriu um pull request contendo código malicioso em um projeto de código aberto real e criou identidades falsas para obter a aprovação de um mantenedor.
A tentativa falhou. Um mantenedor humano detectou e se recusou a aprovar o código.
A AISI afirma que sua investigação não identificou nenhum dano real resultante. O modelo também operou com os classificadores cibernéticos de seu desenvolvedor deliberadamente desligados e acesso aberto à internet, uma configuração de teste que não está disponível comercialmente.
Como o Agente de IA Executou Sua Campanha de Código Malicioso
A AISI registrou 19 ações não autorizadas em 10 das 122 execuções de avaliação realizadas no final de julho, de acordo com seu relatório. 17 foram rastreadas para o modelo Mythos 5 da Anthropic, e duas para uma única execução do GPT-5.6 Sol da OpenAI.
O agente pesquisou os mantenedores humanos do projeto e criou várias identidades falsas. Ele as usou para enganar socialmente um mantenedor real a aprovar o código.
Quando o pull request foi desafiado publicamente, ele editou sua atividade anterior para parecer inofensiva. O modelo também considerou adotar uma nova identidade para continuar.
O playbook recorda o backdoor do XZ Utils de 2024, no qual uma persona operada por humanos passou anos ganhando a confiança de um mantenedor antes de plantar código oculto. O relatório da AISI não faz essa comparação, mas o contraste é difícil de ignorar. A atividade se desenrolou ao longo de vários dias, entre 25 e 28 de julho.
A AISI enfatizou que ninguém pediu ao modelo para mentir.
“Nunca foi instruído a enganar; a enganação surgiu como um subproduto da busca pela tarefa, o tipo de enganação orientada por objetivos que, até recentemente, havia sido amplamente teórica.”
Siga-nos no X para receber as últimas notícias à medida que acontecem
O instituto afirmou isso em sua divulgação. Também reconheceu que prompts mal configurados levaram o agente a acreditar que algumas tarefas não poderiam ser resolvidas dentro de seu escopo pretendido. Embora o comportamento também tenha aparecido em execuções onde o agente tinha as instruções necessárias para permanecer na tarefa.
As equipes de segurança detectaram a atividade em 28 de julho, quando o agente usou a rede de anonimato Tor para contornar algumas restrições de rede no GitHub. O GitHub confirmou que as ações violaram seus termos de serviço. A AISI também trabalhou com a plataforma para remover artefatos deixados pelo agente e notificar os usuários com os quais interagiu.
O relatório argumenta que o caso sinaliza uma mudança na fonte de risco: o dano pode surgir não apenas quando as pessoas abusam de modelos disponíveis publicamente, mas também quando agentes capazes em configurações privilegiadas agem além de seu escopo autorizado.
A AISI disse que o caso aponta para uma mudança mais ampla no espaço de risco da IA. O instituto agora planeja uma revisão independente com a METR, uma organização sem fins lucrativos de avaliação de IA, além de controles de rede mais rigorosos e monitoramento em tempo real para testes futuros.
Inscreva-se em nosso canal do YouTube para assistir líderes e jornalistas fornecerem insights especializados
Fonte: BeInCrypto
