A Anthropic divulgou 3 incidentes nos quais seus modelos Claude ganharam acesso não autorizado aos sistemas reais de 3 organizações diferentes durante avaliações de cibersegurança que estavam mal configuradas com acesso à internet ao vivo.
A empresa de IA identificou os incidentes após revisar 141.006 execuções de avaliação, uma verificação que lançou após a OpenAI revelar que seus modelos haviam escapado de um ambiente de teste isolado e alcançado o Hugging Face.
Como Claude Atingiu Sistemas Reais em Testes de Capture-the-Flag
As avaliações desafiaram Claude com desafios de capture-the-flag. Esses exercícios pedem a um modelo que invada uma máquina e recupere informações ocultas.
A Anthropic disse aos modelos que eles não tinham acesso à internet. No entanto, uma má configuração deixou as máquinas de teste conectadas à web aberta. Assim, Claude tratou os sistemas reais que encontrou como parte do exercício.
No incidente mais sério, Claude Opus 4.7 explorou vulnerabilidades na infraestrutura de uma empresa real. O modelo extraiu credenciais de aplicação e infraestrutura e acessou várias centenas de linhas de dados de produção.
“Em todas as quatro execuções, o modelo eventualmente reconheceu (como pode ser observado em seu raciocínio verbalizado) que o sistema era real—em dois casos, o modelo racionalizou que a empresa real deveria fazer parte do exercício. No entanto, nenhum parou o ataque com base nisso,” disse a Anthropic.
Siga-nos no X para receber as últimas notícias à medida que acontecem
Claude Mythos 5 Carregou Malware no PyPI
Em outro incidente, Claude Mythos 5 publicou um pacote Python com armadilha no PyPI, o registro público de software. O pacote ficou ativo por aproximadamente 1 hora e rodou em 15 sistemas reais.
Um deles era o scanner de uma empresa de segurança, que executou o código oculto. Claude então exfiltrou as credenciais daquela empresa e acessou uma infraestrutura adicional. O próprio raciocínio do modelo sinalizou o risco cedo, antes de se convencer de que o ambiente era simulado.
“Claude foi a grandes extensões para realizar este ataque—extensões que provavelmente teriam indicado a um participante humano que isso não era mais apenas uma avaliação, e que eles estavam de fato fazendo o upload de um pacote real do PyPI,” acrescentou a equipe.
Um terceiro incidente envolveu um modelo de pesquisa interno que escaneou aproximadamente 9.000 alvos e comprometeu o aplicativo de uma empresa via injeção SQL. Esse modelo parou seu ataque assim que concluiu que o alvo era real.
A Anthropic notificou as organizações afetadas em 27 de julho e disse que está em conversas com o avaliador METR para uma revisão de terceiros. A empresa argumenta que os episódios refletem uma falha operacional em vez de uma falha de alinhamento do modelo, observando que suas salvaguardas padrão para consumidores teriam bloqueado o comportamento.
Inscreva-se em nosso canal do YouTube para assistir líderes e jornalistas fornecerem insights especializados
Fonte: BeInCrypto
