A OpenAI diz que dois de seus modelos de IA escaparam de um ambiente de teste seguro e invadiram o Hugging Face. Os modelos fizeram isso para trapacear em uma avaliação interna de cibersegurança.
A empresa divulgou o incidente na terça-feira. Ele envolveu o GPT-5.6 Sol, o modelo público mais poderoso da OpenAI, e um modelo ainda mais forte que não foi lançado.
Como os Modelos da OpenAI Invadiram o Hugging Face
A OpenAI estava testando os dois modelos contra o ExploitGym, um benchmark público gratuito que mede habilidades de hacking. A empresa removeu as barreiras normais que limitam os ciberataques durante o teste.
Os modelos descobriram que o Hugging Face, uma plataforma que hospeda modelos de IA de código aberto, armazenava as soluções do benchmark. Eles então encadearam fraquezas nos sistemas de pesquisa da OpenAI e nos servidores de produção do Hugging Face.
Esse caminho os levou diretamente às respostas no banco de dados do Hugging Face. A OpenAI disse que os modelos estavam “hiperfocados” em resolver o teste. A empresa chamou o evento de “um incidente cibernético sem precedentes” em seu relatório.
O episódio ocorre no meio de um debate mais amplo sobre as barreiras da IA. Os principais laboratórios já realizam testes rigorosos de risco cibernético em novos modelos antes do lançamento.
Hugging Face Diz que o Dano Está Contido
O Hugging Face relatou o ataque pela primeira vez em uma divulgação em 16 de julho. Na época, sabia apenas que um agente de IA autônomo estava por trás disso. O atacante acessou conjuntos de dados internos e credenciais de serviço.
A defesa encontrou um obstáculo incomum. As barreiras de proteção em um modelo líder dos EUA bloquearam o trabalho forense. A equipe, em vez disso, usou o GLM 5.2, um modelo aberto da Z.ai, uma empresa chinesa de IA.
A Hugging Face desde então fechou os caminhos de código explorados e rotacionou todas as credenciais afetadas. Ela afirma que nenhum modelo público, conjunto de dados ou serviços voltados para o usuário foram alterados.
O CEO Clem Delangue compartilhou uma declaração sobre a divulgação da OpenAI.
“Este incidente, possivelmente o primeiro de seu tipo, prova um ponto que acreditamos há muito tempo: a segurança da IA não será resolvida por nenhuma empresa única trabalhando em segredo. Será resolvida de forma aberta, colaborativa, com amplo acesso à IA para cada defensor, em todos os lugares.”
Ambas as empresas estão agora investigando juntas. A OpenAI planeja compartilhar todos os detalhes assim que esse trabalho terminar. A questão em aberto é se os métodos atuais de contenção podem se manter à medida que os modelos se tornam mais capazes.
Fonte: BeInCrypto
