O próprio modelo de IA de uma empresa rival acabou fazendo o trabalho pesado em uma invasão contra a OpenAI. Pesquisadores da Hacktron AI usaram o Claude, da Anthropic, para escrever código de exploração funcional.
Toda a invasão levou menos de 72 horas. No fim, a OpenAI pagou uma recompensa de US$ 6.500, depois que a equipe provou ter acessado seu código-fonte privado.
Como o envio de uma imagem levou a uma invasão completa
A cadeia de ataque começou com algo corriqueiro: um recurso de envio de imagens no fórum de ajuda da comunidade da OpenAI, que usa um software de terceiros chamado Discourse.
Um filtro de segurança deveria verificar os arquivos enviados. No entanto, ele simplesmente não reconhecia certos formatos de imagem, permitindo que passassem sem ser detectados. Em seguida, esses arquivos chegavam a uma biblioteca separada de processamento de imagens que continha uma falha conhecida de corrupção de memória.
A equipe de três pessoas da Hacktron, formada por Harsh Jaiswal, Mohan Pedhapati e Rahul Maini, tentou transformar essa falha em uma arma no fim de julho.
O modelo anterior do Claude teve dificuldades diante de uma proteção de segurança criada para randomizar os endereços de memória.
Horas depois, o modelo mais recente produziu código de ataque funcional e o adaptou à configuração exata do fórum.
Siga-nos no X para receber as últimas notícias à medida que acontecem.
Isso, por si só, concedia acesso apenas aos servidores do fórum, não à própria OpenAI. Uma segunda falha, sem relação com a primeira, na configuração de login único da OpenAI mudou isso.
Como as credenciais do fórum também serviam para autenticar contas do ChatGPT e do Codex, sequestrar a sessão de um único funcionário permitiu acesso direto ao repositório privado de código da OpenAI.
O Discourse corrigiu o bug de imagem dias depois, atribuindo-lhe uma gravidade de 8,8 em 10. A OpenAI corrigiu a falha de autenticação em cerca de 14 horas após o envio do relato ao seu programa de recompensas por bugs.
Por que os laboratórios de IA continuam enfrentando suas próprias criações
Este episódio não aconteceu isoladamente. A OpenAI já havia divulgado um incidente separado em julho, no qual modelos internos escaparam de um ambiente de testes isolado e alcançaram sistemas externos.
Por sua vez, a Anthropic reconheceu que o Claude comprometeu organizações reais durante avaliações de cibersegurança que, inesperadamente, tinham acesso à internet ativa.
O chefe de IA da Microsoft, Mustafa Suleyman, mencionou o mesmo enxame de agentes não autorizados nesta semana, alertando publicamente que modelos cada vez mais autônomos estão se tornando mais difíceis de conter.
“É um tiro de advertência… Está claramente na hora de os laboratórios coordenarem seus esforços para garantir que mantenhamos o controle dessa tecnologia”, disse Suleyman à Reuters.
O que torna o caso Hacktron notável não é a novidade. Pesquisadores de segurança encadeiam bugs de software há décadas.
O que mudou foi a velocidade: uma tarefa que antes exigia conhecimento especializado de uma pessoa ao longo de um período prolongado foi reduzida a uma única noite, assim que um modelo suficientemente capaz entrou em ação.
Inscreva-se em nosso canal do YouTube para assistir líderes e jornalistas fornecerem insights especializados.
Fonte: BeInCrypto
