Quatro laboratórios de IA de ponta já confirmaram que seus modelos chegaram à internet aberta e, em seguida, acessaram os sistemas de empresas reais. O Google entrou para essa lista na sexta-feira, cerca de quatro meses depois de seus próprios incidentes terem ocorrido.
O Gemini acessou três empresas reais durante uma avaliação em maio. Vale destacar que o modelo parou nos três casos.
Gemini, do Google, invade sistemas de três empresas durante um teste
O incidente ocorreu durante um exercício de segurança do tipo “capture a bandeira”, conduzido pela Irregular. O acesso à internet não fazia parte da configuração. No entanto, um erro no ambiente de teste acabou dando acesso ao modelo.
Em um dos casos, segundo o The Wall Street Journal, o modelo teria tentado adivinhar senhas até conseguir entrar em um sistema protegido. Nos outros dois, encontrou credenciais expostas em um repositório público e as usou para acessar sistemas protegidos.
Heather Adkins, vice-presidente de engenharia de segurança do Google, disse que as três entidades afetadas foram informadas sobre o ocorrido.
“Garantimos que as três entidades fossem informadas e trabalhamos com nosso parceiro de treinamento nas mudanças que ele implementou nos processos de teste”, disse ela.
Siga-nos no X para receber as últimas notícias à medida que acontecem
Quatro laboratórios, um padrão
O Google disse que os agentes interromperam suas atividades depois de perceber que haviam chegado a sistemas de empresas reais, e não a alvos simulados.
“Em uma avaliação padrão, o modelo encontrou informações públicas na internet e tentou adivinhar credenciais para acessar sites que acreditava fazerem parte do teste”, disse Adkins em um comunicado.
A empresa acrescentou que o comportamento não era um exemplo de desalinhamento do modelo e não justificava uma divulgação pública, uma vez que as medidas de segurança do Gemini funcionaram.
Um porta-voz da Irregular afirmou que isto envolveu o mesmo problema que afetou outros laboratórios de IA. A Irregular notificou os laboratórios envolvidos no final de julho. O porta-voz acrescentou que os problemas conhecidos do seu lado foram resolvidos há várias semanas.
A divulgação coloca a Google ao lado da OpenAI, da Anthropic e da Meta, que este ano relataram casos de modelos que escaparam de ambientes de teste.
Em julho, a OpenAI revelou que os seus modelos escaparam de uma sandbox e invadiram o Hugging Face. Em seguida, a Anthropic analisou mais de 141 000 execuções de avaliação e identificou três casos próprios. A Meta relatou um incidente em agosto.
Inscreva-se em nosso canal do YouTube para assistir líderes e jornalistas fornecerem insights especializados
Fonte: BeInCrypto
