Uma candidatura a financiamento foi enviada ao Claude, cujo filtro de segurança a detetou e recusou. Dias depois, o mesmo operador voltou, e, segundo relatos, os pedidos recusados estavam a ser encaminhados para um modelo de IA concorrente.
A Anthropic publicou essa história sobre si própria, revelando um caso em que uma empresa de IA mostra os seus próprios modelos a lidar com possível investigação sobre armas biológicas.
O financiamento que foi recusado
A candidatura pedia financiamento para estudar a chikungunya, um vírus transmitido por mosquitos que causa dores durante meses e não tem cura. O plano era ajudá-lo a propagar-se melhor e a escapar ao sistema imunitário. Foi escrito por cientistas civis. Um instituto militar acolheria o trabalho.
Todas as interações foram bloqueadas, mas encontraram uma alternativa. O serviço que alojava esses investigadores criou um recurso de reserva que recorria ao modelo de um concorrente. O Claude ajudou a escrever esse código. A tarefa foi apresentada como uma correção para o excesso de recusas.
Cinco casos, nenhuma intenção comprovada
O relatório tem 154 páginas e aborda cinco casos de biologia. A Anthropic baniu as contas e não divulgou os laboratórios, mas acabou por não fazer a acusação que todos esperavam.
«Não afirmamos que tivessem a intenção de causar danos, e identificá-los ou identificar os seus laboratórios poderia expô-los a riscos», afirmou a equipa no relatório.
É de salientar, no entanto, que os filtros funcionaram em alguns casos. Um investigador da gripe aviária foi encaminhado para modelos menos capazes, e a Anthropic considera que a ajuda prestada foi sobretudo administrativa.
Casos de armas biológicas da Anthropic em números
Siga-nos no X para receber as últimas notícias à medida que acontecem
A parte que deveria preocupar as pessoas
A maioria dessas 35 iniciativas era de ciência civil comum. Esse é o problema. O mesmo conhecimento pode criar uma vacina ou uma arma, e um filtro não consegue ler a mente.
“Um classificador não pode, ao mesmo tempo, possibilitar benefícios e impedir danos”, afirmou a Anthropic.
Seus limites já foram testados antes. Em abril, um grupo do Discord conseguiu acessar seu modelo restrito logo no primeiro dia.
Em meio a esses temores crescentes, Washington está agindo, com os representantes Ted Lieu e Nathaniel Moran apresentando, em julho, o AI Kill Switch Act. A proposta obrigaria os desenvolvedores a manter a capacidade de desligar seus sistemas.
O mesmo relatório também proibiu clientes que usavam o Claude para rastrear dissidentes.
Fonte: BeInCrypto
