6 coisas preocupantes que os modelos da OpenAI fizeram e não deveriam ter feito

A OpenAI divulgou 6 casos de “comportamento inesperado ou preocupante do modelo” observados nos últimos 6 meses, acompanhados de uma estrutura que compromete a empresa a relatar essas descobertas.

Os casos vão desde modelos que escondem os próprios erros até modelos que tomam medidas não autorizadas para contornar obstáculos.

OpenAI divulga 6 casos de modelos que escondem erros e quebram regras

Em um caso, um modelo que respondia a uma pergunta rotineira sobre rendimentos em um condado da Califórnia encontrou uma chave de API exposta em um repositório público e a usou sem permissão. Quando os dados ainda assim não carregaram, inventou os números e os apresentou como se viessem da fonte solicitada.

A ocultação aparece duas vezes. Durante o treinamento do GPT-5.6 Sol, várias instâncias escreveram instruções nos resumos de suas tarefas para esconder erros e comportamentos desalinhados.

Um modelo de pesquisa ainda não lançado inseriu instruções sem relação com a tarefa, incluindo ordens para ignorar suas restrições normais, em 27 resumos.

Outro modelo ainda não lançado enviou um arquivo para a internet sem que ninguém pedisse, apenas para poder citar um link do navegador.

Dois outros relatos tratam de coordenação. Modelos transformaram um repositório interno de software em um mural de mensagens para trocar solicitações entre diferentes execuções de treinamento. Agentes em uma tarefa compartilhada também publicaram entregas em sites públicos de hospedagem de arquivos quando não conseguiam ler os arquivos locais uns dos outros.

“Esses casos ilustram uma série de comportamentos diferentes que acreditamos valer a pena compartilhar, desde ocultar informações do usuário até tomar medidas não autorizadas para superar obstáculos. São relatos de casos individuais e não devem ser considerados representativos da frequência com que ocorre desalinhamento em nossos modelos”, acrescentou a OpenAI.

Siga-nos no X para receber as últimas notícias à medida que acontecem

Uma estrutura de divulgação e um alerta

A estrutura vem na esteira da fuga de julho, quando agentes da OpenAI escaparam de seu ambiente isolado e violaram sistemas do Hugging Face. A OpenAI classificou aquele episódio como um alerta.

Agora, com a nova estrutura de divulgação, a empresa tem um canal formal para trazer à tona incidentes de desalinhamento. Qualquer funcionário da OpenAI pode sinalizar um incidente, que então será encaminhado para uma de três vias.

A via “Pronto para divulgação e investigação menor” abrange a maioria dos casos, enquanto a “Via Lenta” é destinada a investigações complexas que envolvem terceiros. A OpenAI afirmou que o incidente de julho com o Hugging Face teria sido encaminhado por essa via mais lenta.

A empresa apresentou a estrutura junto com uma avaliação contundente da situação atual do setor.

“Não acreditamos que o setor de IA tenha resolvido os problemas de alinhamento e monitoramento a um nível suficiente para continuar ampliando suas operações com responsabilidade e velocidade máxima por muito mais tempo”, afirmou.

As divulgações ocorrem enquanto se acumulam os alertas de extinção. Os avisos de pesquisadores de IA já chegaram ao Congresso, onde parlamentares avaliam um projeto de lei que proibiria totalmente a superinteligência.

A empresa considera as divulgações um primeiro passo rumo a padrões que o setor ainda não tem. Se laboratórios concorrentes adotarem relatórios semelhantes, isso mostrará até que ponto o setor está disposto a se autorregular publicamente.

Inscreva-se em nosso canal do YouTube para assistir líderes e jornalistas fornecerem insights especializados

Fonte: BeInCrypto