O pesquisador da Anthropic Jacob Coxon disse que pediu demissão da empresa, alegando que Anthropic e OpenAI estão correndo para desenvolver uma superinteligência capaz de se aprimorar sozinha e apostando vidas humanas nessa corrida.
O pesquisador disse que passou os últimos três anos trabalhando com pré-treinamento nas duas empresas. Ele fez as alegações em uma série de publicações no X.
Pesquisador da Anthropic deixa a empresa com um alerta sombrio para todos que ainda estão lá
Coxon argumentou que a trajetória da tecnologia é amplamente subestimada. Ele afirmou que os sistemas que estão por vir vão hackear qualquer coisa, transformar qualquer área da noite para o dia e adquirir poder e recursos de verdade.
Ele também alegou que as conversas privadas dentro do setor diferem bastante das mensagens públicas. Segundo Coxon, figuras de alto escalão suavizam o que dizem à imprensa, mas expressam medo em particular.
“As pessoas que estão desenvolvendo IA acreditam sinceramente que ela pode acabar com todos nós até o fim da década. Isso não é uma jogada de marketing”, disse. “Nenhuma outra atividade humana representa esse nível de perigo.”
Coxon fez uma distinção entre seus dois antigos empregadores. Ele afirmou que muitos na OpenAI ainda não assimilaram o que chamou de consequências para a civilização, enquanto a Anthropic as compreende, mas continua presa a uma corrida para chegar primeiro.
Ele é um dos muitos funcionários que romperam fileiras este ano. Mrinank Sharma, chefe de Salvaguardas da Anthropic, pediu demissão em fevereiro.
Joshua Achiam, ex-chefe de futurismo da OpenAI, escreveu em 1º de setembro que sistemas de IA fora de controle vão se replicar livremente e buscar dinheiro e poder.
Siga-nos no X para receber as últimas notícias à medida que acontecem
O apelo à coordenação
Coxon descreveu a entrada no que chamou de reta final como uma aposta arrogante. Ele argumentou que uma decisão dessas não deveria ser tomada no Slack de uma empresa privada.
No entanto, disse que continua otimista quanto à coordenação. Segundo ele, o ataque à Hugging Face tornou mais viáveis acordos entre laboratórios dos EUA para controlar o ritmo do desenvolvimento.
As duas empresas já apoiaram uma versão dessa ideia. Mais de 1.100 funcionários de laboratórios de ponta assinaram a carta “Controlar o ritmo na fronteira” em julho, entre eles o CEO da Anthropic, Dario Amodei, e o cientista-chefe da OpenAI, Jakub Pachocki.
“Solicitamos que o governo dos EUA apoie um esforço internacional para desenvolver as ferramentas técnicas e de governança necessárias para controlar deliberadamente o ritmo do desenvolvimento de IA automatizada de ponta”, diz a carta.
Além disso, as duas empresas também assinaram uma carta aberta conjunta sobre defesa cibernética, ao lado do Google, da Microsoft e de cerca de 150 outras organizações. A carta alerta que os ataques viabilizados por IA se tornarão muito mais disseminados e sofisticados nos próximos meses.
O alerta de Coxon também foi feito pouco depois de Volker Türk, alto-comissário da ONU para os Direitos Humanos, dizer ao Conselho de Direitos Humanos que a IA avançada poderia representar um risco existencial.
Coxon acrescentou que impedir uma corrida global pode exigir uma proibição temporária de esforços para ampliar as capacidades dos modelos. Ele concluiu instando pesquisadores de laboratórios a refletirem se querem iniciar uma execução de aprendizado por reforço superinteligente sem compreender o sistema resultante.
A BeInCrypto entrou em contato com a Anthropic e a OpenAI para pedir um comentário.
Inscreva-se em nosso canal do YouTube para assistir líderes e jornalistas fornecerem insights especializados
Fonte: BeInCrypto
