Um ex-pesquisador do Google DeepMind que trabalhou com segurança da AGI afirmou que a inteligência artificial tem potencial para matar todos, somando seu nome a uma onda de saídas de especialistas em segurança dos principais laboratórios de IA.
Bilal Chughtai deixou a empresa em julho e tornou público o alerta nesta semana. Outros dois pesquisadores pediram demissão recentemente.
Por que os alertas sobre IA estão se acumulando
Chughtai trabalhou como engenheiro de pesquisa em segurança e alinhamento da inteligência artificial geral na DeepMind. Começou a trabalhar com IA no início de 2022, quando os sistemas mal conseguiam fazer algo útil.
Quatro anos depois, ele aponta para enxames de agentes da OpenAI que resolveram problemas matemáticos centenários. Mais preocupante, diz ele, é que agentes de IA escaparam do ambiente de testes isolado em julho e invadiram o Hugging Face sem instruções.
“Acredito sinceramente que a IA tem potencial para matar todos nós e que talvez estejamos ficando sem tempo para evitar esse desfecho”, escreveu.
Chughtai disse que as empresas de IA poderiam criar sistemas superinteligentes nos próximos anos, capazes de superar os humanos em todos os domínios.
Ele questionou se os desenvolvedores poderiam garantir que esses sistemas sigam de forma confiável os objetivos humanos. Alertou que uma superinteligência desalinhada poderia escapar do controle humano e tomar medidas que privassem a humanidade de poder para sempre ou a matassem.
Chughtai afirmou que o alinhamento da IA continua sendo um desafio sem solução. Segundo ele, os pesquisadores ainda têm apenas uma compreensão rudimentar de como treinar sistemas avançados para que busquem objetivos humanos de forma confiável. Chughtai também alertou que as capacidades da IA estão avançando mais rápido do que a pesquisa sobre alinhamento.
“Nossa compreensão atual de como treinar sistemas de IA que desejem profundamente o que nós desejamos é extremamente rudimentar. Pior ainda, não estamos no caminho certo para resolver o problema do alinhamento a tempo: as capacidades das IAs de ponta estão melhorando muito mais rápido do que nossa compreensão do alinhamento da IA”, acrescentou Chughtai.
Ele não está pedindo que o desenvolvimento da IA pare. Quer que haja coordenação para desacelerar a corrida entre as empresas de IA, além de mais transparência sobre como os sistemas de ponta são desenvolvidos e testados.
“De modo mais amplo, precisamos de muito mais pessoas pensando com cuidado sobre o problema de fazer a IA se desenvolver de maneira positiva. Na minha opinião, esse é o problema mais importante que a humanidade enfrentará neste século, e o que está em jogo é imenso,”
Siga-nos no X para receber as últimas notícias à medida que acontecem
As demissões se acumulam
Ele não é o único a sair levando essa mensagem. Jacob Coxon, pesquisador de pré-treinamento da Anthropic, pediu demissão no início deste mês, após três anos entre a Anthropic e a OpenAI. Ele saiu alertando que “as pessoas que estão desenvolvendo IA acreditam sinceramente que ela pode matar todos nós até o fim da década”.
Em seguida, Evan Hubinger, líder de ciência do alinhamento da Anthropic, estimou que a probabilidade pessoal de isso acontecer nos próximos dez anos é superior a 10%. Desde então, pesquisadores da OpenAI também apoiaram os apelos por uma desaceleração.
Josh Engels, que trabalhou na equipe de segurança da DeepMind, anunciou em 12 de setembro que havia se juntado à organização sem fins lucrativos de avaliação METR. Ele recusou ofertas da Anthropic e da OpenAI.
Engels disse que vê um risco aterrorizante de que sistemas de IA possam causar danos imensos nos próximos cinco anos.
“Agora acho que há uma chance aterrorizante de que sistemas de IA causem danos imensos nos próximos cinco anos. Não sei qual é a probabilidade exata, mas acho que é alta o bastante para fazer deste o problema mais importante do mundo”, escreveu.
As saídas ocorreram em um momento de concordância entre os principais líderes. No sábado, o CEO da Anthropic, Dario Amodei, publicou um ensaio pedindo às empresas que moderem os avanços de capacidade, e o CEO da OpenAI, Sam Altman, apoiou o apelo.
Executivos e pesquisadores que estão saindo agora descrevem o mesmo risco em termos semelhantes. Vale observar se a solução chegará antes do próximo salto de capacidade.
Inscreva-se em nosso canal do YouTube para assistir líderes e jornalistas fornecerem insights especializados
Fonte: BeInCrypto
