Os principais modelos de IA falharam em 57% das respostas sobre finanças pessoais, segundo a fintech britânica Saturn. A taxa de falhas subiu para 88% nas perguntas mais difíceis, com várias etapas.
Os resultados surgem numa altura em que os consumidores recorrem cada vez mais a chatbots para esclarecer dúvidas sobre dinheiro.
As perguntas mais difíceis fizeram quase todos os modelos falhar
O estudo submeteu 121 perguntas a 18 modelos gratuitos e pagos de fornecedores como ChatGPT, Gemini, Claude e Copilot. Cada pergunta foi repetida até 5 vezes, produzindo mais de 10 000 respostas.
Uma resposta era considerada uma falha quando continha um erro factual, omitia algo relevante ou não incluía um aviso obrigatório.
Os modelos gratuitos tiveram o pior desempenho, falhando em 63% das respostas, contra 49% nas versões pagas. Nas perguntas mais difíceis, os modelos gratuitos falharam em 93% dos casos.
O Claude Opus 5 em modo de raciocínio liderou o grupo. Ainda assim, falhou em 39% das respostas. Os erros incluíram cálculos incorretos, alterações fiscais ignoradas e regras inexistentes.
Uma resposta sobre impostos relativos a pensões poderia ter exposto um aforrador a uma cobrança de 17 500 £ por parte da autoridade fiscal e aduaneira britânica (HM Revenue and Customs).
«Milhões de pessoas confiam nos modelos de IA para obter aconselhamento financeiro, mas estão a receber respostas erradas que lhes podem fazer perder dinheiro», afirmou Amal Jolly, diretor executivo da Saturn.
Siga-nos no X para receber as últimas notícias à medida que acontecem
A confiança nos chatbots de IA continua a aumentar
Entretanto, a utilização alargou-se a diferentes mercados e faixas etárias. Um inquérito global da EY a 18.000 consumidores concluiu que 49% tinham recorrido à IA para apoiar decisões de poupança e investimento.
Em agosto, o regulador financeiro britânico informou que quatro em cada cinco investidores menos experientes tinham recorrido à IA para obter ajuda com investimentos. Entre os inquiridos, 56% disseram confiar nestas ferramentas, acima da televisão e da rádio, com 47%.
Entretanto, o mesmo estudo concluiu que 44% acreditam erradamente que a informação financeira gerada por IA é regulamentada.
Um inquérito da PensionBee a 1.000 adultos nos EUA concluiu que quase seis em cada dez seguiriam orientações financeiras sem as verificar por conta própria. Quase um em cada quatro afirmou que um chatbot já lhe tinha dado informações erradas sobre as suas finanças.
Jolly afirmou que a consultoria financeira prestada por IA não é regulamentada, deixando os consumidores sem os direitos a indemnização associados a um consultor humano. Apelou à FCA para agir rapidamente.
Inscreva-se em nosso canal do YouTube para assistir líderes e jornalistas fornecerem insights especializados
Fonte: BeInCrypto
