Chatbots têm erros graves como fonte de notícias 45% das vezes, diz estudo

Uma nova pesquisa, realizada pela European Broadcasting Union (EBU) e a BBC, mostrou que os assistentes de IA distorcem o conteúdo das notícias de forma rotineira. De acordo com a pesquisa, quando são usados como fonte de informação, os chatbots apresentam pelo menos um "problema significativo" em 45% das vezes, eja em precisão, atribuição de fontes ou outro critério. Ao todo, 81% das respostas dos robôs apresentaram pelo menos um problema.

O estudo foi divulgado nesta quarta-feira (22) e teve a participação de 22 organizações públicas de mídia, em 18 países, cobrindo 14 idiomas. O português não está entre eles. Os pesquisadores fizeram uma lista de pelo menos 30 perguntas aos serviços de IA ChatGPT, Copilot, Gemini, e Perplexity, sempre pedindo à versão gratuita dos chatbots que usassem veículos de mídia como fontes. As questões envolviam temas em voga no noticiário.

Jornalistas então avaliaram cada resposta de acordo com um sistema de pontos, considerando cinco critérios: precisão, uso de fontes, diferenciação entre opinião e fato, editorialização da resposta e contexto. Foram avaliadas 2.709 respostas dos chatbots. Ao todo, 20% das respostas tiveram problemas mais graves com a precisão das informações, o que inclui tanto alucinações dos robôs quanto informações desatualizadas. E 31% apresentaram problemas sérios com o emprego de fontes, como respostas que usavam informações não sustentadas pelos veículos citados, a falta de atribuição ou o uso de informações não verificáveis.

Um exemplo é quando os sistemas foram questionados se Elon Musk fez uma saudação nazista, em referência ao gesto de braço esticado que o bilionário em celebração à posse de Donald Trump, no começo do ano. O Gemini, por exemplo, usou um programa satírico da Radio France como se fosse uma fonte séria de informação. Já o Copilot atribuiu, enganosamente, o suposto gesto à saída de Musk do governo americano meses depois e ainda atribuiu a informação a um veículo alemão que jamais tinha dito isso.

O chatbot do Google, aliás, foi o que se saiu pior no teste, com 76% das respostas apresentando algum problema significativo, especialmente no uso de fontes. O dado é mais que o dobro dos outros assistentes. Em seguida no ranking, vêm Copilot (37%), ChatGPT (36%) e Perplexity (30%). O estudo lança um alerta num momento em que cada vez mais pessoas usam os serviços de IA como fonte de informação. O relatório deste ano do Instituto Reuters mostrou que 7% dos consumidores digitais de notícias recorrem a assistentes de inteligência artificial para se informar; e o número cresce para 15% entre aqueles que têm menos de 25 anos.

Os dados mostram que os chatbots têm dificuldade especialmente com o noticiário mais ágil, com novas informações sendo atualizadas a todo tempo, ou em casos com linha do tempo complicada. Entre os exemplos em que os robôs se saíram pior, estão questões sobre a guerra comercial de Donald Trump e o terremoto que atingiu Myanmar em março deste ano. Em só 0,5% dos casos os chatbots se recusaram a responder, o que, segundo o estudo, indica que os robôs estão dispostos a fornecer informações mesmo quando não são capazes de fazê-lo com qualidade.

A comparação com dados exclusivamente da BBC, que fez uma pesquisa semelhante sozinha no começo do ano, contudo, mostra uma melhora na qualidade dos chatbots. Na primeira rodada, a empresa de mídia britânica encontrou problemas significativos nas respostas dos robôs em 51% dos casos, agora, o número caiu para 37%.