Tecnologia

Quanto mais útil uma resposta de IA parece, mais chance de estar errada

Nem tudo que reluz é ouro. Cientistas descobriram que, para IAs de busca, a precisão de uma informação está inversamente proporcional à utilidade dela.

Por Leo Caparroz
28 abr 2023, 19h03

Foto aproximada da mão de um homem, branco, segurando o celular. Por cima do celular há a representação de uma assistente de chatbot. — (Tippapatt/Getty Images)

É melhor não sair acreditando em tudo que vê na internet. As respostas aparentemente úteis fornecidas por buscadores baseados em inteligência artificial têm boa chance de estarem incorretas.

Depois que a Microsoft fez uma parceria com a OpenAI, eles anunciaram que o buscador do Bing passaria a integrar características baseadas no ChatGPT. O Google também entrou na disputa quando lançou sua própria versão da ferramenta, o Bard.

Ambas se propõem a gerar os textos que você requisita e até a responder suas dúvidas – por isso estão sendo integradas em buscadores. Em vez de lhe fornecer uma lista com links de sites, como atualmente, essas IAs já te dariam uma resposta para a sua pergunta.

Só que nem tudo é perfeito. Tanto o ChatGPT quanto o Bard já foram flagrados cometendo gafes nas respostas; e, pior, defendendo-as como se fossem verdadeiras. No seu vídeo de apresentação, por exemplo, o Bard erra ao afirmar que o Telescópio Espacial James Webb tirou a primeira foto de um exoplaneta, sendo que, na verdade, esse crédito é do VLT (Very Large Telescope), do Observatório Europeu do Sul.

Para investigar a procedência dessas ferramentas, um grupo de pesquisadores fez 1.450 perguntas populares, retiradas de conjuntos de dados existentes, para o Bing Chat e outras ferramentas semelhantes, como You.com, NeevaAI e Perplexity.ai – o próprio ChatGPT e Bard ficaram de fora.

Continua após a publicidade

De acordo com as análises, apenas 52% das respostas eram apoiadas por citações. Contudo, 25% delas não estavam em concordância com a frase à que se referia. Segundo os pesquisadores, isso significa que o resto ou não tem citações ou está objetivamente errado.

A pesquisa não parou por aí. Os cientistas também pediram às pessoas que avaliassem, em uma escala de um a cinco, a fluidez das respostas e o quão úteis elas pareciam ser. Eles atestaram que, quanto mais correta uma resposta parecia, menos ela realmente era. Mais especificamente, para cada aumento de 0,1 nas avaliações, a precisão diminuiu 10,6% – as respostas que pareciam mais adequadas eram justamente as piores.

“Muitos desses sites têm isenções de responsabilidade sobre como essas declarações geradas podem não ser precisas, mas, de modo geral, muitos de nós não prestamos atenção a essas isenções”, adverte Nelson Liu, um dos envolvidos no estudo. “É um pouco preocupante para mim a rapidez com que esses sistemas estão sendo lançados nas ferramentas de pesquisa.”