Assine SUPER por R$2,00/semana
Continua após publicidade

Quanto mais útil uma resposta de IA parece, mais chance de estar errada

Nem tudo que reluz é ouro. Cientistas descobriram que, para IAs de busca, a precisão de uma informação está inversamente proporcional à utilidade dela.

Por Leo Caparroz
28 abr 2023, 19h03
  • Seguir materia Seguindo materia
  • É melhor não sair acreditando em tudo que vê na internet. As respostas aparentemente úteis fornecidas por buscadores baseados em inteligência artificial têm boa chance de estarem incorretas.

    Publicidade

    Depois que a Microsoft fez uma parceria com a OpenAI, eles anunciaram que o buscador do Bing passaria a integrar características baseadas no ChatGPT. O Google também entrou na disputa quando lançou sua própria versão da ferramenta, o Bard.

    Publicidade

    Ambas se propõem a gerar os textos que você requisita e até a responder suas dúvidas – por isso estão sendo integradas em buscadores. Em vez de lhe fornecer uma lista com links de sites, como atualmente, essas IAs já te dariam uma resposta para a sua pergunta.

    Só que nem tudo é perfeito. Tanto o ChatGPT quanto o Bard já foram flagrados cometendo gafes nas respostas; e, pior, defendendo-as como se fossem verdadeiras. No seu vídeo de apresentação, por exemplo, o Bard erra ao afirmar que o Telescópio Espacial James Webb tirou a primeira foto de um exoplaneta, sendo que, na verdade, esse crédito é do VLT (Very Large Telescope), do Observatório Europeu do Sul.

    Publicidade

    Para investigar a procedência dessas ferramentas, um grupo de pesquisadores fez 1.450 perguntas populares, retiradas de conjuntos de dados existentes, para o Bing Chat e outras ferramentas semelhantes, como You.com, NeevaAI e Perplexity.ai – o próprio ChatGPT e Bard ficaram de fora.

    De acordo com as análises, apenas 52% das respostas eram apoiadas por citações. Contudo, 25% delas não estavam em concordância com a frase à que se referia. Segundo os pesquisadores, isso significa que o resto ou não tem citações ou está objetivamente errado.

    Publicidade
    Continua após a publicidade

    A pesquisa não parou por aí. Os cientistas também pediram às pessoas que avaliassem, em uma escala de um a cinco, a fluidez das respostas e o quão úteis elas pareciam ser. Eles atestaram que, quanto mais correta uma resposta parecia, menos ela realmente era. Mais especificamente, para cada aumento de 0,1 nas avaliações, a precisão diminuiu 10,6% – as respostas que pareciam mais adequadas eram justamente as piores.

    “Muitos desses sites têm isenções de responsabilidade sobre como essas declarações geradas podem não ser precisas, mas, de modo geral, muitos de nós não prestamos atenção a essas isenções”, adverte Nelson Liu, um dos envolvidos no estudo. “É um pouco preocupante para mim a rapidez com que esses sistemas estão sendo lançados nas ferramentas de pesquisa.”

    Publicidade
    Compartilhe essa matéria via:
    Publicidade
    Publicidade

    Matéria exclusiva para assinantes. Faça seu login

    Este usuário não possui direito de acesso neste conteúdo. Para mudar de conta, faça seu login

    Domine o fato. Confie na fonte.

    10 grandes marcas em uma única assinatura digital

    MELHOR
    OFERTA

    Digital Completo
    Digital Completo

    Acesso ilimitado ao site, edições digitais e acervo de todos os títulos Abril nos apps*

    a partir de R$ 2,00/semana*

    ou
    Impressa + Digital
    Impressa + Digital

    Receba Super impressa e tenha acesso ilimitado ao site, edições digitais e acervo de todos os títulos Abril nos apps*

    a partir de R$ 12,90/mês

    *Acesso ilimitado ao site e edições digitais de todos os títulos Abril, ao acervo completo de Veja e Quatro Rodas e todas as edições dos últimos 7 anos de Claudia, Superinteressante, VC S/A, Você RH e Veja Saúde, incluindo edições especiais e históricas no app.
    *Pagamento único anual de R$96, equivalente a R$2 por semana.

    PARABÉNS! Você já pode ler essa matéria grátis.
    Fechar

    Não vá embora sem ler essa matéria!
    Assista um anúncio e leia grátis
    CLIQUE AQUI.