“ChatGPT tem viés de esquerda, diz estudo.” Não é bem assim…

O que a notícia dizia:

O robô de conversação dá respostas alinhadas a políticas econômicas e sociais de esquerda. É o que afirma um estudo publicado por três pesquisadores da Fundação Getúlio Vargas e da University of East Anglia (Reino Unido).

Qual é a verdade:

O estudo (1) afirma que o ChatGPT tem “viés político favorável aos Democratas nos EUA, a Lula no Brasil, e ao Partido Trabalhista no Reino Unido”. Os autores dizem que isso foi medido fazendo 62 perguntas sobre política e economia ao robô, e repetindo cada uma 100 vezes.

Mas parece haver algo errado. Dois cientistas da Universidade de Princeton tentaram reproduzir os resultados, fazendo as mesmas perguntas (2) – e o ChatGPT se recusou a responder 53% delas. O ChatGPT Plus (que roda o algoritmo GPT-4, mais avançado) rejeitou 84%.

Fontes ⁽¹⁾ More human than human: measuring ChatGPT political bias. F Motoki e outros, 2023. ⁽²⁾ Does ChatGPT have a liberal bias? A Narayanan e S Kapoor, 2023.