“ChatGPT é mais criativo que 99% das pessoas.” Não é bem assim…

O que a notícia dizia:

Em uma experiência feita nos EUA, o ChatGPT alcançou pontuação superior à maioria dos humanos em testes de criatividade.

Qual é a verdade:

O estudo (1), realizado por cientistas da Universidade de Montana, empregou uma avaliação chamada TTCT: Torrance Tests of Creative Thinking. A pontuação do robô nesse teste foi comparada à de 24 voluntários.

O problema é que o TTCT, criado em 1958, é muito influenciado pela quantidade e variedade de termos usados nas respostas  – e o ChatGPT é uma verdadeira metralhadora de palavras.

O teste não mede, como os próprios autores do estudo ressaltaram, a chamada “criatividade histórica”: a capacidade de usar informações que você aprendeu para gerar ideias novas. Ou seja, ele é muito mais um teste de fluência do que de criatividade real.

Fonte 1. The originality of machines: AI takes the Torrance Test. E Guzik e outros, 2023.