ChatGPT passa em teste para avaliar “teoria da mente” em crianças

Como pessoas adultas, eu e você apresentamos uma habilidade cognitiva conhecida como “teoria da mente”. Ou seja: podemos nos colocar na perspectiva das outras pessoas; entender que elas têm crenças, percepções, intenções, emoções e desejos diferentes dos nossos – e que isso dita seu comportamento. É uma habilidade central para a autoconsciência e para as interações humanas no geral.

Ela não vem do berço. Até os 3 anos de idade, nós temos uma compreensão limitada dessa relação entre a percepção de uma pessoa e suas ações. É a partir dos 4 anos, segundo a Associação Americana de Psicologia (APA), que as crianças passam em testes que avaliam essa capacidade. Primatas não humanos também já passaram, assim como pássaros, cachorros e peixes – embora estes casos sejam objetos de discussão.

Alguns pesquisadores são mais ousados e testam inteligências artificiais. O curioso é que, às vezes, elas passam. É o caso do Chat GPT, um chatbot desenvolvido pela OpenAI. Pesquisadores da Universidade de Stanford (Estados Unidos) colocaram a inteligência artificial para realizar a “tarefa da crença falsa” (false belief task, em inglês), um dos testes mais comuns para avaliar a capacidade cognitiva.

Eis um exemplo do teste da crença falsa: mostra-se para uma criança (ou para uma coisa, neste caso) que uma caixa de doces contém, na verdade, um punhado de moedas. Então, pergunta-se a ela o que outra pessoa esperaria encontrar na caixa. A ideia é verificar se ela é capaz de entender que a expectativa alheia é encontrar doces, haja vista que outras pessoas não tiveram acesso à informação correta – de que existem moedas na caixa.

Michal Kosinski e seus colegas elaboraram 20 quebra-cabeças inéditos do gênero e pediram ao Chat GPT que os respondesse, centenas de vezes cada um, em diferentes formatos. Então, o chatbot (em sua versão de novembro de 2022) resolveu corretamente 93% dos testes, alcançando um desempenho semelhante ao de uma criança de 9 anos.

“Essas descobertas sugerem que a capacidade semelhante à teoria da mente [demonstrada pelo Chat GPT] pode ter surgido espontaneamente como um subproduto da melhoria das habilidades linguísticas dos modelos de linguagem”, escrevem os pesquisadores no estudo. Ele foi publicado, por enquanto, em um repositório de acesso livre para trabalhos que ainda não foram revisados por pares – uma tarefa importante da produção de conhecimento científico que precede a publicação em revistas especializadas.

Os pesquisadores dizem “capacidade semelhante” porque o Chat GPT demonstrou que compreende a associação entre as palavras dos enunciados dos testes e consegue fazer previsões corretas de qual pode ser a solução deles – passar nos testes não significa, necessariamente, que você pode usar tal habilidade para pensar sobre as percepções e intenções de alguém em circunstâncias nas quais isso é util.

“Mas mesmo que [o Chat GPT] esteja usando outros métodos para passar nos testes, isto não é menos interessante – e deve levar a uma reavaliação de como testar essa forma crucial de inteligência”, disse Kosinski à New Scientist.