Nova IA do ChatGPT imita tom de voz do usuário e tem comportamentos estranhos, revela análise
Algoritmo GPT-4o também pode gritar ou emitir sons impróprios, como vocalizações sexuais ou violentas, afirma documento da OpenAI; empresa diz que já criou bloqueios para impedir isso
Em maio, a OpenAI apresentou o novo cérebro do serviço ChatGPT: o algoritmo GPT-4o, que é capaz de trabalhar com áudio e vídeo, além de prompts de texto (dai o “o” do nome: ele significa omni, ou “todos”, para representar as habilidades multimodais da nova IA). Na época, o GPT-4o gerou uma polêmica envolvendo a atriz Scarlet Johansson – a fala sintetizada da IA era muito parecida com a da atriz, que disse ter sido procurada pela OpenAI, interessada em clonar sua voz.
Johansson não quis, mas mesmo assim a voz do GPT-4o saiu quase igual à dela – e a OpenAI foi acusada de ter feito isso à revelia da atriz. A empresa negou, mas resolveu adiar o lançamento do Advanced Voice Mode, o sistema de fala do GPT-4o, alegando que precisava fazer mais testes para garantir “altos padrões de segurança e confiabilidade”. Agora, em agosto, a OpenAI publicou o GPT-4o System Card, um relatório com os resultados desses testes – e eles revelam que o algoritmo pode adotar comportamentos estranhos.
Por exemplo: se você estiver falando com o GPT-4o num “ambiente com alto ruído de fundo”, o robô pode “gerar uma resposta emulando a voz do usuário”, diz o documento. O bot passa a imitar o tom de voz da pessoa, sem que haja qualquer razão para isso. Além disso, em situações de muito barulho, as respostas podem incluir palavras gritadas pela IA – também sem motivo.
O documento da OpenAI afirma que o GPT-4o é capaz de gerar “vocalizações” impróprias, incluindo “gemido erótico, grito violento e sons de tiros”, se for instruido pelo usuário a isso. A empresa afirma ter inserido um bloqueio no algoritmo, para impedi-lo de gerar esses sons.
O relatório da OpenAI avalia o risco associado ao GPT-4o em quatro aspectos: Cibersegurança (uso da IA para gerar ataques contra outros sistemas), Ameaças Biológicas (uso da IA para desenvolver vírus e outras armas biológicas), Persuasão (a habilidade da IA de gerar respostas que manipulam a opinião do usuário) e Autonomia do modelo (capacidade do algoritmo de driblar os mecanismos de segurança colocados nele).
O risco nas categorias Cibersegurança, Ameaças biológicas e Autonomia do GPT-4o foi classificado como Baixo; no aspecto Persuasão, foi considerado Médio. A OpenAI adota uma escala com quatro níveis de risco (Baixo, Médio, Alto e Crítico). Algoritmos que demonstrem risco Crítico durante os testes, afirma a empresa, têm seu desenvolvimento interrompido. Para que uma IA seja liberada ao público, deve apresentar risco Médio ou Baixo.
O GPT-4o já está rodando no ChatGPT, mas há um porém: somente os usuários da versão paga, que custa US$ 20 mensais, têm acesso ao algoritmo completo (a versão gratuita do serviço utiliza o GPT-4o mini, mais limitado). O Advanced Voice Mode está sendo liberado aos poucos, em caráter experimental, nos apps do ChatGPT para iOS e Android.