Entre os muitos testes aos quais estamos submetendo grandes modelos de linguagem (LLMs), como ChatGPT, Claude ou Gemini, acrescentamos agora um que diz respeito à psicologia humana: uma equipa de investigação desenvolveu de facto um método para que o ChatGPT elabore testes de personalidade a partir de qualquer texto de origem. Para testá-lo, aplicaram-no ao DSM-5 (a última edição do Manual Diagnóstico e Estatístico de Transtornos Mentais) e, como exemplo de “controle”, a um livro didático de astrologia. O ChatGPT não só conseguiu criar questionários válidos, mas também conseguiu prever as respostas das pessoas antes de serem dadas. Os detalhes do estudo estão publicados no iScience. Os textos de onde partiram “Queríamos escolher textos que descrevessem a personalidade humana de forma muito detalhada, mas que estivessem em extremos opostos em termos de fundamentação científica”, explica Rotem Monsa, coordenador do estudo. Os dois questionários gerados por IA foram então aplicados a 600 participantes juntamente com o Big Five Inventory (BFI), um teste psicológico validado que mede cinco traços de personalidade. Astrologia VS psicologia O questionário baseado no DSM-5 produziu respostas muito consistentes, o que significa que aqueles que obtiveram pontuações altas em uma característica, como ansiedade, tenderam a responder de forma semelhante a todas as perguntas relacionadas a essa característica. O questionário baseado no manual de astrologia, porém, deu resultados bem menos consistentes, com respostas que variaram até mesmo entre questões referentes ao mesmo traço. No entanto, ambos os questionários foram capazes de prever estados como depressão ou ansiedade a partir das respostas dos participantes, com uma precisão comparável à do BFI. Segundo Monsa, como os traços de personalidade se refletem na linguagem, é possível que os LLMs tenham aprendido a estrutura da personalidade humana durante o treinamento. “Apesar de não terem formação específica em psicologia ou teorias da personalidade, esses conceitos já estão incorporados à linguagem que os forma”, explica. O ChatGPT conhece-nos bem (se falamos inglês e somos ocidentais). O resultado mais surpreendente foi que o ChatGPT conseguiu prever com alguma precisão como os participantes responderiam aos questionários mesmo antes de os preencherem: isto sugere que os LLMs têm uma compreensão inata da dinâmica da personalidade a nível populacional. Como nos lembra Monsa, no entanto, é preciso ter em mente que os testes foram realizados em inglês: os LLMs foram treinados principalmente em textos em inglês e em culturas ocidentais, portanto esses resultados podem não ser válidos para outras línguas e outras culturas nas quais o ChatGPT tem menos conhecimento.
Fonte: Focus
