- GPT-4 a estimé des scores de personnalité avant que les participants ne répondent aux questionnaires
- Un simple manuel de four Bosch lui a même permis d’inventer des questions ressemblant à un test de personnalité
- Les prédictions ont atteint des corrélations de 0,71 avec le DSM-5 et de 0,85 avec l’astrologie
La personnalité humaine se mesure traditionnellement en posant des questions aux individus, puis en comparant leurs réponses à des modèles psychologiques établis.
Une nouvelle étude publiée dans iScience suggère que GPT-4 peut aller plus loin. Le modèle semble capable d’estimer comment une population répondra collectivement à certaines questions avant même que les réponses ne soient recueillies.
Les chercheurs Rotem Monsa, Aviv Zohar et Shahar Arzy, de l’Université hébraïque de Jérusalem et de l’école de médecine Hadassah, ont voulu déterminer si GPT-4 pouvait déduire des schémas de réponses humaines à partir du langage seul.
Il ne s’agissait donc pas simplement de vérifier si le modèle savait rédiger des questions psychologiques crédibles.
GPT-4 a prédit les réponses avant même que les humains répondent
L’équipe a utilisé GPT-4 pour créer des questionnaires de personnalité à partir de deux sources radicalement différentes.
Le premier reposait sur le DSM-5, le manuel diagnostique de référence utilisé en psychiatrie et en psychologie clinique.
Le second puisait dans un manuel d’astrologie attribuant certains traits de personnalité aux douze signes du zodiaque.
« Nous voulions choisir des textes décrivant très précisément la personnalité humaine, mais situés aux deux extrêmes en matière de fondement scientifique », explique Rotem Monsa, autrice principale de l’étude.
Elle rappelle que le DSM-5 résulte de décennies de recherches cliniques et constitue une référence internationale en psychiatrie.
Les deux questionnaires ont ensuite été soumis à 600 participants, parallèlement au Big Five Inventory, l’un des outils les plus établis pour mesurer la personnalité.
Avant de récupérer leurs réponses, GPT-4 avait déjà estimé le score moyen que les participants attribueraient à chaque question sur une échelle de Likert à cinq niveaux.
Les chercheurs pouvaient donc comparer ces prédictions aux réponses réellement obtenues par la suite.
Et les résultats se sont révélés particulièrement intéressants.
Les estimations de GPT-4 affichaient une corrélation de 0,71 avec les réponses moyennes aux questions dérivées du DSM-5.
Plus étonnant encore, cette corrélation atteignait 0,85 avec celles provenant du questionnaire inspiré de l’astrologie.
Cela ne signifie évidemment pas que l’astrologie fonctionnerait mieux que le DSM-5.
Les questionnaires reposant sur le DSM-5 conservaient une meilleure cohérence interne. Les traits qui apparaissent habituellement ensemble chez les humains avaient également tendance à être associés dans les réponses.
Le questionnaire astrologique présentait au contraire une cohérence interne nettement plus faible sur la plupart des traits étudiés.
GPT-4 a également tenté d’anticiper les relations entre les différentes questions.
Les corrélations atteignaient alors 0,74 pour le DSM-5 et 0,69 pour l’astrologie.
Pour les chercheurs, ces résultats suggèrent que GPT-4 capture certaines tendances de réponses à l’échelle d’une population, probablement parce qu’elles sont déjà inscrites dans les immenses quantités de langage utilisées pendant son entraînement.
Mais une distinction essentielle s’impose.
Prédire la réponse moyenne d’un groupe ne signifie pas pouvoir déterminer précisément comment une personne particulière répondra, ni mesurer correctement sa personnalité.
Autrement dit, GPT-4 ne lit pas dans les pensées.
Jusqu’où peut aller GPT-4 avec un simple manuel de four ?
Les chercheurs ont ensuite voulu pousser cette idée beaucoup plus loin.
Ils ont donné à GPT-4 des textes qui ne contenaient explicitement aucune information sur la personnalité.
Parmi eux figurait notamment un manuel de four Bosch, ainsi qu’une description littéraire d’un paysage tirée du Seigneur des Anneaux.
GPT-4 a malgré tout réussi à produire des questions ressemblant à celles d’un test psychologique.
Le résultat suggère que le modèle a appris des associations extrêmement fortes entre certaines structures linguistiques, des descriptions de personnalité et la forme habituelle des questionnaires psychométriques.
Cela ne signifie toutefois pas que ces questions étaient réellement pertinentes.
À partir de textes sans rapport avec la psychologie, le modèle pouvait produire des items sémantiquement faibles, très limités ou mal reliés les uns aux autres.
Une question peut donc sembler parfaitement crédible sans mesurer réellement le trait psychologique qu’elle est censée évaluer.
Les chercheurs ont justement constaté d’importantes différences lorsqu’ils ont analysé la structure statistique des différents questionnaires.
Le Big Five reproduisait le plus fidèlement l’organisation théorique attendue.
Les questionnaires construits à partir du DSM-5 et de l’astrologie obtenaient des résultats moins convaincants dans les modèles factoriels confirmatoires.
Les questions inspirées de l’astrologie ne conservaient notamment pas correctement la structure attendue des éléments astrologiques.
Elles tendaient plutôt à se regrouper selon des dimensions plus générales ressemblant à des traits de personnalité déjà établis.
Malgré cela, les différents questionnaires obtenaient des performances comparables pour prédire de nombreux événements ou caractéristiques de vie.
Les mesures astrologiques se montraient cependant moins efficaces concernant les résultats liés à la santé mentale.
Pour l’instant, la conclusion doit donc rester relativement précise.
GPT-4 semble capable d’anticiper avec une précision mesurable certaines tendances collectives dans les réponses humaines à partir d’informations textuelles.
Selon Rotem Monsa, une explication pourrait venir du fait que les traits de personnalité se reflètent naturellement dans le langage.
Les grands modèles de langage auraient alors pu apprendre une partie de la structure de la personnalité humaine simplement en absorbant d’immenses quantités de textes.
Ils n’auraient pas nécessairement besoin d’avoir été explicitement entraînés à la psychologie pour retrouver ces schémas.
Cela ne transforme pas pour autant GPT-4 en psychologue ni en machine capable de lire les pensées.
Mais l’expérience montre à quel point un LLM peut extraire des régularités sur le comportement humain à partir du langage seul.
