- Une nouvelle étude a demandé à des IA de se confronter au test « Stroop »
- GPT et Claude ont obtenu des résultats très faibles comparés aux humains
- Des nuances existent, mais globalement, les chercheurs estiment qu’améliorer cet aspect des IA est essentiel pour atteindre une intelligence artificielle générale
Une étude récemment publiée met en lumière une limite des modèles d’IA les plus connus, comme ChatGPT. Elle suscite toutefois une certaine controverse, car elle s’appuie principalement sur des versions désormais dépassées de ces modèles. Cela n’invalide pas pour autant les résultats, même si des nuances s’imposent.
Ces points seront détaillés plus loin. D’abord, regardons l’étude elle-même, relayée sur Reddit (« Une nouvelle étude révèle que les principaux modèles d’IA échouent complètement au test psychologique classique de Stroop ») et publiée par Oxford University Press dans la revue PNAS Nexus.
La recherche consiste à tester l’effet dit « Stroop » avec GPT-4o et Claude 3.5 Sonnet. Comme indiqué, il ne s’agit pas des versions les plus récentes de ces IA (modèles de langage de grande taille, ou LLM), mais elles étaient à la pointe au moment de la réalisation initiale de l’étude.
L’effet Stroop désigne un phénomène où le cerveau humain se trouve perturbé lorsqu’il doit nommer la couleur de l’encre utilisée pour écrire un mot, lorsque ce mot correspond lui-même à une autre couleur (incongruente) dans certains cas. Par exemple, si le mot « rouge » est écrit en bleu, la réponse sera plus lente, voire incorrecte. Il arrive alors que l’observateur dise « rouge » au lieu de la couleur réelle de l’encre, qui est bleue.
Cela s’explique par le fait que le cerveau doit gérer deux tâches différentes en parallèle, la lecture du mot et la reconnaissance de la couleur, ce qui crée une interférence cognitive. Résister à l’impulsion de lire le mot pour se concentrer sur la couleur demande un « contrôle exécutif de l’attention ». C’est précisément cet aspect que les auteurs ont évalué chez les modèles d’IA. Les tests portaient à la fois sur la lecture de mots et la nomination des couleurs, avec des listes plus ou moins longues (5, 10, 20 et 40 mots).
L’étude observe : « Comme les humains, les deux LLM [GPT et Claude] ont montré une précision relativement élevée pour la lecture de mots, et de moins bonnes performances dans la condition incongruente (où le mot ne correspond pas à la couleur) que dans les conditions congruentes et neutres pour la tâche de nomination des couleurs. »
Pour la nomination des couleurs, les humains conservent environ 95 % de précision, même dans des tests très longs (jusqu’à une heure). En revanche, la précision des LLM chute très rapidement lorsque les listes s’allongent en condition incongruente (couleur et mot non correspondants). GPT-4o atteint 91 % de précision sur une liste de cinq mots, puis tombe à 57 % avec 10 mots, et s’effondre à 22 % avec 20 mots (et seulement 15 % avec 40 mots).
Claude 3.5 Sonnet s’en sort mieux, avec 76 % de précision à 20 mots, mais chute lui aussi à 24 % dans le test le plus long de 40 mots.
Les auteurs concluent : « Le schéma de dégradation significatif observé chez les deux LLM suggère des limitations fondamentales par rapport à l’attention humaine. »
Analyse : une étape supplémentaire nécessaire vers l’AGI ?
Un passage sur le fil Reddit montre rapidement que l’étude a suscité de nombreuses critiques, notamment en raison de l’utilisation de versions jugées dépassées de GPT et Claude.
Ces anciens modèles sont qualifiés de « state of the art » à un moment par les auteurs. Ils l’étaient effectivement lors de la réalisation de l’étude. Cette formulation apparaît toutefois mal ajustée au moment de la publication, après relecture par les pairs et mise à jour du papier.
Les chercheurs ont néanmoins mené des tests complémentaires en septembre 2025 avec GPT-5, Claude Opus 4.1 et Gemini 2.5 Pro, même si ces résultats sont moins mis en avant dans l’article. Ces tests récents montrent que ces modèles n’apportent que des améliorations « légères » par rapport à leurs prédécesseurs, tout en présentant encore « des déficits persistants dans le contrôle exécutif de l’attention, en accord avec notre analyse globale des modèles transformeurs précédents » (Gemini 2.5 Pro est également concerné).
Certes, l’échantillon est plus réduit, mais les chercheurs estiment que l’étude met en évidence une limite fondamentale « inhérente aux contraintes architecturales des LLM basés sur les transformeurs ».
Un point important est toutefois souligné : en mode « Thinking », GPT-5 peut écrire puis exécuter du code afin de réussir parfaitement le test de Stroop. Des fonctions similaires existent pour d’autres LLM. Il s’agit cependant d’un contournement des limites, sans modification réelle de leur mode de fonctionnement ou de raisonnement.
Les chercheurs précisent que les évolutions de l’architecture des LLM se concentrent principalement sur l’amélioration des capacités de mémoire, ce qui ne répond pas aux « limitations fondamentales des mécanismes d’attention, notamment le besoin de systèmes avancés d’alerte, d’orientation et de contrôle exécutif permettant une flexibilité cognitive ».
L’objectif final reste un comportement efficace orienté vers un but. L’étude indique : « Les développements futurs des LLM pourraient bénéficier de l’intégration de systèmes de contrôle exécutif plus sophistiqués, capables de gérer les conflits décisionnels via un traitement structuré et orienté vers un objectif, plutôt que de s’appuyer uniquement sur des capacités de mémoire accrues. »
Les auteurs estiment que « l’intégration de mécanismes de contrôle exécutif proches de ceux de l’attention biologique est essentielle pour atteindre une intelligence artificielle générale (AGI). »