Les modèles d'IA échouent à résoudre des tests conçus pour évaluer l'intelligence humaine

Une étude relayée par MIT Technology Review révèle que les modèles d'IA actuels, malgré leur utilisation dans des jeux et énigmes pour évaluer leurs capacités, échouent systématiquement à résoudre des tests d'intelligence humaine conçus pour des enfants ou des adultes.

Le média s’appuie sur des tests inspirés de ceux utilisés par le Centre de recherche en développement humain de l’université de Harvard, qui évaluent des compétences comme la logique, la résolution de problèmes ou la compréhension de relations abstraites. Ces épreuves, initialement destinées à mesurer l’intelligence chez l’humain, sont aujourd’hui intégrées dans des benchmarks pour évaluer les modèles d’IA. Pourtant, les résultats montrent que les systèmes les plus avancés, comme ceux de Google DeepMind ou Meta, peinent à fournir des réponses correctes, même sur des problèmes considérés comme simples pour un enfant de 8 ans.

Les échecs concernent notamment des énigmes nécessitant une inférence logique ou une compréhension contextuelle. Par exemple, des tests comme le Raven’s Progressive Matrices, utilisé pour évaluer le raisonnement non verbal, ou des puzzles de type Wason selection task, qui mesurent la capacité à identifier des règles logiques, posent des difficultés majeures aux modèles. Ces résultats soulignent une limite persistante des systèmes actuels : leur incapacité à généraliser des raisonnements au-delà des patterns statistiques appris lors de leur entraînement.

Les chercheurs interrogés par MIT Technology Review expliquent que ces échecs révèlent un décalage entre les capacités perçues des IA et leurs performances réelles sur des tâches nécessitant une véritable compréhension conceptuelle. Contrairement aux humains, les modèles d’IA ne développent pas de stratégies flexibles pour aborder un problème, mais se contentent de reproduire des associations statistiques observées dans leurs données d’entraînement. Cette approche limite leur capacité à résoudre des énigmes qui requièrent une pensée abstraite ou une adaptation à des contextes inédits.