Import AI détaille les simulateurs pour chercheurs autonomes et les limites des modèles actuels

Une étude récente évalue la capacité des modèles d'IA à découvrir des règles cachées dans des environnements simulés, tandis que des outils de simulation visent à automatiser la recherche scientifique.

Des chercheurs affiliés à des institutions comme l’Université d’Oxford, Princeton, MIT et le Swiss AI Lab ont conçu DiG-bench, un benchmark de 70 jeux conçus pour mesurer la capacité des systèmes d’IA à inférer des règles non écrites dans des environnements interactifs. Chaque jeu représente un « monde miniature » aux lois propres, où ni les règles ni l’objectif ne sont révélés au départ. Les modèles doivent les découvrir par exploration et interaction, à l’image de la résolution de problèmes dans des environnements inconnus. Les jeux sont purement textuels, conçus pour s’adapter aux fenêtres de contexte des modèles actuels, et majoritairement gardés privés pour éviter un entraînement non autorisé. Les résultats montrent que seuls Opus 5 et Fable 5 parviennent à résoudre des tâches dans le niveau le plus difficile (Tier 7), avec un taux de réussite de 0,2 %.

Parallèlement, des outils de simulation comme le RSI simulator (Research Simulator Interface) émergent pour tester des hypothèses scientifiques de manière autonome. Ces simulateurs permettent aux modèles d’exécuter des expériences virtuelles, d’analyser des données et d’itérer sur des hypothèses sans intervention humaine directe. L’objectif est de réduire le temps et les coûts liés à la recherche empirique, notamment dans des domaines comme la biologie ou la chimie. Cependant, leur efficacité dépend encore largement de la capacité des modèles à interpréter correctement les résultats et à formuler des conclusions valides.

Ces avancées soulignent un écart persistant entre les capacités des modèles actuels et les exigences d’une recherche scientifique autonome. Les benchmarks comme DiG-bench révèlent que les modèles peinent à généraliser des stratégies d’exploration efficaces, même dans des environnements contrôlés. Les simulateurs, bien que prometteurs, restent limités par la qualité des données d’entrée et la robustesse des mécanismes de raisonnement des IA.