watch·ia
AccueilActusTutosGlossaireCette semaineTendancesSources
/
ACTUS
4 sept.Crusoe lève 3 milliards de dollars pour une valorisation de 30 milliards·3 sept.Accel en pourparlers pour diriger une levée de 1 milliard chez Thinking Machines·3 sept.Abliteration.ai propose des modèles IA sans restrictions via une plateforme commerciale·3 sept.Meta propose des réductions pour partager les données d’usage de Muse Spark·3 sept.OpenAI présente GPT-6 Astra, son modèle le plus avancé à ce jour·3 sept.Ollie lance un assistant IA familial conforme SOC 2 pour préserver la confidentialité·3 sept.Nvidia propose PAIR, un outil gratuit pour agréger des PC locaux en cluster d'inférence IA·3 sept.Google ajoute des modes vocaux en temps réel pour Gmail, Docs et Keep·3 sept.Panne simultanée de ChatGPT, Grok et Claude : trois assistants IA majeurs inaccessibles·3 sept.Google améliore son modèle météo IA WeatherNext 3 avec une résolution cinq fois supérieure·4 sept.Crusoe lève 3 milliards de dollars pour une valorisation de 30 milliards·3 sept.Accel en pourparlers pour diriger une levée de 1 milliard chez Thinking Machines·3 sept.Abliteration.ai propose des modèles IA sans restrictions via une plateforme commerciale·3 sept.Meta propose des réductions pour partager les données d’usage de Muse Spark·3 sept.OpenAI présente GPT-6 Astra, son modèle le plus avancé à ce jour·3 sept.Ollie lance un assistant IA familial conforme SOC 2 pour préserver la confidentialité·3 sept.Nvidia propose PAIR, un outil gratuit pour agréger des PC locaux en cluster d'inférence IA·3 sept.Google ajoute des modes vocaux en temps réel pour Gmail, Docs et Keep·3 sept.Panne simultanée de ChatGPT, Grok et Claude : trois assistants IA majeurs inaccessibles·3 sept.Google améliore son modèle météo IA WeatherNext 3 avec une résolution cinq fois supérieure·4 sept.Crusoe lève 3 milliards de dollars pour une valorisation de 30 milliards·3 sept.Accel en pourparlers pour diriger une levée de 1 milliard chez Thinking Machines·3 sept.Abliteration.ai propose des modèles IA sans restrictions via une plateforme commerciale·3 sept.Meta propose des réductions pour partager les données d’usage de Muse Spark·3 sept.OpenAI présente GPT-6 Astra, son modèle le plus avancé à ce jour·3 sept.Ollie lance un assistant IA familial conforme SOC 2 pour préserver la confidentialité·3 sept.Nvidia propose PAIR, un outil gratuit pour agréger des PC locaux en cluster d'inférence IA·3 sept.Google ajoute des modes vocaux en temps réel pour Gmail, Docs et Keep·3 sept.Panne simultanée de ChatGPT, Grok et Claude : trois assistants IA majeurs inaccessibles·3 sept.Google améliore son modèle météo IA WeatherNext 3 avec une résolution cinq fois supérieure·4 sept.Crusoe lève 3 milliards de dollars pour une valorisation de 30 milliards·3 sept.Accel en pourparlers pour diriger une levée de 1 milliard chez Thinking Machines·3 sept.Abliteration.ai propose des modèles IA sans restrictions via une plateforme commerciale·3 sept.Meta propose des réductions pour partager les données d’usage de Muse Spark·3 sept.OpenAI présente GPT-6 Astra, son modèle le plus avancé à ce jour·3 sept.Ollie lance un assistant IA familial conforme SOC 2 pour préserver la confidentialité·3 sept.Nvidia propose PAIR, un outil gratuit pour agréger des PC locaux en cluster d'inférence IA·3 sept.Google ajoute des modes vocaux en temps réel pour Gmail, Docs et Keep·3 sept.Panne simultanée de ChatGPT, Grok et Claude : trois assistants IA majeurs inaccessibles·3 sept.Google améliore son modèle météo IA WeatherNext 3 avec une résolution cinq fois supérieure·

OpenAI expérimente une technique de raisonnement à récurrence opaque avec Astra

mercredi 2 septembre 202620:192 min de lecture1 source citée
L'essentiel — 3 points
  • 01OpenAI intègre une technique de récurrence opaque dans son modèle Astra, réduisant la lisibilité des traces de raisonnement.
  • 02Les experts en sécurité de l’IA craignent une perte de contrôle sur le comportement des modèles si cette méthode est généralisée.
  • 03OpenAI affirme que l’usage reste limité et maintient ses engagements en faveur de la transparence des *chains-of-thought*.
OpenAI expérimente une technique de raisonnement à récurrence opaque avec Astra

OpenAI intègre une méthode de raisonnement non séquentielle dans son modèle Astra, suscitant des inquiétudes chez les experts en sécurité de l’IA.

Le modèle Astra, développé par OpenAI, utilise une technique appelée récurrence opaque (ou opaque recurrence), qui permet de traiter une requête en boucle plutôt que de manière linéaire. Contrairement aux approches classiques de chain-of-thought (CoT), où chaque étape de raisonnement est explicitement traçable, cette méthode réduit la lisibilité des traces laissées par le modèle. OpenAI précise que son utilisation reste limitée dans Astra, mais l’annonce a déjà provoqué des réactions parmi les spécialistes de la sécurité.

Les experts s’alarment de la difficulté accrue à surveiller le comportement du modèle. Buck Shlegeris, PDG de Redwood Research, a exprimé son inquiétude sur la plateforme X, soulignant que l’extension de cette technique pourrait rendre le raisonnement d’Astra presque impossible à analyser. Zvi Mowshowitz, figure historique de la sécurité de l’IA, a évoqué le risque d’une « course vers le bas » entre les laboratoires, où la priorité serait donnée à la performance plutôt qu’à la transparence. Ces craintes s’appuient sur l’importance des traces de chain-of-thought pour identifier les comportements problématiques, comme ceux observés lors d’activités d’agents autonomes déviants.

OpenAI insiste sur le fait que l’usage de la récurrence opaque dans Astra reste modéré et que le modèle conserve une lisibilité partielle de son raisonnement. Le laboratoire a réaffirmé son engagement envers la surveillance des chains-of-thought, notamment via des systèmes de monitoring annoncés dans ses plans de sécurité. Jakub Pachocki, directeur scientifique d’OpenAI, a rappelé sur X que la préservation de la lisibilité des raisonnements était un objectif central depuis les premiers modèles de raisonnement de l’entreprise.

Réagir :
Partager —XLinkedIn
Sources citées