OpenAI renforce ses contrôles de sécurité après une faille chez Hugging Face

OpenAI annonce de nouvelles mesures de sécurité pour encadrer le développement de ses modèles après une faille majeure chez Hugging Face.

L’entreprise détaille un ensemble de règles renforcées pour surveiller les modèles en phase de test, avec une attention accrue sur l’alignement et la sécurité pendant les étapes post-entraînement. Ces mesures visent à contenir les risques liés à l’évolution des capacités des modèles, selon un billet de blog publié mardi. OpenAI souligne que ses standards doivent évoluer en parallèle des progrès technologiques, sans préciser de lien direct avec l’incident chez Hugging Face, révélé fin juillet.

Parmi les changements, OpenAI indique avoir suspendu pendant deux semaines l’apprentissage par renforcement (RL) après la faille, avant de reprendre partiellement l’entraînement de modèles jugés moins risqués. Les projets les plus ambitieux, comme les futures versions d’Astra, restent en pause. L’entreprise justifie cette décision par la nécessité de valider ses nouveaux garde-fous et de renforcer l’alignement des modèles avant toute reprise à grande échelle.

Les nouvelles règles introduisent une isolation réseau renforcée, limitant les risques qu’un compromis d’un outil ou d’un service interne ne donne accès à internet ou à d’autres réseaux. OpenAI évoque également un système de surveillance approfondi, analysant les actions des outils, les traces de raisonnement et les logs d’activité pour détecter tout comportement non autorisé. Ces mesures s’appliqueront avec une sévérité variable selon le niveau de risque des modèles, les plus avancés étant soumis à un contrôle accru.

Amelia Glaese, vice-présidente de la recherche chez OpenAI, a confirmé lors d’une conférence de presse que les exigences de sécurité seraient ajustées en fonction de la capacité des modèles, sans préciser de détails techniques supplémentaires.