L’Open Secure AI Alliance publie ses premières propositions pour sécuriser les agents IA

L’Open Secure AI Alliance (OSAA), lancée par Nvidia il y a une semaine et regroupant déjà plus de 120 entreprises, a dévoilé ses premières propositions concrètes pour encadrer la sécurité des agents IA. Ces mesures, présentées sous forme de commentaires ouverts, visent notamment à standardiser la détection et la gestion des incidents de cybersécurité liés à l’IA, ainsi qu’à faciliter une analyse collective sans attribution de responsabilité.

Le groupe de travail Shared AI Findings Exchange (SAFE), piloté par la Linux Foundation, a été créé pour centraliser ces propositions. Les membres ont travaillé sur ces guidelines lors de la conférence Black Hat à Las Vegas, un événement majeur de la cybersécurité. Les premières pistes incluent des mécanismes pour signaler confidentiellement les incidents, alerter les parties prenantes et analyser les causes sans pointer de responsables, afin d’en tirer des enseignements collectifs.

En parallèle, les entreprises membres contribuent à un catalogue de technologies open source destinées à sécuriser les agents IA ou à se prémunir contre des attaques ciblant ces systèmes. Parmi les contributions déjà annoncées :

• Nvidia propose une famille de modèles open source ainsi qu’un scanner de vulnérabilités pour grands modèles de langage, Garak ;
• Okta développe des technologies d’identité pour agents ;
• Red Hat travaille sur des cadres de gouvernance pour agents ;
• Amazon a partagé un outil de construction d’agents, Strands Agents, et un langage d’autorisation, Cedar.

Ces initiatives s’inscrivent dans un contexte où l’OSAA cherche à fédérer des acteurs majeurs comme Adobe, BlackRock, Cisco, Intel, Microsoft et Visa, tout en affichant des absences notables comme Anthropic, OpenAI et Google. Pourtant, ces deux dernières entreprises avaient signé la lettre ouverte ayant donné naissance au groupe, appelant à un soutien accru des efforts open source en IA. Leur absence actuelle contraste avec leur engagement passé, d’autant que Google est traditionnellement associé à l’open source.

L’OSAA avance à un rythme soutenu, dans un paysage réglementaire en évolution. La semaine dernière, des discussions ont évoqué une possible interdiction par l’administration américaine de certains modèles open source chinois, soulignant l’urgence d’un cadre sécurisé pour les agents IA.