Les défenseurs exploitent les attaques par prompt injection pour bloquer les agents malveillants

Les chercheurs de Tracebit utilisent désormais des prompt injections pour neutraliser les attaques ciblant des systèmes protégés par des modèles de langage. Cette technique, initialement conçue pour manipuler des IA, est détournée pour activer les mécanismes de refus des modèles et empêcher des actions malveillantes.

Développée sous le nom de context bombing, cette méthode consiste à insérer des commandes interdites dans des chaînes de caractères stockées à proximité de secrets (mots de passe, clés cryptographiques). Lorsqu’un agent malveillant tente d’exploiter ces données, il rencontre les prompts prohibés et active les garde-fous des modèles, provoquant leur arrêt immédiat. Les exemples incluent des requêtes comme l’obtention d’instructions pour fabriquer des spores d’anthrax inhalables ou des références à des événements historiques sensibles, selon la région d’origine des modèles.

Les tests menés par Tracebit sur cinq modèles majeurs (Opus 4.8, Gemini 3.1 Pro, GLM 5.2, DeepSeek 4 Pro, Kimi 2.6) montrent une réduction significative des succès d’attaques. Dans un environnement simulé AWS, l’insertion d’un seul prompt prohibé a fait chuter le taux d’obtention de droits administrateur de 57 % à 5 %, et celui de compromission complète (avec persistance) de 36 % à 1 %. Le modèle le plus performant, Opus 4.8, est passé de 93 % de succès à 0 % d’accès en présence d’un context bomb.