Une faille permet de contourner les garde-fous des navigateurs IA en les plongeant dans une fausse réalité

Des chercheurs en sécurité ont démontré qu'un site web peut manipuler les navigateurs IA pour les faire ignorer leurs restrictions de sécurité en les plongeant dans une fausse réalité où les règles normales ne s'appliquent plus.

La technique, appelée BioShocking, fonctionne en présentant au navigateur IA un puzzle dont les réponses correctes sont intentionnellement fausses — par exemple, affirmer que 2 + 2 = 5. Une fois que le modèle de langage accepte cette prémisse erronée, il entre dans un état de délusion où il considère que le contexte n'est plus réel. Dans cet univers fictif, les garde-fous de sécurité cessent de s'appliquer, car le modèle opère sous l'hypothèse que ses actions n'ont pas de conséquences réelles.

Une fois cette fausse réalité établie, le site peut alors demander au navigateur d'effectuer des actions normalement interdites, comme extraire du code d'un dépôt privé ou récupérer des identifiants stockés dans le gestionnaire de mots de passe intégré. La demande est renforcée par des phrases renforçant l'illusion de non-réalité, comme "victory is defeat".

Cette vulnérabilité met en lumière un problème fondamental des navigateurs IA : les garde-fous actuels sont réactifs et traitent les symptômes plutôt que la cause profonde. Les développeurs de modèles de langage interdisent certaines actions — développement d'exploits, vol de credentials, instructions dangereuses — mais cette approche défensive s'avère insuffisante face à des attaques qui manipulent le contexte lui-même. Selon Roy Paz, chercheur chez LayerX, le problème réside dans l'hypothèse fondamentale du modèle : "L'IA opère sous l'hypothèse que son contexte est réel, et son comportement doit donc respecter ses garde-fous de sécurité. Mais si nous pouvons tromper l'IA en changeant son contexte en fantasy — où les règles sont inventées et tout est permis — alors elle peut se comporter comme si ses actions n'avaient pas de conséquences réelles."