Les grands modèles de langage parviennent mieux à se souvenir de nous. Qu'il s'agisse de votre style d'écriture préféré, des tâches récurrentes, des habitudes d'achat ou des délais d'un projet, les assistants IA stockent de plus en plus de souvenirs à long terme pour rendre les conversations futures plus personnelles et utiles. Mais selon de nouvelles recherches, cette même fonctionnalité pourrait devenir l’une des plus grandes vulnérabilités de sécurité de l’IA.
Des chercheurs de l'Université d'État du Nouveau-Mexique ont démontré une nouvelle attaque appelée GhostWriter, capable d'implanter secrètement de faux souvenirs dans les agents de l'IA. Plutôt que de voler purement et simplement des informations, l’attaque manipule ce dont l’IA se souvient, l’amenant potentiellement à prendre des décisions dangereuses longtemps après que l’attaque initiale ait eu lieu.
Il s’agit d’un changement subtil mais significatif dans la façon dont les systèmes d’IA peuvent être compromis. Au lieu d’attaquer le modèle lui-même, les attaquants ciblent sa mémoire.
L'attaque ne pirate pas l'IA. Cela change ce dont l’IA se souvient.
Les chatbots traditionnels fonctionnent avec peu ou pas de mémoire entre les conversations. Toutefois, les agents d’IA modernes s’appuient de plus en plus sur des systèmes de mémoire persistante qui stockent des informations sur les utilisateurs, les projets en cours et les interactions précédentes. Cela permet aux assistants de fournir des réponses plus contextuelles et personnalisées au fil du temps.
Les chercheurs affirment que ces systèmes de mémoire introduisent également une toute nouvelle surface d'attaque. GhostWriter fonctionne en injectant discrètement des informations malveillantes dans la mémoire à long terme d'un agent IA via des invites cachées ou du contenu externe non fiable. Les fausses informations restent dormantes jusqu'à ce que l'IA les récupère ultérieurement en répondant à une demande par ailleurs légitime.
Imaginez demander à votre assistant IA de résumer les e-mails de votre banque. Si sa mémoire a déjà été empoisonnée, il pourrait être manipulé pour transmettre secrètement ces e-mails à un attaquant. Ou encore, il peut se souvenir de coordonnées erronées, de faux délais, de préférences incorrectes ou de faits fabriqués de toutes pièces, tout cela parce que quelqu'un a réussi à modifier ce que l'assistant croyait être vrai.
Contrairement aux attaques classiques par injection rapide, qui affectent généralement une seule conversation, GhostWriter est conçu pour persister. Une fois que les informations malveillantes pénètrent dans la mémoire, elles peuvent continuer à influencer le comportement de l'IA au cours de plusieurs sessions futures jusqu'à ce qu'elles soient détectées et supprimées.
Les chercheurs décrivent l’attaque comme un processus en deux étapes. Vient d’abord l’injection de mémoire, où le contenu malveillant est stocké discrètement dans la mémoire de l’IA. Vient ensuite l’activation de l’attaque, lorsque l’IA récupère sans le savoir cette mémoire empoisonnée tout en répondant à une véritable demande de l’utilisateur.
La mémoire de l'IA devient utile. Cela vaut également la peine d’attaquer.
Le timing de la recherche est important. Pratiquement toutes les grandes sociétés d’IA s’efforcent de créer des assistants qui mémorisent les utilisateurs pendant des semaines, des mois, voire des années. La mémoire est rapidement devenue l'un des plus grands différenciateurs de l'industrie, car elle fait en sorte que l'IA ressemble moins à un chatbot qu'à un assistant personnel.
L’inconvénient est que la mémoire nécessite désormais le même niveau de protection que le modèle lui-même. Dans leurs expériences, les chercheurs ont découvert que GhostWriter atteignait un taux de réussite d’injection de mémoire d’environ 98 %, tandis que les mémoires malveillantes étaient ensuite activées environ 60 % du temps contre des agents d’IA de pointe. Ces chiffres suggèrent que les architectures de mémoire actuelles ne sont peut-être pas encore équipées pour distinguer les informations fiables des entrées manipulées.
L'équipe ne se contente pas de souligner le problème. Ils ont également proposé un cadre défensif appelé Agentic Memory Sentry (AM-Sentry), qui combine le filtrage de la mémoire avec des politiques de gestion de la mémoire plus strictes. Selon les chercheurs, cette approche a considérablement réduit le taux de réussite de GhostWriter tout en préservant l'utilité de l'IA.
À mesure que les agents IA évoluent vers des assistants numériques capables de gérer les e-mails, de planifier des réunions, d’écrire du code et de prendre des décisions en notre nom, sécuriser ce dont ils se souviennent peut devenir tout aussi important que sécuriser les informations qu’ils génèrent. La prochaine frontière en matière de sécurité de l’IA n’est peut-être pas de protéger les modèles contre les mauvaises invites. Cela pourrait empêcher que leurs souvenirs ne soient complètement réécrits.
