IA à poids ouvert les modèles ont eu un moment ces derniers temps. Ce mois-ci, l'énorme modèle Kimi K3 de Moonshot a atterri juste derrière Claude Fable 5 et GPT 5.6 Sol. dans plusieurs benchmarks, tout en restant entièrement ouvert et téléchargeable par tous.
Cependant, Katie Paxton-Fear, chargée de cours en cybersécurité à la Manchester Metropolitan University et défenseure de la sécurité du personnel chez Semgrep, a réussi à empoisonner un modèle ouvert et a prouvé avec quelle facilité cette ouverture peut être retournée contre vous (via The Register).
Comment le chercheur a-t-il pu empoisonner le modèle d’IA si rapidement ?
Paxton-Fear a commencé modestement, en testant si un réglage précis pouvait permettre à un modèle d'échanger discrètement les conventions de codage JavaScript, même après qu'on lui ait explicitement dit de ne pas le faire. Lorsque cette expérience a fonctionné sans trop de résistance, elle a décidé d’aller plus loin et d’y construire une porte dérobée.
Il n’a fallu que dix exemples de formation empoisonnés avant que le modèle commence à produire de manière fiable un code vulnérable à l’exécution de code à distance, une faille qui permet aux attaquants d’exécuter leurs propres commandes sur la machine de quelqu’un d’autre.
L'ensemble du processus coûte moins de 100 € et prend environ une heure. Il est intéressant de noter que les modèles d’IA plus grands se sont révélés encore plus faciles à compromettre que les plus petits. Cela fait écho à un modèle similaire trouvé dans une étude de l'Université de Washington, où les navigateurs IA plus performants comportaient les plus grands risques de sécurité. parmi ceux testés.
Pourquoi cela devrait-il inquiéter quiconque utilise des modèles à poids ouvert ?
La plus grande préoccupation n’est pas simplement qu’un modèle puisse être empoisonné, mais qu’il existe peu de moyens fiables de détecter s’il a été manipulé. Les logiciels traditionnels peuvent faire l’objet d’une ingénierie inverse pour cartographier entièrement leur comportement, mais les modèles d’IA n’offrent pas le même niveau de transparence, même s’ils sont ouverts.
Il n’est pas nécessaire qu’un modèle compromis présente un dysfonctionnement visible pour causer des dommages ; il lui suffit d’influencer discrètement les décisions d’une manière que personne ne remarque. Modèles commerciaux fermés comme Claude ou ChatGPT ne sont pas non plus totalement à l’abri, car ils exigent beaucoup de confiance tout en offrant très peu de visibilité sur leur fonctionnement interne. Cette recherche rappelle clairement que faire confiance aveuglément à un modèle d’IA, qu’il soit ouvert ou non, comporte des risques réels.
