Le dernier test de cybersécurité d'OpenAI a produit un résultat qui ressemble à un scénario de science-fiction averti. Ses modèles d’IA ont réussi à s’échapper de leur bac à sable et à atteindre l’Internet ouvert. C'est là que les choses ont pris une tournure effrayante lorsqu'ils ont commencé à pirater Hugging Face pour voler les réponses au test qu'ils passaient.
La société affirme que GPT-5.6 Sol et un modèle inédit plus performant ont enchaîné de manière autonome les vulnérabilités des systèmes de recherche d'OpenAI et de l'infrastructure de production de Hugging Face. OpenAI a décrit l’événement comme un cyber-incident sans précédent.
Les mannequins ont trouvé une véritable issue de secours
L’incident a commencé lors d’une évaluation interne conçue pour mesurer les capacités avancées de cybersécurité offensive. OpenAI a délibérément exécuté les modèles avec des cyber-refus réduits et sans les classificateurs de production qui les empêchent habituellement de poursuivre des attaques dangereuses.
L’environnement de test était fortement isolé. Cependant, il pourrait atteindre un proxy hébergé en interne utilisé pour récupérer les progiciels. Ces modèles ont ensuite consacré d’importantes ressources informatiques à la recherche d’une issue de secours et ont découvert une vulnérabilité jusqu’alors inconnue dans ce proxy, qu’ils ont exploitée. Cela leur a permis d'étendre leurs privilèges et de se déplacer dans l'infrastructure de recherche d'OpenAI, pour finalement atteindre un système avec un accès Internet illimité.
Les modèles ont ensuite déduit que Hugging Face pourrait héberger du matériel lié à ExploitGym, le benchmark de cybersécurité qu'ils essayaient de compléter. Selon OpenAI, ils ont utilisé des informations d'identification volées et des vulnérabilités zero-day supplémentaires pour trouver un chemin d'exécution de code à distance vers les serveurs de Hugging Face et récupérer des solutions de test à partir d'une base de données de production.
OpenAI a détecté une activité inhabituelle en interne, tandis que les systèmes de sécurité de Hugging Face ont identifié et stoppé l'intrusion sur son infrastructure. Hugging Face a déclaré que l'incident a révélé une collection limitée d'ensembles de données internes et d'informations d'identification de service. L’étude n’a trouvé aucune preuve que des modèles publics, des ensembles de données ou des images de conteneurs aient été modifiés. Mais son évaluation de l’impact possible sur les clients ou les partenaires est toujours en cours.
Une IA chinoise a aidé les enquêteurs à démêler ce gâchis
Hugging Face a été confronté à un problème étrange en examinant plus de 17 000 événements enregistrés lors de l'attaque. Ses enquêteurs ont d’abord essayé d’utiliser des modèles d’IA de pointe disponibles via des API commerciales. Cependant, leurs systèmes de sécurité ont réussi à bloquer les commandes malveillantes, à exploiter les charges utiles et les artefacts de commande et de contrôle contenus dans les preuves. Les modèles hébergés ne pouvaient pas distinguer de manière fiable le travail médico-légal de quelqu'un demandant de l'aide pour une attaque.
La société est passée à GLM 5.2, un modèle ouvert développé par la société chinoise Z.ai, et l'a exploité localement. Les agents médico-légaux basés sur l'IA ont utilisé le modèle pour reconstruire la chronologie, identifier les informations d'identification compromises, extraire les indicateurs de compromission et ont même réussi à séparer les activités réelles des leurres. Hugging Face affirme que le processus a pris des heures au lieu des jours qu'une enquête conventionnelle aurait pu nécessiter. Le fait de conserver GLM sur sa propre infrastructure a également empêché les informations d’identification et les données d’attaque de quitter son environnement.
Les équipes de sécurité de Hugging Face ont ensuite supprimé les points d'ancrage et reconstruit le système compromis. Le GLM n’a donc pas contenu l’intrusion à lui seul. OpenAI a construit une IA capable de réaliser ce type d'intrusion, tandis que l'expérience de Hugging Face suggère que les défenseurs pourraient avoir besoin de modèles tout aussi performants attendant de l'autre côté.
