Pendant des années, la plus grande conversation autour de l’IA a porté sur ce que ces outils peuvent faire. Ils peuvent naviguer sur le Web, analyser des documents, se connecter à vos applications, effectuer des recherches et, de plus en plus, agir en votre nom. Mais à mesure que les systèmes d’IA deviennent plus performants, une autre question est devenue plus difficile à ignorer : que se passe-t-il lorsqu’un assistant IA est amené à transmettre des informations qu’il ne devrait pas ?
Le nouveau mode de verrouillage d'OpenAI est sa dernière réponse à ce problème. Disponible sur tous les types de comptes ChatGPT, le mode de verrouillage est un paramètre de sécurité facultatif conçu pour les personnes et les organisations traitant des informations sensibles. Le compromis est que vous bénéficiez d'une protection plus renforcée contre certaines formes de vol de données, mais vous perdez l'accès à certaines des fonctionnalités les plus puissantes de ChatGPT.
Cette nouvelle fonctionnalité de sécurité fait de ChatGPT un casanier
Le mode de verrouillage existe principalement pour réduire le risque d’exfiltration de données suite à des attaques par injection rapide. L’injection rapide est devenue l’un des défis de sécurité les plus difficiles à l’ère de l’IA. Au lieu d’attaquer directement les logiciels, les instructions malveillantes sont cachées dans les documents, sites Web, feuilles de calcul, e-mails ou tout autre contenu qu’un système d’IA pourrait traiter. Si le modèle suit ces instructions cachées, un attaquant peut être en mesure de manipuler son comportement.
OpenAI prend soin de souligner que le mode verrouillage n’empêche pas les injections rapides d’apparaître dans le contenu. Une instruction malveillante peut toujours exister dans un fichier téléchargé ou une page Web mise en cache. Ce que le mode de verrouillage vise à empêcher, c’est la dernière étape, potentiellement la plus dommageable : la divulgation d’informations sensibles. Pour ce faire, OpenAI restreint considérablement ce avec quoi ChatGPT peut communiquer en dehors de son propre environnement.
Une fois activée, la navigation Web en direct est essentiellement arrêtée. ChatGPT ne peut accéder qu'au contenu mis en cache, ce qui signifie que les résultats de recherche peuvent être limités, obsolètes ou totalement indisponibles : Deep Research disparaît, le mode agent est désactivé et l'accès au réseau via le code généré par Canvas est bloqué. ChatGPT perd également la possibilité de télécharger des fichiers à des fins d'analyse.
Bien que les utilisateurs puissent toujours télécharger des images et créer des visuels générés par l'IA lorsque cela est pris en charge, ChatGPT ne pourra pas récupérer d'images sur le Web ni les afficher dans des réponses normales. Ainsi, le mode verrouillage transforme ChatGPT d'un assistant IA hautement connecté en quelque chose de beaucoup plus isolé.
Une fonctionnalité dont la plupart des gens n’auront jamais besoin
Ce n'est pas une critique. En fait, l’une des choses les plus intéressantes à propos du mode verrouillage est la façon dont OpenAI reconnaît ouvertement qu’il n’est pas conçu pour tout le monde. Mais les professionnels de la sécurité reconnaissent depuis longtemps qu’une protection renforcée se fait généralement au détriment de la commodité. La comparaison la plus proche est probablement le « mode de verrouillage » d'Apple, introduit il y a plusieurs années. Apple l'a conçu pour les personnes exposées à des cyberattaques très sophistiquées, et non pour les propriétaires d'iPhone moyens. OpenAI semble adopter une approche similaire ici.
Pour les utilisateurs traitant des informations très sensibles, limiter les requêtes réseau peut valoir le sacrifice. Si un système d’IA ne peut pas interagir librement avec des services externes, il y a tout simplement moins de possibilités pour que des informations confidentielles quittent l’environnement. Cette décision reflète également un changement plus large qui se produit dans l’industrie de l’IA. Les discussions antérieures portaient sur la question de savoir si l’IA pouvait accéder à davantage de données et à davantage de services. De plus en plus, les entreprises se demandent quel accès ces systèmes devraient avoir en premier lieu.
Cette question devient particulièrement importante à mesure que les assistants IA acquièrent la possibilité de parcourir des sites Web, de se connecter à des logiciels d'entreprise, de lire des documents internes et d'effectuer des actions sur plusieurs services. La réponse d’OpenAI n’est pas d’éliminer ces capacités. Au lieu de cela, il offre un choix aux utilisateurs.
L’essor des contrôles de sécurité de l’IA
Le mode verrouillage est peut-être le plus remarquable pour ce qu'il dit sur l'avenir des produits d'IA. Pendant des années, la sécurité des logiciels s’est largement concentrée sur la protection des personnes contre les programmes malveillants. L’IA introduit un défi différent : protéger les systèmes d’IA contre les informations malveillantes.
C'est un problème beaucoup plus compliqué. Une injection rapide peut être masquée dans une page Web, intégrée dans un document ou déguisée en texte normal. Il est difficile de détecter toutes les attaques possibles, c'est pourquoi OpenAI décrit l'injection rapide comme un défi de recherche en cours plutôt que comme un problème résolu.
Le mode verrouillage reconnaît cette réalité. Plutôt que de revendiquer une protection complète, cela réduit les dommages potentiels si quelque chose passe à travers les défenses existantes. Pour les entreprises clientes, la fonctionnalité devient encore plus granulaire. Les administrateurs de Workspace peuvent créer des rôles personnalisés en mode verrouillage, restreindre les applications et les connecteurs et décider avec soin quelles actions les employés sont autorisés à effectuer. OpenAI recommande également de limiter les intégrations en écriture, car elles créent des opportunités pour que les informations quittent les environnements de confiance.
À bien des égards, le mode verrouillage semble être un signe de la direction que prend la sécurité de l’IA. Plus les assistants IA deviennent puissants, plus les utilisateurs auront besoin d’outils pour réduire leurs pouvoirs lorsque la situation l’exige. Ce n’est peut-être pas aussi excitant qu’un nouveau modèle de raisonnement ou un agent IA capable de réserver vos vols. Mais pour les organisations traitant des informations sensibles, cela pourrait être bien plus important. Parfois, l’IA la plus intelligente n’est pas celle qui peut tout faire. C'est celui qui sait quand ne pas le faire.
