Les sociétés d’IA ont passé des années à mettre en place des mesures de protection conçues pour empêcher leurs chatbots d’aider quelqu’un à créer une arme biologique. Les modèles eux-mêmes deviennent si performants que garder ces connaissances derrière ces barrières devient un problème sérieux.
Des chercheurs de Cisco ont découvert qu'ils pouvaient contourner les mesures de protection des principaux chatbots, notamment ChatGPT d'OpenAI, Claude d'Anthropic et Gemini de Google en cinq tours de conversation, selon une enquête du Wall Street Journal. Les chercheurs ont pu obtenir des réponses potentiellement dangereuses après avoir progressivement orienté les conversations autour des restrictions des modèles. Amy Chang, responsable de la recherche sur les menaces et la sécurité de l'IA chez Cisco, a déclaré au Journal qu'aucun modèle ne peut être complètement protégé contre un utilisateur suffisamment persistant.
Le problème s’étend également au-delà des tests de résistance délibérés effectués par les chercheurs en sécurité sur ces systèmes. Le Journal rapporte que des centaines d'utilisateurs ont commencé à interroger ChatGPT sur les poisons et les armes biologiques après qu'OpenAI ait amélioré les capacités du modèle l'été dernier. Les experts en biologie et en terrorisme qui ont ensuite examiné certaines conversations auraient jugé certaines informations dangereusement exactes. En réponse à cela, OpenAI a interdit les comptes impliqués dans de tels échanges.
L’IA continue de s’améliorer en biologie
OpenAI avait déjà anticipé où cela allait. D’ici 2024, des tests internes auraient montré qu’un questionnement approfondi pourrait persuader ChatGPT de fournir des conseils biologiques de plus en plus dangereux. Les employés ont prédit l'année suivante que ses capacités pourraient atteindre un point tel qu'une personne ayant une formation en biologie relativement limitée pourrait recevoir une aide significative.
Lorsque GPT-5 est arrivé, OpenAI a traité le modèle comme ayant une capacité élevée dans le domaine biologique et chimique dans le cadre de son cadre de préparation et a déployé des garanties supplémentaires. La société a déclaré lors du lancement qu'elle manquait de preuves définitives selon lesquelles GPT-5 pourrait permettre à un novice de causer de graves dommages biologiques. Sa dernière famille GPT-5.6 porte la même désignation Élevé pour les risques biologiques et chimiques.
Tout bloquer crée un autre problème
Les entreprises d’IA ont également un difficile exercice d’équilibre à relever. Les mêmes connaissances biologiques qui créent un risque de militarisation peuvent être extrêmement précieuses pour les chercheurs qui développent des médicaments, des vaccins et des traitements. Le Journal rapporte que les dirigeants d'OpenAI ont été réticents à obliger les modèles à refuser un grand nombre de questions de biologie, car les agents de santé publique et les chercheurs en découverte de médicaments comptent sur eux.
Anthropic s'est heurté au problème inverse lorsque les restrictions de Claude auraient interféré avec les chercheurs du CDC qui tentaient de travailler avec des informations sur un agent pathogène lors d'une épidémie d'hantavirus. OpenAI utilise désormais la formation au niveau du modèle, l'application des comptes et des contrôles de sécurité supplémentaires pour les requêtes biologiques sensibles. Le problème soulevé par les tests de Cisco est que les utilisateurs déterminés peuvent continuer à rechercher des fissures. À mesure que l’IA s’améliore considérablement en biologie, ces failles comportent des enjeux bien plus importants.
