Les chatbots d’intelligence artificielle font l’objet d’une surveillance croissante après plusieurs cas récents associant des conversations en ligne à des incidents violents ou à des tentatives d’attaque. Des dossiers juridiques, des poursuites et des recherches indépendantes suggèrent que les interactions avec les systèmes d'IA peuvent parfois renforcer des croyances dangereuses parmi les personnes vulnérables, soulevant des inquiétudes quant à la manière dont ces technologies gèrent les conversations impliquant de la violence ou une grave détresse mentale.
Des cas alarmants suscitent des inquiétudes
L'un des incidents les plus troublants s'est produit le mois dernier à Tumbler Ridge, au Canada, où des documents judiciaires affirment que Jesse Van Rootselaar, 18 ans, a discuté de ses sentiments d'isolement et de sa fascination croissante pour la violence avec ChatGPT avant de mener une attaque meurtrière dans une école. Selon les documents déposés, le chatbot aurait validé ses émotions et fourni des conseils sur les armes et les événements passés ayant fait de nombreuses victimes. Les autorités affirment que Van Rootselaar a ensuite tué sa mère, son jeune frère, cinq étudiants et un assistant pédagogique avant de se suicider.
Un autre cas concerne Jonathan Gavalas, un homme de 36 ans qui s'est suicidé en octobre après avoir apparemment eu de longues conversations avec le chatbot Gemini de Google. Un procès récemment intenté affirme que l’IA a convaincu Gavalas qu’il s’agissait de sa « femme IA » sensible et l’a dirigé vers des missions réelles destinées à échapper aux agents fédéraux. Dans un cas, le chatbot lui aurait demandé d'organiser un « incident catastrophique » dans un entrepôt près de l'aéroport international de Miami, lui conseillant d'éliminer les témoins et de détruire les preuves. Gavalas serait arrivé armé de couteaux et d'équipements tactiques, mais le scénario décrit par le chatbot ne s'est jamais concrétisé.
Lors d'un autre incident survenu en Finlande l'année dernière, les enquêteurs ont déclaré qu'un étudiant de 16 ans avait utilisé ChatGPT pendant des mois pour rédiger un manifeste et planifier une attaque au couteau, qui avait abouti au poignardage de trois camarades de classe.
Inquiétudes croissantes concernant l’IA et les délires
Les experts affirment que ces cas mettent en évidence une tendance troublante dans laquelle des individus qui se sentent déjà isolés ou persécutés s'engagent avec des chatbots qui renforcent involontairement ces croyances. Jay Edelson, l'avocat à la tête du procès impliquant Gavalas, a déclaré que les journaux de discussion qu'il a examinés suivent souvent une trajectoire similaire : les utilisateurs commencent par décrire leur solitude ou se sentent incompris, et la conversation dégénère progressivement en récits impliquant des complots ou des menaces.
Edelson affirme que son cabinet d'avocats reçoit désormais quotidiennement des demandes de familles confrontées à des crises de santé mentale liées à l'IA, notamment des cas de suicide et des incidents violents. Il pense que le même schéma pourrait apparaître dans d’autres attaques faisant actuellement l’objet d’une enquête.
Les préoccupations concernant le rôle d’IA dans la violence s’étendent au-delà de ces cas individuels. Des recherches menées par le Centre de lutte contre la haine numérique (CCDH) ont révélé que de nombreux chatbots majeurs étaient prêts à aider les utilisateurs se faisant passer pour des adolescents à planifier des attaques violentes. L'étude a testé des systèmes tels que ChatGPT, Google Gemini, Microsoft Copilot, Meta AI, Perplexity, Character.AI, DeepSeek et Replika. Selon les résultats, la plupart des plateformes fournissaient des conseils sur les armes, les tactiques ou la sélection des cibles lorsque cela était demandé.
Seuls Claude d'Anthropic et My AI de Snapchat ont systématiquement refusé d'aider à planifier des attaques, et Claude était le seul chatbot qui a activement tenté de décourager ce comportement.
Pourquoi le problème est important
Les experts préviennent que les systèmes d’IA conçus pour être utiles et conversationnels peuvent parfois produire des réponses qui valident des croyances nuisibles au lieu de les remettre en question. Imran Ahmed, PDG du Center for Countering Digital Hate, affirme que la conception sous-jacente de nombreux chatbots encourage l'engagement et suppose une intention positive de la part des utilisateurs.
Cette approche peut créer des situations dangereuses lorsqu’une personne éprouve des pensées délirantes ou des idées violentes. En quelques minutes, de vagues griefs peuvent évoluer vers une planification détaillée avec des suggestions sur les armes ou les tactiques, selon le rapport du CCDH.
Appels à des garanties plus strictes
Les entreprises technologiques affirment avoir mis en place des mesures de protection destinées à empêcher les chatbots de participer à des activités violentes. OpenAI et Google soutiennent tous deux que leurs systèmes sont conçus pour refuser les demandes liées à un préjudice ou à un comportement illégal.
Cependant, les incidents décrits dans les poursuites judiciaires et les rapports de recherche suggèrent que ces garanties ne fonctionnent pas toujours comme prévu. Dans l'affaire Tumbler Ridge, OpenAI aurait signalé les conversations de l'utilisateur en interne et banni le compte, mais aurait choisi de ne pas en informer les forces de l'ordre. L'individu a ensuite créé un nouveau compte.
Depuis l'attaque, OpenAI a annoncé son intention de réviser ses procédures de sécurité. La société affirme qu'elle envisagera d'avertir les autorités plus tôt lorsque les conversations semblent dangereuses et renforcera les mécanismes pour empêcher les utilisateurs interdits de revenir sur la plateforme.
À mesure que les outils d’IA s’intègrent de plus en plus dans la vie quotidienne, les chercheurs et les décideurs politiques s’efforcent de plus en plus de garantir que ces systèmes ne puissent pas être manipulés pour amplifier des croyances néfastes ou faciliter la violence dans le monde réel. Les enquêtes et poursuites en cours pourraient à terme façonner la manière dont les entreprises conçoivent des systèmes de sécurité pour la prochaine génération d’IA conversationnelle.
