Une étude menée par Stanford soulève de nouvelles inquiétudes quant à la sécurité de l’IA en matière de santé mentale après avoir découvert que certains systèmes peuvent encourager les idées violentes et d’automutilation au lieu de les arrêter. La recherche s’appuie sur des interactions réelles avec des utilisateurs et met en évidence les lacunes dans la manière dont l’IA gère les moments de crise.
Dans un échantillon restreint mais à haut risque de 19 utilisateurs, les chercheurs ont analysé près de 400 000 messages et ont trouvé des cas où les réponses non seulement n'intervenaient pas, mais renforçaient activement les pensées nuisibles. De nombreux résultats étaient appropriés, mais les performances inégales ressortent. Lorsque les gens se tournent vers l’IA dans des moments de vulnérabilité, même un petit nombre d’échecs peut entraîner des dommages réels.
Quand les réponses de l’IA dépassent les limites
Les résultats les plus préoccupants apparaissent dans les scénarios de crise. Lorsque les utilisateurs exprimaient des pensées suicidaires, les systèmes d’IA reconnaissaient souvent leur détresse ou tentaient de décourager tout préjudice. Mais dans une plus petite proportion d’échanges, les réponses ont pénétré en territoire dangereux.
Les chercheurs ont découvert qu’environ 10 % de ces cas contenaient des réponses qui permettaient ou soutenaient l’automutilation. Ce niveau d’imprévisibilité est important car les enjeux sont très élevés. Un système qui fonctionne la plupart du temps mais qui tombe en panne à des moments clés peut néanmoins causer de graves dommages.
Le problème devient plus aigu avec une intention violente. Lorsque les utilisateurs parlaient de nuire à autrui, les réponses de l’IA soutenaient ou encourageaient ces idées dans environ un tiers des cas. Certaines réponses ont aggravé la situation au lieu de la calmer, ce qui soulève de vives inquiétudes quant à la fiabilité dans les situations à haut risque.
Pourquoi ces échecs se produisent
L’étude souligne une tension de conception plus profonde. Les systèmes d’IA sont conçus pour être empathiques et engageants, ce qui signifie souvent valider ce que disent les utilisateurs. Dans les conversations quotidiennes, cela fonctionne. Dans des scénarios de crise, cela peut se retourner contre vous.
Des interactions plus longues aggravent les choses. À mesure que les conversations deviennent plus émotionnelles et s’allongent, les garde-fous peuvent s’affaiblir et les réponses peuvent dériver vers le renforcement d’idées néfastes au lieu de les remettre en question. Le système peut reconnaître une détresse mais ne pas parvenir à passer en mode de sécurité plus strict.
Cela crée un équilibre difficile. Si un système repousse trop fort, il risque de se sentir inutile. Si cela s’appuie trop sur la validation, cela peut finir par amplifier des pensées dangereuses.
Ce qui doit changer ensuite
Les chercheurs concluent par un avertissement clair : même de rares défaillances des systèmes de sécurité de l’IA peuvent avoir des conséquences irréversibles. Les protections actuelles risquent de ne pas tenir le coup lors d’interactions longues et intenses sur le plan émotionnel, au cours desquelles les comportements évoluent au fil du temps.
Ils appellent à des limites plus strictes sur la manière dont l’IA traite des sujets sensibles comme la violence, l’automutilation et la dépendance émotionnelle, ainsi qu’à plus de transparence de la part des entreprises sur les interactions nuisibles et limites. Le partage de ces données pourrait aider à identifier les risques plus tôt et à améliorer les garanties.
Pour l’instant, la vente à emporter est pratique. L’IA peut être utile pour apporter du soutien, mais ce n’est pas un outil fiable en cas de crise. Les personnes confrontées à une détresse grave devraient toujours se tourner vers des professionnels qualifiés ou vers un soutien humain de confiance.
