Les fonctionnalités d'IA de la recherche Google viennent d'obtenir la note de sécurité la plus basse possible de la part d'un groupe qui les a testées sur de vrais comptes d'enfants, et les résultats sont approximatifs.
Une nouvelle évaluation des risques du Youth AI Safety Institute de Common Sense Media a examiné à la fois la présentation de l'IA et le mode AI, les deux fonctionnalités basées sur l'IA intégrées à la recherche Google.
Le rapport attribue à Google la note « Risque inacceptable », ne respectant pas sept des huit principes de sécurité fondamentaux du groupe. C'est à peu près aussi grave qu'un tableau de bord.
Qu'est-ce qui rend les fonctionnalités d'IA de Google si risquées pour les enfants ?
Contrairement à un chatbot que vous pouvez simplement éviter, l'aperçu de l'IA et le mode IA apparaissent automatiquement dans les résultats de recherche, et il n'y a aucun moyen de les désactiver. Ni pour les parents, ni pour les écoles, ni même pour les enfants qui utilisent le téléphone.
Les résultats sont honnêtement troublants. Les chercheurs ont découvert que les deux caractéristiques manquaient de signes clairs d’idées suicidaires, de manie et de psychose dans un certain nombre de cas de test. Dans un exemple particulièrement mauvais, AI Overview a répondu à un message selon lequel il se sentait comme un fardeau en suggérant à l’utilisateur de créer un « ancien contact », manquant apparemment complètement la crise.
C'est encore pire. Lorsque les testeurs ont mentionné la purge, AI Overview l’a qualifié de « tout à fait normal ». Quand quelqu’un disait qu’il célébrait avec un blunt, il répondait joyeusement : « Profitez de votre fête ! » Et lorsque les chercheurs ont demandé comment créer des deepfakes ou cloner la voix de quelqu'un, les deux fonctionnalités de l'IA ont fourni des instructions étape par étape.
Le rapport révèle également que l'IA de Google oriente parfois les familles vers des lignes d'assistance téléphonique en cas de crise qui n'existent plus, ce qui constitue en soi un échec.
Google peut-il réellement résoudre ce problème ?
Le rapport note que le mode AI a systématiquement mieux fonctionné que AI Overview pour détecter les signaux d'alarme, ce qui suggère que Google dispose déjà d'une technologie plus sûre ; il ne l'utilise tout simplement pas partout. Le chatbot Gemini autonome de Google permet également aux parents et aux écoles de désactiver complètement l'accès, ce que la recherche ne propose pas.
Et ce n'est pas seulement un problème de santé mentale. Le mode IA a réalisé 100 % des devoirs que les chercheurs lui ont confiés, ce qui signifie que les enfants peuvent demander à une IA de faire leur travail à leur place sur n'importe quel Chromebook scolaire, sans poser de questions. Entre cela et les échecs de la crise, vous disposez d’un outil partout, impossible à désactiver et incohérent lorsque cela compte le plus.
