La fonctionnalité AI Overviews de Google présenterait des entrées de la Fondation SCP, un univers de fanfiction populaire construit autour de fausses « anomalies » d'horreur, comme si elles décrivaient de véritables créatures et événements. Le futurisme a trouvé au moins 20 cas où les résumés générés par l'IA ignoraient toute mention selon laquelle les entrées SCP étaient de la fiction.
Confondre les monstres inventés avec les vrais
Une recherche de « SCP-565 » aurait renvoyé un aperçu de l'IA décrivant une « tête humaine anormale et ambulatoire » qui se déplace comme un crabe et est liée aux dossiers médico-légaux et à l'identité d'un homme décédé. Le résumé orientait même les utilisateurs vers un document SCP « officiel » pour une lecture plus approfondie.
Selon Futurism, une recherche de « SCP-426 », un grille-pain fictif censé faire en parler à la première personne quiconque le mentionne, a généré une réponse écrite à la première personne, l'IA se décrivant comme le grille-pain et détaillant les blessures fabriquées par des personnes essayant de l'imiter. D'autres exemples cités dans le rapport incluent « SCP-922 », appelé « Une autre version de la vérité » et « SCP-779 », un parasite censé imiter une fée.
Dans chaque cas, l'AI Overview aurait traité la documentation inventée par la Fondation SCP comme une recherche légitime plutôt que de la signaler comme une fiction. Ce n'est pas la première fois que les résultats de recherche de Google, basés sur l'IA, présentent avec confiance de fausses informations comme des faits, avec des erreurs passées allant de dates erronées à des affirmations historiques inventées.
Aucune reconnaissance, aucune clause de non-responsabilité
Le site Internet de la Fondation SCP indique clairement que ses entrées sont fictives. Les aperçus de l'IA de Google répétaient rarement ce contexte, note Futurism, faisant parfois référence à la « tradition » sans expliquer ce que cela signifiait. Futurism a contacté Google pour obtenir des commentaires, mais n'a pas reçu de réponse avant la publication.
J'ai essayé de reproduire ces résultats, mais une recherche sur « SCP-565″ n'a pas renvoyé d'aperçu de l'IA, et le mode IA de Google a qualifié l'entité d' »anomalie fictive » plutôt que de la présenter comme réelle. Essayer de reproduire ce comportement avec d'autres personnages fictifs de l'univers SCP s'est également révélé inutile, suggérant que Google a peut-être déjà résolu le problème, au moins pour certaines des requêtes signalées par Futurism. Google a déjà déployé des mises à jour visant à rendre les aperçus de l'IA et le mode IA plus fiables, bien que des problèmes de précision continuent de surgir de temps en temps.
Même si je n'ai pas pu reproduire ce comportement, l'erreur reste importante car les aperçus de l'IA figurent en tête de nombreuses recherches Google, et toute personne peu familière avec la communauté SCP, y compris les enfants, pourrait repartir en croyant que les histoires sont des faits documentés plutôt que de la fiction d'horreur. Cela fait écho à d’autres faux pas de AI Overview, y compris un cas où la fonctionnalité recommandait d’ajouter de la colle non toxique à la sauce à pizza, rappelant que les mauvaises réponses restent un risque persistant dans la recherche basée sur l’IA.
