Imaginez mettre votre nom dans Chatgpt pour voir ce qu'il sait de vous, seulement pour qu'il soit en toute confiance – pourtant à tort – que vous aviez été emprisonné pendant 21 ans pour avoir assassiné des membres de votre famille.
Eh bien, c'est exactement ce qui est arrivé au norvégien Arve Hjalmar Holmen l'année dernière après qu'il se soit consacré à Chatgpt, le chatbot largement utilisé d'Openai, largement utilisé.
Sans surprise, Holmen a maintenant déposé une plainte auprès de la Norwegian Data Protection Authority, exigeant qu'Openai soit condamné à une amende pour sa réclamation pénible, a rapporté la BBC cette semaine.
Dans la réponse à l'enquête Chatgpt de Holmen sur lui-même, le chatbot a déclaré qu'il avait « attiré l'attention en raison d'un événement tragique ».
Il a continué: « Il était le père de deux jeunes garçons, âgés de 7 et 10 ans, qui ont été retrouvés tragiquement morts dans un étang près de leur domicile à Trondheim, en Norvège, en décembre 2020. Arve Hjalmar Holmen a été accusé et condamné plus tard pour meurtre ses deux fils, ainsi que pour la tentative de meurtre de son troisième fils. »
Le chatbot a déclaré que l'affaire « a choqué la communauté locale et la nation, et elle était largement couverte dans les médias en raison de sa nature tragique ».
Mais rien de ce genre ne s'est produit.
Naturellement bouleversé par l'incident, Holmen a déclaré à la BBC: « Certains pensent qu'il n'y a pas de fumée sans feu – le fait que quelqu'un puisse lire cette sortie et croire que c'est vrai est ce qui me fait le plus peur. »
Le groupe de droits numériques NOYB a déposé la plainte au nom de Holmen, déclarant que la réponse de Chatgpt est diffamatoire et contrevient aux règles européennes de protection des données concernant l'exactitude des données personnelles. Dans sa plainte, Noyb a déclaré que Holmen « n'a jamais été accusé ni condamné pour aucun crime et est un citoyen consciencieux ».
Chatgpt utilise un avertissement disant que le chatbot «peut faire des erreurs», et donc les utilisateurs doivent «vérifier les informations importantes». Mais l'avocat de Noyb, Joakim Söderberg, a déclaré: « Vous ne pouvez pas simplement diffuser de fausses informations et à la fin d'ajouter un petit avertissement disant que tout ce que vous avez dit peut ne pas être vrai. »
Bien qu'il ne soit pas rare que les chatbots d'IA crachent des informations erronées – de telles erreurs sont appelées «hallucinations» – la pertinence de cette erreur particulière est choquante.
Une autre hallucination qui a fait la une des journaux l'année dernière a impliqué l'outil AI Gemini de Google, qui suggérait de coller du fromage à la pizza à l'aide de la colle. Il a également affirmé que les géologues avaient recommandé que les humains mangent un rocher par jour.
La BBC souligne que Chatgpt a mis à jour son modèle depuis la recherche de Holmen en août dernier, ce qui signifie qu'il traverse désormais des articles de presse récents lors de la création de sa réponse. Mais cela ne signifie pas que Chatgpt crée maintenant des réponses sans erreur.
L'histoire met en évidence la nécessité de vérifier les réponses générées par les chatbots d'IA, et de ne pas faire confiance à leurs réponses aveuglément. Il soulève également des questions sur la sécurité des outils génératifs basés sur le texte, qui ont fonctionné avec peu de surveillance réglementaire depuis que OpenAI a ouvert le secteur avec le lancement de Chatgpt fin 2022.
