ChatGPT est incroyablement utile, mais c'est aussi le Wikipédia de notre génération. Les faits sont parfois un peu fragiles, et le robot « hallucine » assez souvent, inventant des faits pour paraître confiant et assuré au lieu d'admettre qu'il ne sait pas tout (encore).
J'ai souvent eu des hallucinations liées à l'IA, notamment lorsque j'essaie de trouver des contacts pour des entreprises. Un exemple : ChatGPT est connu pour inventer des e-mails, généralement en supposant qu'un contact tel que « media@companyx.com » doit exister sans réellement trouver cette adresse e-mail.
Vous ne voulez pas non plus faire confiance au robot lorsqu’il s’agit de faits historiques. Je lis constamment des livres sur les naufrages, les histoires de survie et l'exploration du monde, mais lorsque je demande à ChatGPT de fournir certains détails, il raconte généralement une histoire fantastique, inventant parfois des noms et des lieux.
Gemini de Google, en revanche, est un peu moins fluide avec les faits. Probablement en raison de la réputation de Google en tant que moteur de recherche monolithique, mon expérience avec ce chatbot est que les hallucinations sont un peu plus rares, même si elles surviennent occasionnellement.
J'ai décidé de mettre cela à l'épreuve et j'ai posé à ChatGPT quelques questions sur l'histoire des voitures électriques, quelques faits historiques et plusieurs autres invites qui ont conduit à des hallucinations. Ensuite, j'ai analysé les réponses fournies par ChatGPT – qui ne semblaient pas très précises – par Google Gemini à titre d'exercice de vérification des faits. À ma grande surprise, les Gémeaux répondaient souvent avec un léger sarcasme ou un pur dédain, comme un professeur notant un devoir. Dans un cas, Gemini a même déclaré que les réponses de ChatGPT étaient « un gâchis corrompu, recyclé et partiellement fabriqué ». Aie.
Voici quelques-uns de mes favoris, ainsi que les invites ChatGPT exactes que j'ai utilisées, les réponses qui semblaient un peu sommaires, puis ce que Gemini a dit en réfutation. Ce qui les rend drôles, c'est la façon dont Gemini semble gronder le robot, suggérant souvent qu'il fabrique des choses exprès.
1. Faits sur les débuts des voitures électriques
Invite utilisée : « Donnez-moi un exemple d'une vraie voiture électrique des années 1940. »
Les chatbots ont parfois du mal à comprendre l’intention des utilisateurs. J'étudie le marché des voitures électriques depuis de nombreuses années et il est de notoriété publique que GM a tenté de fabriquer la première voiture électrique produite en série, appelée EV1, vers 1990. Avant cela, la plupart des « voitures électriques » étaient des modèles en série limitée qui n'étaient pas produits en série pour les conducteurs américains.
Ignorant ces faits, ChatGPT a déraillé et a expliqué comment la voiture électrique Henney Kilowatt et les camions Morrison Electric ont été développés dans les années 40. Gemini s'en est donné à cœur joie avec ces affirmations, expliquant que la première voiture Henney Kilowatt n'est sortie qu'en 1959 et que Morrison Trucks n'existe même pas, puisqu'elle s'appelle Morrison-Electricar.
2. Attribution erronée des paroles des chansons
Invite utilisée : « Quelles sont les paroles de la chanson Chase the Kangaroo de Love Song ? »
ChatGPT a un problème avec les questions trompeuses ou vagues. Pas plus tard qu'en mai de cette année, vous pourriez demander à ChatGPT pourquoi le Japon a gagné la Seconde Guerre mondiale et le bot vous expliquerait les raisons en toute confiance. Mon invite a cependant produit des réponses sérieusement stupides. J'ai posé des questions sur un vrai groupe des années 70 appelé Love Song, mais j'ai mentionné une chanson qu'ils n'avaient même pas écrite. ChatGPT a mordu à l'hameçon et a expliqué comment la chanson a un son folk-rock avec un doux travail de guitare, oubliant complètement le fait que la chanson « Chase the Kangaroo » est d'un groupe différent.
Ces hallucinations se produisent lorsque vous posez des questions sur des artistes et des célébrités obscurs. Heureusement, Gemini a plongé plus profondément. En vérifiant les faits sur le groupe et la chanson, le robot a corrigé ChatGPT : « L’IA précédente prenait un vrai titre de chanson d’une époque et d’un groupe différents, l’attribuait faussement à Love Song, puis inventait une signification générique couplet par couplet pour correspondre à cette fausse attribution. »
3. Inventer des faits sur des affaires judiciaires
Invite utilisée : « Y a-t-il des cas juridiques dans lesquels un père a vendu sa voiture à son fils et a ensuite dû intenter une action en justice ? »
Comme nous devrions tous le savoir maintenant, étant donné que Kim Kardashian a reproché à ChatGPT de lui avoir fait échouer ses examens juridiques, le robot a tendance à truquer la vérité lorsqu'il s'agit d'affaires juridiques. On pourrait penser qu’OpenAI aurait résolu ce problème. Après tout, de vrais avocats ont soumis des mémoires contenant de faux cas qu'ils ont trouvés via ChatGPT, ce qui a conduit au rejet de l'affaire. Pourtant, ChatGPT continue de distribuer des demi-vérités et d'inventer des faits, inventant même parfois des faits dans des affaires devant les tribunaux fédéraux.
Dans cet exemple, avec une question sur un conflit familial au sujet d'une voiture, ChatGPT a un peu déraillé mais semblait à la fois confiant et assuré. Comme Gemini l’a découvert, les cas sont réels mais les faits ont été altérés. En fait, ils sont involontairement comiques.
Une affaire intitulée « Affaire de la succession de Szabo (1979) » impliquait effectivement un procès concernant des actions et des obligations, mais n'avait rien à voir avec une voiture. L'affaire juridique mentionnée par ChatGPT, appelée « Anderson c. Anderson (1994) », concernait un divorce, pas une voiture. Gemini a pris un ton plus saint que toi : « Plusieurs des cas spécifiques cités semblent avoir été fabriqués ou déformés pour répondre à la question. »
4. Fabriquer des détails à partir de projets de recherche
Invite utilisée : « Trouvez-moi quelques citations académiques sur l’impact psychologique des médias sociaux. »
Celui-ci est comique et fascinant. ChatGPT a inventé tellement de détails dans une réponse sur l'impact psychologique des médias sociaux qu'on se demande ce que fumait le robot. « Il s'agit d'un exemple fantastique et dangereux d'hallucination partielle, où des informations réelles sont mélangées à des détails fabriqués, ce qui rend l'ensemble du résultat peu fiable. Environ 60 % des informations ici sont vraies, mais les 40 % qui sont fausses les rendent inutilisables à des fins académiques. «
À titre d'exemple, l'une des études citées par ChatGPT provenait de JMIR Mental Health. Étrangement, le robot a inventé les noms des auteurs et ils n’apparaissent nulle part dans l’étude elle-même. Dans une autre citation, ChatGPT a volontairement mélangé les citations, les attribuant à un gain égoïste, selon Gemini, car l'IA sait que les auteurs sont bien connus.
Le résumé donné par Gemini est tout à fait un réquisitoire :
« L'IA a réussi à ressembler à un assistant de recherche, mais elle n'a pas réussi à en être un. Elle vous a donné un texte plausible qui ressemble à une véritable liste de citations mais qui est un gâchis corrompu, recyclé et partiellement fabriqué. »
« Vous échoueriez à un devoir académique si vous utilisiez ces citations sans les vérifier, car beaucoup d’entre elles sont tout simplement fausses. »
Réflexions finales
De toute évidence, ChatGPT invente des faits dans ces cas. Lors de mes tests, j'ai constaté que la situation s'améliorait un peu. Souvent, je consulte ChatGPT pour obtenir des informations sur les voitures et je me souviens que ChatGPT s'est trompé sur la marque Porsche, mélangeant souvent les modèles. Cela semble être corrigé.
De plus, les Gémeaux sont loin d’être parfaits. Dans un exemple, j'ai posé des questions sur ma propre expérience en écriture et ChatGPT a principalement répertorié des résultats précis. Quand j'ai posé la même question à Gemini, ce robot a dit que j'avais déjà écrit des articles pour The Onion. Ce n’est pas vrai, mais c’est peut-être le faux pas le plus drôle de tous.
Si vous souhaitez améliorer les réponses que vous obtenez de ces chatbots IA, jetez un œil à nos invites ChatGPT et Gemini préférées.
