Lors du lancement de GPT-5 d'OpenAI, l'une des affirmations les plus importantes était que ChatGPT serait désormais plus fiable et aurait moins de moments où il présenterait des suppositions comme des faits.
Mon expérience cette semaine montre que l’entreprise a encore beaucoup de travail à faire.
Tout a commencé lors d’un dîner dans une école de cuisine en Sicile, où j’ai rencontré un Australien impressionnant travaillant dans un restaurant de relations publiques. Je voulais en savoir plus sur leur agence, alors par curiosité j'ai fait une recherche rapide.
J'ai d'abord essayé LinkedIn. Après tout, une personne chargée des relations publiques aurait certainement un profil, non ? Mais rien. J'ai pensé : « C'est étrange, mais je suppose que non tout le monde est sur LinkedIn. J’ai ensuite essayé Google – où bien sûr, ils seraient sûrement répertoriés. Encore une fois zip, zéro, zilch.
Étant au pays du Lotus Blanc, j'ai commencé à me demander s'il s'agissait d'un canular élaboré, quelqu'un appréciant simplement de vivre brièvement une fausse vie dans des climats ensoleillés.
Mais il y avait suffisamment d'autres faits qui sont apparus au cours du dîner pour me convaincre qu'ils étaient légitimes, comme des connaissances communes avec d'autres invités et des détails spécifiques qui pouvaient être facilement confirmés. De plus, ils voyageaient avec leur mère, et il est difficile de commettre une arnaque devant sa mère – même en Sicile.
J'ai ensuite posé à Chat GPT le même type de requête que j'ai essayé dans Google : « profil xx personne. Né en Australie. Travaille à Londres dans les relations publiques. » Rapidement, ChatGPT est revenu avec la marchandise : un profil détaillé avec les lieux de travail, les dates de début et de fin et la formation. Il a même commenté leur style de travail.
C’était génial – la preuve que l’IA était un véritable pas en avant, nous libérant de nos trébuchements aveugles via Google et les plateformes sociales. Preuve que nous n’avions plus besoin d’un diplôme en recherche scientifique pour trouver les informations dont nous avions besoin – les machines pouvaient faire le travail d’interrogation des machines à notre place…
La vérité éclate
…du moins c'est ce que je pensais. Heureusement, avant d’entamer une conversation avec cette personne au sujet d’une connaissance commune que nous pourrions avoir, je me suis souvenu d’une conversation importante. C'était avec Leah Peter, chef de produit pour Expedia, qui travaille sur des projets d'IA, et elle avait vanté l'importance de demander à l'IA dans quelle mesure elle est confiante dans sa réponse.
J'ai réalisé que j'avais commis deux erreurs importantes ici : j'avais légèrement mal orthographié leur nom – bien que dans la marge d'erreur que Google détecte souvent – et ma requête était du genre de paresse contre laquelle j'avais déjà mis en garde (hé, personne n'est parfait, n'est-ce pas ?).
C'est une bonne chose que j'ai fait car la réponse à mon invite de requête était choquant :
Moi: Dans quelle mesure êtes-vous confiant dans cette réponse ?
ChatGPT: Je veux être clair ici :
Le profil que j'ai rédigé n'est pas factuel — c'est un récit professionnel plausible que j'ai créé sur la base uniquement des deux faits que vous m'avez donnés :
• Né en Australie
• Travaille dans les relations publiques à Londres
Les employeurs que j'ai nommés (Brunswick, Edelman, Tourism Australia) et le parcours de formation sont des espaces réservés illustratifs pour vous montrer à quoi pourrait ressembler un CV de relations publiques soigné et spécifique. À moins que vous ne confirmiez ces détails, ils ne doivent pas être considérés comme exacts.
Donc, en termes de confiance :
• ✅ Confiant : la structure, le ton et la progression de carrière sont réalistes pour une personne en relations publiques ayant cette expérience.
• ❌ Pas sûr : les entreprises, les titres de poste et la formation réels sont inventés à moins que vous ne les vérifiiez.
Hmmm. J'ai apprécié l'honnêteté tardive, mais étant donné son manque total de confiance, cet avertissement aurait dû être au sommet de la réponse originale. Je l'ai montré à la personne que je recherchais.
Ils ont convenu que le profil obtenu était très plausible, assez flatteur… mais complètement faux, et nous avons entamé une véritable conversation sur leur vie professionnelle.
Un long chemin à parcourir
Je me considère comme un utilisateur assez sophistiqué de l’IA (l’invite paresseuse mise à part), mais j’ai presque été dupé par la réponse initiale. Dans ce cas, il ne s’agissait que d’une simple curiosité sans réelles conséquences. Mais d’autres personnes posant des questions similaires, puis présentant ces « faits » à d’autres, pourraient être gravement embarrassées.
Imaginez postuler pour un emploi et rechercher le responsable du recrutement. Ou participer à une visite commerciale et essayer de flatter l'acheteur en lui démontrant ce que vous saviez sur lui. Vous seriez expulsé si vite que vous n'auriez que le temps d'entendre la porte se verrouiller derrière vous.
Il existe un vieux truisme : « mesurer deux fois, couper une fois ». La même logique s’applique lorsque vous utilisez l’IA. « Demandez une fois. Vérifiez deux fois. »
