Nous avons tous vu AI écrire un limerick ou une blague de papa… passable. Mais une nouvelle étude universitaire vient de faire éclater cette bulle. Il s'avère que même si les grands modèles de langage (LLM) comme ChatGPT et Gemini de Google sont excellents pour imiter la structure d'une blague, ils n'ont généralement aucune idée de pourquoi c'est drôle, surtout lorsqu'il s'agit de jeux de mots.
L'article, intelligemment intitulé « Jeu de mots involontaire : les LLM et l'illusion de la compréhension de l'humour », a examiné de près la manière dont ces robots gèrent les jeux de mots. Le verdict ? Ils font semblant. L'étude a révélé que même si l'IA peut facilement cracher une punchline qu'elle a déjà vue, elle s'effondre complètement lorsqu'elle essaie de comprendre les significations subtiles et à double niveau qui font qu'un jeu de mots atterrit réellement.
L'IA n'est pas aussi humoristique qu'elle le prétend
Voici le problème avec les jeux de mots : ils s'appuient sur la « polysémie » (des mots ayant des significations multiples) ou sur des sons similaires pour créer un choc ludique dans votre cerveau. Les humains le font sans effort. Cependant, l’IA n’est qu’une simple correspondance de modèles.
Les chercheurs l’ont prouvé en trollant essentiellement les robots. Ils ont construit deux nouveaux ensembles de tests appelés PunnyPattern et PunBreak. Ils ont pris de vrais jeux de mots et les ont légèrement modifiés – en échangeant les mots clés pour que le double sens disparaisse mais que la structure de la phrase reste la même.
Un humain saurait instantanément que la blague est ruinée. L'IA ? Il insistait souvent sur le fait que la phrase était drôle simplement parce qu'elle ressemblait à une blague qu'il avait vue pendant l'entraînement. C'est comme si quelqu'un riait d'une punchline qu'il n'avait pas entendue juste pour s'intégrer. Cela prouve que malgré leur confiance, ces modèles ne « comprennent » pas l'humour ; ils en reproduisent simplement la forme.
Mais votre assistant IA n'est pas encore un comédien
Si vous êtes un écrivain, un spécialiste du marketing ou simplement quelqu'un qui essaie de pimenter une présentation avec ChatGPT, vous souhaiterez peut-être revérifier cette copie.
Cette recherche sert d’avertissement : l’esprit généré par l’IA est souvent creux. Parce que le modèle ne comprend pas l'intention derrière le jeu de mots, il pourrait vous donner un « jeu de mots » qui n'a aucun sens, ou passer complètement à côté du sarcasme et de l'ironie. C'est la différence entre un comédien qui sait comment gérer une pièce et un perroquet qui répète une blague toc-toc. Si vous en dépendez trop pour l'écriture créative, vous risquez de publier un contenu qui semble robotique ou, pire, qui prête à confusion.
L’IA pourra-t-elle vraiment comprendre les jeux de mots ?
Les chercheurs affirment que fournir davantage de données à l’IA ne résoudra pas ce problème. Pour vraiment « comprendre » un jeu de mots, un système doit comprendre comment les mots sonnent (phonétique) et saisir le contexte culturel qui rend une tournure amusante. À l'heure actuelle, les modèles basés sur du texte n'ont pas ces oreilles ni cette expérience de vie.
L’IA du futur pourrait avoir besoin d’une refonte totale de son architecture – des systèmes hybrides capables de combiner des compétences linguistiques standard avec un raisonnement phonétique – avant de pouvoir réellement interagir avec des comédiens humains. D’ici là, la capacité de créer un jeu de mots digne d’un gémissement reste une superpuissance humaine unique.
