Une nouvelle recherche suggère que la façon dont l’intelligence artificielle nous considère pourrait être un peu trop optimiste. Les chercheurs ont découvert que les modèles d'IA populaires, comme ChatGPT d'OpenAI et Claude d'Anthropic, ont tendance à supposer que les gens sont plus rationnels et logiques qu'ils ne le sont en réalité, en particulier dans les situations de réflexion stratégique.
Cet écart entre la façon dont l’IA s’attend à ce que les humains se comportent et ce que font réellement les gens pourrait avoir des implications sur la manière dont ces systèmes prédisent les décisions humaines en économie et au-delà.
Tester l’IA par rapport à la pensée humaine
Les chercheurs ont testé des modèles d’IA, notamment ChatGPT-4o et Claude-Sonnet-4, dans une configuration classique de la théorie des jeux appelée concours de beauté keynésien. Comprendre ce jeu permet d'expliquer pourquoi les résultats sont importants (via TechXplore).
Dans le concours de beauté, les participants doivent prédire ce que les autres choisiront pour gagner, et pas simplement choisir ce qu'ils préfèrent personnellement. En théorie, le jeu rationnel signifie aller au-delà des premières impressions et raisonner réellement sur le raisonnement des autres, une couche profonde de pensée stratégique avec laquelle les humains ont souvent du mal dans la pratique.
Pour voir comment les modèles d’IA se comparent, les chercheurs ont fait jouer aux systèmes une version de ce jeu appelée « Devinez le nombre », dans laquelle chaque joueur choisit un nombre entre zéro et cent. Le gagnant est celui dont le choix se rapproche le plus de la moitié du choix moyen de tous les joueurs.
Les modèles d'IA ont reçu des descriptions de leurs adversaires humains, allant des étudiants de première année aux théoriciens des jeux expérimentés, et il leur a été demandé non seulement de choisir un nombre, mais aussi d'expliquer leur raisonnement.
Les modèles ont ajusté leurs chiffres en fonction de la personne à laquelle ils pensaient faire face, ce qui montre une certaine réflexion stratégique. Cependant, ils ont systématiquement supposé un niveau de raisonnement logique chez les humains que la plupart des vrais joueurs ne présentent pas réellement, « jouant souvent trop intelligemment » et ratant ainsi la cible.
Même si l’étude a également révélé que ces systèmes peuvent adapter les choix en fonction de caractéristiques telles que l’âge ou l’expérience, ils ont encore du mal à identifier les stratégies dominantes que les humains pourraient utiliser dans les jeux à deux joueurs. Les chercheurs affirment que cela met en évidence le défi permanent consistant à calibrer l’IA en fonction du comportement humain réel, en particulier pour les tâches qui nécessitent d’anticiper les décisions d’autrui.
Ces résultats font également écho à des préoccupations plus larges concernant les chatbots d'aujourd'hui, notamment des recherches montrant que même les meilleurs systèmes d'IA ne sont précis qu'à environ 69 %, et des avertissements d'experts selon lesquels les modèles d'IA peuvent imiter de manière convaincante la personnalité humaine, soulevant des inquiétudes en matière de manipulation. Alors que l’IA continue d’être utilisée dans la modélisation économique et dans d’autres domaines complexes, il sera essentiel de comprendre en quoi ses hypothèses s’écartent de la réalité humaine.
