Malgré tout le bruit autour de la conquête des échecs par l'IA, et maintenant même du codage, il y a encore une faiblesse assez flagrante cachée sous ces victoires. L’IA est encore assez mauvaise pour gérer un nouveau jeu vidéo qu’elle n’a jamais vu auparavant.
L’argument principal d’un nouvel article de NYU explique comment ces jalons qui ont fait la une des journaux ont brossé un tableau trompeur de la proximité des machines avec la véritable intelligence générale.
La distinction compte vraiment.
Chess and Go sont des réalisations impressionnantes, mais ce sont des jeux avec des règles fixes et un environnement structuré, comparés aux jeux vidéo modernes complexes. NYU note que l’IA n’a pas encore maîtrisé l’intelligence humaine car elle ne peut pas bien s’adapter.
Là où l’IA fait défaut
Selon les chercheurs, bon nombre des plus grands succès de l’IA en matière de jeu reposent sur des systèmes parfaitement adaptés à un jeu spécifique. Dans ces limites définies, l’IA peut devenir surhumaine. Mais dès qu’il y a de légers changements dans les règles ou les environnements, ses performances impressionnantes peuvent s’effondrer.
C’est là qu’interviennent les jeux vidéo comme véritable test de leur intelligence. Les jeux ne sont pas unidimensionnels et nécessitent souvent un large éventail de compétences, notamment le raisonnement spatial, la planification à long terme, l'apprentissage par essais et erreurs et même l'intuition sociale. Le rapport affirme que cette variété fait du jeu une bien meilleure mesure de l’intelligence flexible que les tâches de référence isolées.
L’apprentissage par renforcement et les LLM se heurtent tous deux à un mur
Le document de recherche ajoute que l’apprentissage par renforcement peut produire des résultats impressionnants, mais que des objectifs acceptables ne sont atteints qu’après des millions ou des milliards d’exécutions simulées. Le système devient ainsi un expert de la situation exacte pour laquelle il est formé. Mais tout cela s’effondre lorsque des changements sont introduits. Même quelque chose d'aussi simple qu'un changement de couleurs ou un objet repositionné sur un écran peut le briser.
Les LLM (Large Language Models) ne résolvent pas non plus ce problème. NYU dit qu'ils fonctionnent étonnamment mal sur des jeux inconnus. Lorsqu'il commence à bien fonctionner, c'est généralement dans un échafaudage personnalisé spécifique au jeu pour interpréter les états du jeu, gérer la mémoire et exécuter des actions. Supprimez ce support supplémentaire et les performances chutent rapidement.
La vraie référence
Les chercheurs soutiennent qu’une véritable IA de jeu devrait apprendre un nouveau jeu à partir de zéro dans à peu près le même temps qu’un joueur expérimenté. Peut-être des dizaines d’heures, sans simulation massive ni exposition préalable. Tout cela dépasse les capacités des systèmes actuels.
Et c’est pourquoi cela compte au-delà du jeu. Si l’IA ne peut pas s’adapter de manière fiable à un tout nouveau jeu vidéo, elle est encore moins susceptible de gérer l’imprévisibilité du monde réel. Les échecs peuvent encore faire la une des journaux, mais les jeux modernes montrent jusqu'où l'IA doit encore aller.
