Dans la dernière évolution de l’IA, nous avons dépassé la phase des simples erreurs et sommes passés à quelque chose de beaucoup plus personnel et problématique. De nouvelles recherches suggèrent que les chatbots IA ne se contentent pas de traiter vos invites. Au lieu de cela, ils établissent des profils psychologiques et vous jugent d’une manière qui pourrait tout influencer, du service client aux approbations financières.
Une étude récente publiée par l'Université hébraïque de Jérusalem (via Tech Xplore) révèle la logique cachée derrière la façon dont les grands modèles linguistiques évaluent les utilisateurs humains. Bien que nous considérions souvent ces robots comme des outils neutres, la recherche indique qu’ils sont formés pour attribuer des caractéristiques telles que la compétence, l’intégrité et la bienveillance aux utilisateurs.
Les mécanismes du jugement de l’IA
Le cœur du problème réside dans la manière dont les modèles d’IA interprètent certains signaux. L’étude a révélé que même si les humains émettent des jugements holistiques, l’IA décompose les personnes en composants, notant les traits de personnalité comme des colonnes séparées dans une feuille de calcul. Cela conduit à un style de jugement rigide, conforme aux règles, qui manque de nuances humaines.
Ce qui est encore plus préoccupant est la façon dont ces modèles décident à qui faire confiance. Dans les simulations impliquant le prêt d’argent ou l’embauche de baby-sitters, l’IA ne s’est pas contentée d’examiner les faits. Il s’agissait d’une version de la confiance qui favorisait ceux qui semblaient bien intentionnés, mais elle le faisait à travers une lentille mécanique.
Biais amplifiés et enjeux du monde réel
L’étude souligne en outre que ces jugements ne sont pas appliqués de la même manière. Les chercheurs ont découvert des biais importants dans lesquels les décisions de l’IA changeaient en fonction de caractéristiques démographiques telles que l’âge, la religion et le sexe. Ces différences apparaissaient même lorsque tous les autres détails concernant la personne étaient identiques. Dans les scénarios financiers, ces biais étaient souvent plus systématiques et plus forts que ceux observés chez les participants humains.
Ce qui est plus troublant, c'est qu'il n'y a pas d'opinion unique sur l'IA. Les chercheurs ont découvert que différents modèles portaient des jugements très différents sur la même personne, fonctionnant effectivement avec des boussoles morales différentes.
Pourquoi c'est important
Ce jugement pourrait conduire à une nouvelle forme d’anxiété numérique. Nous entrons dans une époque où vous devrez peut-être agir d’une certaine manière pour que l’IA obtienne les meilleurs résultats. Étant donné que différents modèles peuvent récompenser ou pénaliser la même caractéristique, le système d’IA spécifique choisi par une entreprise pourrait décider en toute discrétion de votre solvabilité ou de votre prochain emploi.
Alors que nous évoluons vers un monde plus automatisé, l’industrie de l’IA a besoin de plus qu’un simple code de meilleure qualité. Nous devons connaître ces jugements cachés avant qu’un assistant numérique ne nuise accidentellement à votre réputation ou à votre compte bancaire en fonction de qui il pense que vous êtes. L’objectif de l’IA devrait être de faciliter la vie, et non d’ajouter une couche de profilage que les utilisateurs n’ont pas demandée.
