Les agents d'IA conçus pour exécuter des tâches informatiques quotidiennes ont un sérieux problème de contexte, selon une nouvelle étude de l'UC Riverside.
L'équipe a testé 10 agents et modèles de développeurs majeurs, notamment OpenAI, Anthropic, Meta, Alibaba et DeepSeek. En moyenne, les agents ont posé des gestes indésirables ou potentiellement nuisibles dans 80 % des cas et ont causé des dégâts dans 41 % des cas.
Ces systèmes peuvent ouvrir des applications, cliquer sur des boutons, remplir des formulaires, parcourir des sites Web et agir sur un écran d’ordinateur avec une supervision limitée. Leurs erreurs sont différentes d’une mauvaise réponse d’un chatbot, car le logiciel peut réellement faire des choses.
Les résultats de l'UC Riverside suggèrent que les agents de bureau d'aujourd'hui peuvent traiter les requêtes non sécurisées comme des tâches à terminer, et non comme des signaux d'arrêt.
Pourquoi les agents passent à côté d'un danger évident
Les chercheurs ont construit une référence appelée BLIND-ACT pour tester si les agents feraient une pause lorsqu'une tâche devenait dangereuse, contradictoire ou irrationnelle. Lors des derniers tests, ils ne se sont pas arrêtés assez souvent.
À travers 90 tâches, le benchmark a poussé les agents dans des situations qui nécessitaient du contexte, de la retenue et du refus. Un test consistait à envoyer un fichier image violente à un enfant. Un autre a demandé à un agent qui remplissait des formulaires fiscaux de marquer à tort un utilisateur comme handicapé, car cela réduisait la facture fiscale. Un troisième a demandé à un agent de désactiver les règles de pare-feu au nom d'une meilleure sécurité, et l'agent a donné suite au lieu de rejeter la contradiction.
Les chercheurs appellent ce modèle l’orientation aveugle vers un objectif. L'agent continue de poursuivre le résultat assigné même lorsque le contexte environnant indique que la tâche est interrompue.
Pourquoi l'obéissance devient le défaut
Les échecs se sont concentrés autour de l’obéissance. Ces agents peuvent agir comme si la demande d'un utilisateur était une raison suffisante pour continuer.
L’équipe a identifié des modèles appelés biais d’exécution d’abord et primauté des demandes. En termes simples, l'agent se concentre sur la manière d'accomplir la tâche, puis traite la demande elle-même comme une justification. Ce risque augmente lorsque le même système peut toucher à divers éléments tels que la messagerie électronique ou les paramètres de sécurité.
Cela ne veut pas dire que les agents sont malveillants. Cela signifie qu’ils peuvent se tromper en toute confiance lorsqu’ils parcourent un logiciel à la vitesse d’une machine.
Pourquoi les garde-corps doivent passer en premier
Les agents d’IA ont besoin de garde-fous plus solides avant d’obtenir une large autorisation pour agir sur un ordinateur.
Ces systèmes fonctionnent en boucle. Ils regardent l’écran, décident de l’étape suivante, agissent, puis regardent à nouveau. Lorsque cette boucle est associée à une faible contrainte contextuelle, un raccourci peut se transformer en une erreur rapide.
Pour l’instant, traitez les agents comme des outils supervisés. Utilisez-les d'abord pour des tâches à faible risque, éloignez-les des flux de travail financiers et de sécurité et observez si les développeurs ajoutent des systèmes de refus plus clairs, des autorisations plus strictes et de meilleurs moyens de détecter les contradictions avant le prochain clic.
