Google serait en train de construire une mise à niveau importante pour son assistant d'IA génératif Gemini, qui pourrait le faire passer d'un assistant conversationnel à quelque chose de plus proche d'un agent de travail réel. Lors d'un récent démontage bêta du code de l'application Google par 9to5Googleles développeurs ont découvert des chaînes pointant vers une fonctionnalité connue en interne sous le nom d'« automatisation de l'écran ». Cela suggère que Gemini pourrait bientôt prendre des mesures directes en votre nom dans certaines applications Android, telles que passer des commandes ou réserver des trajets, sans que l'utilisateur n'ait à appuyer manuellement sur les écrans.
Alors que Gemini gère déjà des tâches conversationnelles telles que la rédaction d'e-mails ou la génération de plans de recherche, cette mise à niveau semble prête à lui permettre d'interagir littéralement avec les interfaces des applications, en appuyant sur les boutons et en naviguant sur les écrans pour terminer les tâches que vous effectuez habituellement vous-même. Les premières preuves de la version bêta suggèrent que ces capacités seront initialement limitées à une poignée d'applications prises en charge et mettront l'accent sur la supervision des utilisateurs, Google avertissant que « Gemini peut faire des erreurs » et que les utilisateurs restent responsables des actions prises en leur nom.
Comment cette mise à niveau fait passer l'IA d'assistant à agent
Le concept derrière l’automatisation des écrans constitue une étape majeure vers une plus grande autonomie de l’IA dans les flux de travail numériques quotidiens. Au lieu de simplement suggérer ce que vous pourriez faire, Gemini pourrait bientôt exécuter ces choix directement dans les applications pour vous. Les premières chaînes de code de la version bêta de Google indiquent également des précautions en matière de confidentialité, telles que conseiller aux utilisateurs de ne pas saisir d'informations de connexion ou de paiement dans les chats AI et avertir que les captures d'écran peuvent être révisées pour améliorer la fonctionnalité. Google propose déjà certaines fonctionnalités d'agent via sa plate-forme Gemini Agent dans Workspace et Web, où l'IA peut gérer des flux de travail complexes et coordonner entre les services, mais l'automatisation des écrans pourrait intégrer ces capacités directement dans les smartphones et l'utilisation quotidienne des applications.
Si ces fonctionnalités étaient largement déployées, cela pourrait marquer un changement dans la façon dont les gens interagissent avec les appareils mobiles, passant du simple toucher et glisser leur doigt à l'autorisation des outils d'IA d'agir en leur nom. Cela peut faciliter les tâches quotidiennes, mais cela soulève également des questions en matière de contrôle, de sécurité et de surveillance, en particulier lorsque l'automatisation touche des tâches sensibles telles que les réservations ou les ordres financiers.
Google positionnerait ces mises à niveau comme facultatives et supervisées, permettant aux utilisateurs d'arrêter ou de remplacer Gemini à tout moment. Pour l’instant, cependant, la fonctionnalité d’automatisation d’écran reste en développement et n’est pas encore arrivée dans des versions stables.
