« Hey Alexa, allume les lumières de la cuisine. » « Ok Google, rappelle-moi à 16 heures de récupérer le linge. » Les consommateurs parlent à des assistants et font leur travail depuis des années. Aujourd’hui, Microsoft se lance dans le mix, et ce changement pourrait changer à jamais la façon dont nous interagissons avec les ordinateurs. Dites bonjour au nouveau langage des PC Windows 11 : « Hey Copilot ».
Qu'est-ce qui change ?
Microsoft a annoncé aujourd'hui qu'il transformait chaque PC Windows 11 en un PC IA, et au centre de ces ambitions se trouve l'assistant Copilot AI. La société a annoncé qu'elle déployait l'accès à Copilot Vision et Copilot Voice à tous les utilisateurs. Ces deux capacités multimodales permettront aux utilisateurs d'interagir avec leur PC à l'aide de commandes vocales, une fois qu'ils auront activé la fonction de conversation dans l'application Copilot.
Ces deux fonctionnalités s'appuient sur une idée beaucoup plus ambitieuse – Copilot Actions – un système qui sera d'abord déployé en avant-première. Considérez-le comme un agent qui peut travailler en votre nom. Jusqu'à présent, les actions copilotes se sont limitées aux activités basées sur le Web. Désormais, l'IA peut gérer des tâches localement en accédant aux fichiers stockés sur votre ordinateur.
Avec une simple commande vocale, Copilot peut effectuer des actions sur les fichiers, comme extraire des informations d'un fichier PDF, ouvrir une application pour effectuer la tâche souhaitée ou rechercher des images. Tout cela se déroule de manière autonome et en arrière-plan, afin que vous puissiez vous concentrer sur d'autres tâches. C'est comme interagir avec les agents Copilot dans les applications Office, l'outil opérateur d'OpenAI, ou utiliser Claude d'Anthropic pour créer et gérer des modifications de fichiers avec des commandes en langage naturel, sans même avoir à ouvrir ces fichiers.
« Nous pensons que ce passage à la saisie conversationnelle sera aussi transformateur que la souris et le clavier en termes de développement de nouvelles fonctionnalités sur PC pour le plus grand nombre », a déclaré la société dans un communiqué de presse. Microsoft assure que lorsque Copilot fonctionne de manière autonome, les utilisateurs peuvent intervenir à tout moment et prendre le contrôle. « Lorsque des actions sensibles ou des décisions importantes sont impliquées, Copilot Actions peut demander l'approbation supplémentaire de l'utilisateur pour prendre ces mesures », indique la société.
Que peut faire Copilot ?
Avec Copilot Vision, l'assistant IA est conscient de tout ce qui clignote sur votre écran. Cela signifie qu'il peut répondre à vos questions, donner des conseils ou même des conseils dans le jeu. Cela est lié à la fonctionnalité « Faits saillants » qui guidera les utilisateurs dans toutes les tâches dont ils ont besoin. De l'aide aux retouches photo à l'élaboration de plans de voyage, il évaluera le contenu à l'écran et proposera les suggestions étape par étape nécessaires.
La compréhension va plus loin que les visuels dans les applications Microsoft, telles qu'Excel, PowerPoint et Word. Dans ces applications, Copilot Vision peut analyser l'intégralité d'une fiche technique ou d'un document et effectuer le travail. Pour les utilisateurs qui font partie du pool de test Insider, ils pourront également engager des conversations textuelles avec Copilot Vision, au lieu de simplement parler et écouter.
Le nouvel outil Ask Copilot dans la barre des tâches de Windows 11 permettra aux utilisateurs d'invoquer Copilot Vision ou Voice en un seul clic. Microsoft étend également les connecteurs Copilot, qui permettent aux utilisateurs d'accéder à l'assistant IA via des services tels que OneDrive et Outlook, ainsi que des services tiers tels que Google Drive, Gmail et Contacts. L'idée est similaire aux connecteurs ChatGPT et à une implémentation similaire dans le navigateur Comet de Perplexity. En termes simples, Copilot accédera à toutes les données stockées dans ces services et effectuera le travail, depuis la présentation des calendriers de réunions jusqu'à la recherche de documents stockés dans un lecteur cloud.
