Après des mois de teasers, de prévisualistes et de sélection de déploiement, la vision de Copilot de Microsoft est maintenant disponible pour essayer tous les utilisateurs Edge aux États-Unis, le nouvel outil d'IA flashy est conçu pour surveiller votre écran pendant que vous parcourez afin que vous puissiez lui poser diverses questions sur ce que vous faites et obtenir des réponses utiles adaptées au contexte. La prise principale, cependant, est qu'elle ne fonctionne actuellement qu'avec neuf sites Web.
Pour la plupart, ces neuf sites Web semblent également être des choix assez aléatoires. Nous avons Amazon, ce qui a du sens, mais aussi GeoGuessr? Je suis à peu près sûr que le point de ce site est d'essayer de deviner où vous êtes sur la carte sans aucune aide. Quoi qu'il en soit, la liste complète des sites est la suivante:
- Wikipedia
- Tripadvisor
- Williams Sonoma
- Amazone
- Cible
- Wayfair
- Nourriture et vin
- Ouvable
- Geoguessr
Le PDG de Microsoft AI Mustafa Suleyman a annoncé la sortie sur Bluesky hier et a partagé quelques-uns de ses cas d'utilisation préférés.
Habituellement, lorsque vous voulez poser une question à Copilot, vous devez écrire vous-même les paragraphes de contexte, et en plus d'être lents et ennuyeux, cela peut également être assez difficile si vous essayez de poser des questions sur quelque chose que vous ne connaissez pas grand-chose.
Avec Copilot Vision, au lieu d'essayer de décrire ce que vous regardez ou de quoi vous parlez, le modèle d'IA peut le voir directement sur votre écran.
Ainsi, selon les exemples de Suleyman, vous pouvez rechercher des «feuilles respirantes» sur Amazon et demander à Copilot si l'un des résultats est fabriqué à partir de tissus appropriés. Copilot peut vous indiquer les bons ou vous donner des exemples de tissu respirant à rechercher.
Sur le site Web de la recette de la nourriture et du vin, Copilot peut vous aider à devenir mains libres pendant que vous cuisinez en répondant à vos questions et en lisant des parties de la recette pour vous. Cela fonctionne parce que toute l'expérience est conçue pour fonctionner à travers la voix – vous parlez directement à l'IA et l'IA revient.
Selon l'une des vidéos de la page Copilot Vision, cependant, il semble que vous puissiez également taper des questions et recevoir des réponses écrites.
Microsoft prend les choses très lentement et soigneusement avec cette fonctionnalité, presque certainement parce qu'elle veut éviter de déclencher une autre réaction comme elle l'a fait avec Rappel. Le nombre limité de sites compatibles est connecté aux problèmes de droit d'auteur, et la société s'assure de souligner que la fonctionnalité est «opt-in», n'enregistre pas votre écran, est uniquement activée lorsque vous l'allumez et supprime les données dès que vous terminez une session.
Si vous êtes intéressé à le tester, vous pouvez configurer les choses et voir un petit tutoriel via le site Web de Microsoft.
