Ce qui s'est passé? Google travaillerait sur un nouvel outil Gemini (appelé « Circle Screen ») qui peut analyser l'écran de votre téléphone et l'expliquer ou le résumer automatiquement.
- L’outil pourrait remplacer efficacement l’une des fonctionnalités basées sur l’IA les plus populaires et les plus célèbres sur les smartphones : Circle to Search (via Android Authority).
- Le nouvel outil de compréhension d'écran de Google vous permet d'interroger Gemini sur tout ce qui apparaît sur l'écran de votre téléphone, y compris le texte, les images et les formules mathématiques, entre autres.
Pourquoi est-ce important ? Actuellement, les utilisateurs doivent appeler l'outil Circle to Search, mettre en surbrillance une partie de l'écran, puis recevoir des réponses pertinentes et la possibilité de poser des questions de suivi.
- Cependant, la nouvelle mise à jour s'appuie sur l'interface basée sur les gestes et l'étend.
- Au lieu de lancer une recherche, Gemini interprète désormais la sélection et produit des résumés ou des explications basés sur l'IA.
- Cela marque le passage d’une simple recherche visuelle à une expérience basée sur l’IA dans laquelle votre téléphone fournit plus de détails sur ce que vous voyez sans appeler Circle to Search ni changer d’interface.
Pourquoi devrais-je m’en soucier ? Cet ajout s'inscrit dans le cadre des efforts plus larges de Google visant à intégrer Gemini sur la plupart des points de contact sous Android (et même Wear OS).
- Le nouvel outil Gemini pourrait rationaliser la façon dont nous consommons les informations sur les smartphones, en éliminant le besoin de copier/coller, de changer d'application ou d'utiliser l'outil Circle to Search.
- Par exemple, imaginez que vous lisez une publication sur un réseau social dans une autre langue et que vous obtenez instantanément une traduction ou une explication à l'écran d'un simple geste, sans quitter l'application.
- Les étudiants ou les chercheurs peuvent prendre une capture d'écran d'un diagramme, d'une citation ou d'un paragraphe et demander à Gemini de le résumer ou de l'expliquer.
OK, quelle est la prochaine étape ? Nous devrions nous attendre à ce que davantage de téléphones Android, et pas seulement les produits phares haut de gamme ou les appareils Pixel, bénéficient de cette fonctionnalité d'analyse d'écran alimentée par Gemini.
- Au fil du temps, cela pourrait changer la façon dont nous utilisons Gemini, car ils pourraient obtenir une explication de l'IA d'un seul geste.
- Cependant, cette fonctionnalité soulève également des questions sur la confidentialité et le contrôle UX, à mesure que les appareils comprennent mieux ce qui se trouve sur votre écran.
- Plus récemment, Google a été aperçu en train d'intégrer le mode AI à Circle to Search pour fournir des réponses aux requêtes de suivi.
