Au MWC 2025, Google a confirmé que son projet expérimental Astra Assistant se déroulera largement en mars. Il semble que la fonctionnalité ait commencé à tendre la main aux utilisateurs, bien que de manière progressive, en commençant par les smartphones Android.
Sur Reddit, un utilisateur a partagé une vidéo de démonstration qui montre une nouvelle option «Share Screen with Live» lorsque l'assistant Gemini est convoqué. De plus, l'interface Gemini Live a également reçu deux nouvelles options pour le partage vidéo et d'écran en direct.
Google a également confirmé au verge que les fonctionnalités susmentionnées sont désormais sur la trajectoire de déploiement. Jusqu'à présent, Gemini n'a été capable que de sensibilisation contextuelle à l'écran gracieuseté de la fonction «Ask About Screen».
Project Astra est l'avenir de Gemini AI
Si vous n'êtes pas familier, Project Astra est l'itération la plus futuriste d'une IA qui peut comprendre le texte, l'audio, l'image, la vidéo et le flux de caméras en direct en temps réel. Le directeur de recherche de Google Deepmind, Greg Wayne, l'a comparé à un «petit perroquet sur votre épaule qui traîne avec vous et vous parle du monde».
Lorsque vous invoquez des gemini et activez l'écran de partage avec l'option en direct dans n'importe quelle application, il analysera le contenu à l'écran et répondra aux requêtes en fonction de celle-ci. Par exemple, les utilisateurs peuvent lui demander de décrire l'activité actuelle qui se déroule dans une application, de décomposer ou de résumer tout article qu'ils lisaient, ou de leur parler de la scène pendant la lecture vidéo.
La capacité la plus impressionnante est le système mondial de compréhension. Lorsque vous passez en mode live pour Gemini, il affiche désormais une option de flux vidéo qui ouvre la caméra. Dans ce mode, si vous pointez votre appareil photo dans n'importe quel objet, les Gémeaux pourront voir, comprendre et répondre aux questions en fonction de ce qu'elle voit.
Poignant la caméra à un passage de livre, demandant aux Gémeaux d'en dire plus sur un monument, en obtenant des conseils sur la décoration ou en résolvant des problèmes écrits sur une planche ou un livre – le projet Astra Upgrade de Gemini Live peut tout faire. Ce n'est pas trop différent de l'intelligence visuelle d'Apple sur les iPhones, ou de l'application Huggingsnap open source qui promet une compréhension mondiale hors ligne de l'IA.
Il semble que l'échelle de ce projet Astra Update le déploiement n'est pas trop large pour le moment. J'ai un abonnement avancé Gemini via le pack de google One AI Premium, mais ne le voyez pas encore sur aucun de mes téléphones Pixel exécutant la dernière version stable d'Android 15 ou la version bêta d'Android 16.
