Apple a mis l'industrie technologique sur un mode de bavardage non-stop avec son accord intéressant avec Google. Après avoir raté le premier battage médiatique de l'IA et le couplage provisoire avec ChatGPT, Apple place enfin Gemini (une version personnalisée sans aucune marque) aux commandes. L'idée est de réparer Siri, Apple Intelligence et l'ensemble du package Foundation Models.
Alors, qu’est-ce que cela signifie pour vous ? Pour commencer, Siri sera aussi bavard et intelligent que ChatGPT ou Gemini. Il ne se rencontrera plus dans des situations où il vous demandera de décharger vos requêtes vers ChatGPT. Et j’espère qu’il obtiendra enfin des informations exploitables dans d’autres applications. Google vient de le faire avec Personal Intelligence.
Il est assez ironique qu'Apple ait annoncé le concept « Siri plus personnel » bien avant Google, mais ait retiré la publicité et affirmé plus tard qu'un Siri omniscient prendrait du temps à se perfectionner. Avec l’arrivée de Gemini, Apple peut faire beaucoup plus, et j’en suis très excité. Mais ce que je veux vraiment, c’est qu’Apple corrige l’application Raccourcis.
Tant de potentiel gaspillé
L'application Raccourcis est l'un des coins les plus sous-estimés de votre iPhone. C'est un outil puissant qui vous surprendra en raison de l'étendue des tâches en plusieurs étapes qu'il peut accomplir. Et maintenant qu’Apple Intelligence est intégrée à l’application, elle peut réaliser des astuces extrêmement intéressantes.
D'un simple clic, il peut capturer la vidéo diffusée sur mon écran, identifier le film ou la série télévisée et me dire où je peux le diffuser. Un simple clic suffit pour transformer une capture d'écran en mémoire avec des balises de recherche personnalisées, un bref résumé du contenu et l'URL source dans l'application Notes.
Ces tâches basées sur l'IA peuvent être gérées par ChatGPT ou même par les propres modèles sur appareil d'Apple qui fonctionnent entièrement hors ligne. Vous voyez l’immense potentiel, n’est-ce pas ? Eh bien, c’est là que se termine le tableau rose. Créer des raccourcis dans l’application éponyme est une corvée angoissante pour les débutants.
Et même pour les utilisateurs expérimentés, créer une longue automatisation est une épreuve de patience. Le système de script, avec ses variables et son flux de contrôle vague, est sacrément déroutant. Vous aurez presque certainement besoin de passer par une longue explication pour les comprendre. Et même après cela, vous vous retrouverez perdu lorsque vous commencerez à créer un raccourci.
L’ensemble du système repose sur des codes et des mots clés dont vous ne réalisez même pas l’existence en premier lieu. Et ce n'est que si vous recherchez l'application spécifique dans laquelle la tâche doit être gérée que vous réaliserez « Oh, il y a une action connectée disponible ». Pourquoi ne pas utiliser ChatGPT pour décrire les étapes et les répéter simplement dans l'application Raccourcis ?
Eh bien, j'aimerais pouvoir vous dire que cela fonctionne. Mais la réalité est que ChatGPT vous plongera dans une confusion encore plus profonde avec des étapes vagues et des instructions souvent trompeuses qui n'existent tout simplement pas dans l'application Raccourcis. Il n'est pas surprenant que le plus grand nombre d'e-mails de lecteurs que je reçois dans ma boîte de réception concernent des raccourcis, des demandes de directives ou le partage du lien direct iCloud.
Les ingrédients sont déjà là
« Hey Siri, crée un raccourci qui active automatiquement le mode focus à 16 heures, désactive toutes les notifications sauf Slack et m'envoie une version résumée des conversations de groupe. » Imaginez dire cela et Siri crée un raccourci pour vous. C'est une chimère dans l'état actuel de l'application Raccourcis (et de Siri).
Mais il y a de bonnes nouvelles, qui s'appuient sur l'accord Gemini pour Siri. Apple dispose déjà d'un système qui permet à Siri et Apple Intelligence d'interagir avec les applications. En termes simples, l’IA embarquée est consciente des actions qu’elle peut entreprendre dans les applications, sans réellement ouvrir ces applications.
« Grâce à Apple Intelligence et aux améliorations apportées aux App Intents, Siri suggérera les actions de votre application pour aider les utilisateurs à découvrir les fonctionnalités de votre application et à acquérir la possibilité d'effectuer des actions dans et entre les applications », explique Apple.
Gemini peut déjà le faire, et pas seulement dans les propres applications de Google (telles que Gmail ou Calendrier), mais également dans des applications tierces telles que WhatsApp. Vous pouvez simplement demander à Gemini d’effectuer une tâche, et il la gérera comme décrit. Siri peut également le faire. Techniquement, c'est vrai.
Mais ce que je veux vraiment, c'est ce système « de la conversation à l'action » appliqué dans l'application Raccourcis. Ou pour le dire plus précisément, laissez Siri créer des raccourcis directement avec des descriptions en langage naturel. Avec un cadre en place, cela ne devrait pas poser trop de problèmes.
Je pense que Siri a été le plus grand défi jusqu'à présent, non grâce à ses capacités de compréhension du langage et de raisonnement qui sont loin derrière ce que vous expérimentez avec ChatGPT ou Gemini. Apple peut également proposer un agent qui peut aider à créer et à modifier des raccourcis à l'aide de commandes textuelles ou vocales.
Nous sommes déjà à une époque où les agents IA permettent le montage vidéo vocal sur les téléphones, la création de sites Web, de mini-jeux, etc. Avec une ou plusieurs bases solides déjà en place, c'est une opportunité fantastique pour Apple d'accorder enfin aux raccourcis le crédit qui leur revient en facilitant simplement le flux de travail.
Une idée meilleure (et plus ambitieuse)
Je viens de tomber sur la dernière annonce de Replit. La société a annoncé un outil basé sur l'IA capable de créer une application entièrement fonctionnelle et de la diffuser sur l'App Store, avec juste une description textuelle. C’est presque comme vouloir qu’une application existe.
L'idée est ambitieuse, mais tous les utilisateurs d'iPhone ne souhaitent pas se donner la peine de faire vérifier et publier une application sur la boutique Apple. Mais les raccourcis peuvent certainement bénéficier de quelque chose comme ça. Ne cherchez pas plus loin que le nouveau venu Android, Nothing.
La société a récemment lancé un outil appelé Playground, une boîte à outils basée sur l'IA dans laquelle vous pouvez simplement décrire une application et la créer. C'est une plateforme sans code qui fonctionne entièrement sur votre téléphone. Vous n'avez pas besoin d'utiliser des outils de création d'applications complexes sur un ordinateur de bureau.
Ces mini-applications peuvent être partagées avec la communauté, et vous pouvez librement en choisir une dans le tableau de bord public et la personnaliser à votre guise. Google, quant à lui, propose un outil similaire appelé Opal pour créer des applications Web à l'aide de Gemini.
Apple peut emprunter ce concept et permettre aux utilisateurs de créer des raccourcis qui peuvent également être instantanément transformés en instance d'application. Shortcuts dispose déjà d'une vaste communauté mondiale, en particulier là où les utilisateurs partagent des automatisations utiles sous forme de liens iCloud.
Mais pour de nombreux utilisateurs, faire fonctionner ces raccourcis peut être difficile, surtout s'ils souhaitent les personnaliser. Un raccourci partagé sous forme de mini-application et permettant la création de conversations (et la personnalisation) pourrait changer la donne.
Au lieu de faire confiance à des applications tierces, exécutées sur un serveur cloud ou liées à un modèle d'abonnement, les utilisateurs peuvent simplement le faire en utilisant des raccourcis (se faisant passer pour des applications). L'avantage crucial est que ces raccourcis peuvent être exécutés soit entièrement hors ligne, soit en utilisant le cloud privé sécurisé d'Apple pour les tâches basées sur l'IA.
Avec l’arrivée des Gémeaux, les possibilités sont infinies. L’expérience iPhone va changer radicalement, si l’on en croit Android. Mais si Apple pouvait procéder à une refonte similaire de l'application Raccourcis, alimentée par l'IA, cela résoudrait non seulement un problème persistant, mais donnerait également aux utilisateurs d'iPhone un avantage unique qui n'est disponible nulle part ailleurs au niveau natif sur les smartphones.
