Taper sur un clavier virtuel flottant dans les airs semble cool jusqu'à ce que vos bras lâchent. C'est la réalité de nombreux casques AR (réalité augmentée) et MR (réalité mixte) aujourd'hui. Soit vous tâtonnez avec les contrôleurs portables, soit vous tenez les mains trop longtemps, ce qui provoque de la fatigue.
Les chercheurs de l'Université du Tohoku pensent avoir trouvé une meilleure solution. L'équipe a développé un système qui transforme n'importe quelle surface plane ordinaire en une zone de saisie tactile pour les casques AR et MR. Pas de capteurs supplémentaires. Pas de marqueurs spéciaux. Rien à mettre en place.
Comment ça marche ?
Lorsque vous appuyez le bout de votre doigt contre une surface dure, la peau sous votre doigt devient blanche pendant un bref instant. Ce phénomène est connu sous le nom d’effet blanchissant et les chercheurs ont développé une méthode pour l’identifier à l’aide des caméras des casques.
Les chercheurs ont entraîné un modèle d’IA pour détecter ce changement de couleur en temps réel. Lorsque la caméra reconnaît un effet de blanchiment, elle enregistre une entrée tactile, qui correspond à tout ce qui est affiché sur la surface dans l'environnement AR.
« Cette recherche signifie que les surfaces ordinaires tout autour de nous, murs, bureaux ou cloisons, peuvent être utilisées comme zone de saisie tactile », a déclaré Guanghan Zhao, qui a dirigé l'étude. « De plus, cette méthode ne nécessite pas de capteurs spéciaux, de marqueurs ou de dispositifs supplémentaires. N'importe qui peut l'utiliser facilement. »
Est-ce que ça marche bien ?
Les études menées auprès des utilisateurs dans le cadre de la recherche ont révélé que le système détectait de manière fiable les entrées tactiles sur plusieurs matériaux de surface courants et que les participants effectuaient des tâches d'interaction avec précision.
« Notre objectif principal était de développer une technologie permettant la saisie tactile sur des surfaces physiques quotidiennes pour la RA et la MR sans avoir besoin de matériel spécial », a déclaré Guanghan. Et poser ses doigts sur une surface est bien plus confortable que de tenir ses mains en l’air.
Les résultats ont été présentés lors de la 33e conférence IEEE sur la réalité virtuelle et les interfaces utilisateur 3D en Corée du Sud la semaine dernière. L'article a également été approuvé pour publication dans la bibliothèque numérique de l'IEEE Computer Society.
