Pendant la pandémie, la Commission américaine de sécurité des produits de consommation a enregistré une augmentation de 48 % des blessures liées à l'exercice à la maison. On pourrait penser que le coupable était un mauvais équipement, mais c’était une mauvaise forme. Les gens n’avaient pas d’entraîneur pour corriger la situation.
Des chercheurs de l'Université Drexel et de l'Université d'État du Michigan ont construit un prototype qui résout exactement ce problème, en temps réel, à l'aide de l'appareil photo de votre téléphone, et il existe un réel potentiel pour qu'il devienne une application de fitness légitime à l'avenir (via Tech Xplore).
Comment s’appelle le système et comment fonctionne-t-il ?
Le système, appelé BioCoach, a été présenté lors de la conférence sur la vision par ordinateur et la reconnaissance de formes en juin 2026. Il utilise l'IA et la vidéo en direct (via une caméra) pour vous regarder faire de l'exercice, analyser la mécanique de votre corps et fournir des corrections spécifiques basées sur la biomécanique.
Pour ce faire, le système traite la vidéo via deux flux parallèles : le premier utilise un réseau neuronal convolutif 3D pour capturer votre apparence visuelle et les schémas de mouvements de votre corps, tandis que le second reconstruit votre squelette en trois dimensions, analysant les angles de vos articulations, l'amplitude de mouvement et la phase du mouvement dans lequel vous vous trouvez.
Avant de vous proposer un feedback, BioCoach identifie quelles articulations sont les plus impliquées dans l'exercice que vous effectuez. Par exemple, si vous effectuez des pompes, il surveillera spécifiquement vos épaules, vos coudes et vos poignets, proposant des corrections personnalisées.
Et je ne parle pas des commentaires génériques « gardez le dos droit » proposés par la plupart des applications de fitness. Le prototype va au-delà des attentes, offrant des conseils anatomiquement précis comme « augmenter la flexion du coude à 90 degrés en bas ».
Comment s’est-il comporté face à la concurrence ?
L'équipe de recherche a formé BioCoach sur l'ensemble de données vidéo d'exercices de Qualcomm, avec plus de 200 vidéos réannotées et plus de 2 400 nouvelles notes, pour apprendre à BioCoach à expliquer non seulement ce qu'il faut réparer, mais aussi pourquoi c'est important.
BioCoach a déjà été testé avec des programmes similaires de Nvidia, ByteDance, Alibaba, Salesforce, OpenAI et MIT, entre autres. Il a surpassé Stream-VLM, un programme du MIT et de Nvidia, en termes de qualité du texte et d'exactitude jugée. Il a également montré des améliorations dans la précision du feedback spécifique à l’anatomie.
Pour l’instant, le système est encore un prototype, mais l’équipe travaille à ajouter la possibilité d’estimer les forces de réaction articulaires et les schémas d’activation musculaire, le tout à partir d’un flux vidéo.
La recherche a été soutenue par la National Science Foundation, et c'est pourquoi je crois fermement que BioCoach pourrait être développé dans une application révolutionnaire pour smartphone, qui propose des mesures correctives personnalisées et encourage la bonne forme et la bonne posture, évitant les blessures douloureuses et des programmes d'entraînement durables pour les personnes, qui fonctionnent aussi bien à l'intérieur qu'à l'extérieur.
BioCoach est plus avancé que la plupart des coachs fitness basés sur l'IA disponibles
Pour vous donner un peu de contexte, Apple Fitness+ et Mirror proposent tous deux des programmes d'entraînement vidéo, mais les commentaires sont préenregistrés et non dynamiques comme ce que propose BioCoach.
Le matériel de Peloton propose une caméra de suivi des mouvements qui compte les répétitions et signale les problèmes, mais il nécessite un équipement dédié comme Bike+, Tread+ ou Row+, et n'explique pas le raisonnement derrière les corrections de formulaire et comment elles peuvent vous être bénéfiques.
De même, Health Coach de Google et Samsung Health analysent les signaux biométriques tels que la fréquence cardiaque et la cadence d'activité pour suggérer certaines améliorations, mais ils ne peuvent pas vous voir bouger et ne fournissent donc aucune indication pour votre formulaire.
BioCoach, en revanche, est le premier système à combiner la reconstruction squelettique 3D avec un modèle de langage expliquant les conséquences mécaniques de chaque correction. Si jamais elle arrive sur votre téléphone en tant qu'application grand public, ce que j'espère sincèrement, elle pourrait rendre un véritable coaching expert accessible à toute personne possédant un appareil photo.
