Les chercheurs du MIT Media Lab ont découvert une utilisation véritablement époustouflante pour le capteur LiDAR installé à l’intérieur de votre iPhone et iPad Pro. Il peut détecter et suivre des objets qui se trouvent complètement en dehors du champ de vision de la caméra. Oui, cela signifie voir dans les coins.
Ce type d’imagerie, appelé imagerie sans visibilité directe (NLOS), n’est pas un concept nouveau. Mais les démonstrations passées reposaient sur des lasers de laboratoire puissants et coûteux, avec peu d’applications dans le monde réel.
Ce qui rend cette recherche passionnante, c’est que l’équipe du MIT y est parvenue en utilisant le même capteur LiDAR basse consommation déjà intégré à nos smartphones.
Comment ça marche ?
L’équipe utilise le capteur LiDAR pour nous permettre de regarder au-delà des coins et des objets qui ne sont pas directement dans notre champ de vision. La sauce secrète, c’est le mouvement. Lorsque votre appareil se déplace, le système suit simultanément la forme de l'objet, la position de l'objet et la position de la caméra au fil du temps.
L’équipe appelle cela un modèle d’échantillonnage d’ouverture, et il rassemble essentiellement une série de lectures bruyantes et imparfaites en quelque chose de significatif. Les résultats ne sont pas des photos nettes de ce qui se cache au coin de la rue. Au lieu de cela, vous obtenez des inférences progressivement plus riches. Le système peut vous dire que quelque chose est là, comment il se déplace et quelle forme il a approximativement. Pensez-y comme à l'écholocation, mais avec de la lumière.
Que peut-il réellement faire ?
L’équipe a démontré quatre capacités spécifiques : suivre un seul objet, reconstruire sa forme, suivre plusieurs objets à la fois et quelque chose de particulièrement intéressant pour la robotique, à savoir l’autolocalisation de la caméra à l’aide de points de repère cachés.
Ce dernier est un gros problème. Un robot ou un système autonome capable de s’orienter à l’aide d’objets qu’il ne peut pas voir directement présente un énorme avantage dans le monde réel. Cela peut également aider à améliorer la technologie de conduite autonome ou les drones de livraison pour des choses comme la prévention des accidents.
Malheureusement, vous ne pouvez pas essayer cela sur votre smartphone pour le moment, « car cela obligerait ces entreprises à divulguer leurs données brutes, ce qu'elles ne font souvent pas », a déclaré Siddharth Somasundaram, l'un des chercheurs de ce projet. Cela dit, les chercheurs ont rendu leur code accessible au public et le matériel du capteur peut être assemblé pour moins de 50 dollars.
