Regardez Meta démontrer le suivi VR de tout le corps avec juste un casque Quest

Meta Reality Labs fait de grands progrès dans le rendu des avatars avec les dernières avancées combinant l'apprentissage automatique (ML) avec les données des capteurs des casques Quest VR pour montrer tout votre corps, y compris les bras, les jambes, le torse et la tête. Le résultat est une représentation très réaliste et précise des poses et des mouvements d'une personne portant un casque Quest 2.

C'est assez étonnant puisque seules les positions et les orientations du casque Quest VR et de ses deux contrôleurs ont été utilisées pour estimer le mouvement et la position des jambes. Il n'y a pas de bandes de suivi placées sur les jambes et pas de caméras externes utilisées pour ce système remarquable. Le méta-chercheur scientifique Alexander Winkler a partagé plusieurs vidéos sur Twitter ainsi que des liens vers l'article scientifique sur arXiv et une vidéo YouTube avec plus de détails.

Au sens scientifique, cela s'appelle le suivi de mouvement à partir de capteurs clairsemés et ML est particulièrement apte à extraire des informations significatives à partir de très peu, s'il existe suffisamment de dépendances entre ce qui est connu et ce qui est inconnu. Puisque nous balançons nos bras pour garder l'équilibre lorsque nous marchons et courons, le mouvement des bras est un bon indicateur de ce que font habituellement les jambes. Combiné avec l'inclinaison et la direction de la tête, le système ML peut prédire très précisément la plupart des mouvements humains.

Les approches plus traditionnelles de suivi des membres reposent sur du matériel supplémentaire, comme des marqueurs réfléchissants placés sur vos jambes et votre torse qui sont identifiés par des caméras externes, ou des bandes avec des balises sans fil portées à divers endroits sur vos jambes pour transmettre des données de position et de mouvement.

Bien que ces méthodes fonctionnent, elles sont généralement vendues en tant qu'accessoires qui coûtent plus cher et ne sont pas bien prises en charge dans la plupart des applications et des jeux. Si Meta peut obtenir de si bons résultats avec un casque Quest 2, les développeurs seront plus enclins à intégrer le suivi corporel dans leurs jeux et applications.

Malgré ces avancées significatives, Meta Reality Labs admet qu'il reste du travail à faire. Si vous vous déplacez assez rapidement, le modèle ML ne parvient pas à identifier correctement votre pose. Les positions inhabituelles sont difficiles à estimer par l'ordinateur et si l'environnement virtuel comporte des obstacles qui n'existent pas dans la réalité, le mouvement ne correspondra pas. L'effet global semble être très bon, cependant, et ce serait une bonne mise à niveau de pouvoir voir un corps entier au lieu de torses flottants lorsque vous discutez avec des amis en VR.

Espérons que cette technologie sera bientôt prête à être lancée. Avec l'annonce du casque Meta Quest Pro attendue dans quelques semaines, le timing pour les avatars complets semble parfait. Le Meta Quest Pro peut suivre les mouvements des yeux et les expressions faciales, offrant un sentiment de présence amélioré à vos amis, votre famille et vos collègues qui pourraient être grandement améliorés dans un proche avenir.