Comment une entreprise donne des super pouvoirs à votre montre intelligente Wear OS

"Il s'agit de construire le prochain écran tactile", a déclaré Ohto Pentikäinen, PDG d'une société appelée Doublepoint , en présentant Digital Trends à son fascinant système de contrôle gestuel de nouvelle génération. La meilleure façon d’y voir est la fonction Double Tap d’Apple sur les stéroïdes.

J'ai discuté avec Pentikäinen lors d'un appel vidéo pendant le CES 2024 pour en savoir plus.

Plus qu'une application

Vous avez peut-être déjà vu l'application Doublepoint lancée pour Wear OS, appelée Wow Mouse , au CES 2024, mais ce n'est que le début de ce sur quoi l'entreprise travaille. Wow Mouse ajoute un contrôle gestuel à votre montre intelligente Wear OS, la transformant ainsi en une souris sur votre poignet qui utilise les mouvements des doigts et du poignet pour fonctionner. Mais Wow Mouse est une démonstration relativement basique de ce sur quoi travaille Doublepoint.

« Nous proposons quelque chose de beaucoup plus complet », a déclaré Pentikäinen lorsqu'on lui a posé des questions sur l'application Wow Mouse, « et nous pouvons faire bien plus qu'un simple clic. La plus grande chose que notre matériel actuel est capable de faire est de pincer et de maintenir, ce qui signifie que vous pouvez réellement faire défiler et manipuler des objets.

Doublepoint appelle ces « micro-gestes » et ils incluent tout : appuyer pour sélectionner, appuyer pour faire défiler et appuyer deux fois. Avoir des gestes supplémentaires qui vont au-delàdu geste de double pincement de Double Tap est très attrayant et explique pourquoi Pentikäinen a comparé la technologie à un écran tactile, car elle reproduit bon nombre des mêmes gestes que nous utilisons déjà sur eux.

Alors, comment fonctionne le système Doublepoint ?

Comment fonctionnent ces gestes

"Le fonctionnement de la détection des micro-gestes est différent du suivi des mains basé sur la vision par ordinateur", a expliqué Pentikäinen, en utilisant une comparaison familière. « Cela utilise l'appareil photo pour calculer la pose de votre main, et il le fait toutes les millisecondes ou quelle que soit la fréquence d'images lorsque vos doigts se touchent. La façon dont nous détectons le toucher utilise l’unité de mesure inertielle.

L'unité de mesure inertielle (IMU) ressemble à un élément matériel spécial, mais en fait, elle comprend simplement un accéléromètre, un gyroscope et un magnétomètre. En d’autres termes, des capteurs centraux que l’on retrouve dans presque toutes les montres intelligentes et autres appareils portables .

"Il recherche une vibration provoquée lorsque vos doigts se touchent", a déclaré Pentikäinen, auquel cas les algorithmes de Doublepoint différencient ensuite cette vibration de toutes les autres vibrations qui se produisent lorsque vous bougez vos doigts. Cependant, le geste innovant de pincement et de maintien, très inhabituel et essentiel à l'attrait de l'algorithme, est un peu différent et bien plus compliqué.

« Pour le pincement et le maintien, nous devons également savoir quand vos doigts sont maintenus ensemble, et nous utilisons en fait la surveillance des tendons pour cela. Nous utilisons le capteur optique de fréquence cardiaque non pas pour observer les muscles, mais les tendons qui relient votre doigt au muscle, et c'est le mouvement qui nous indique quand vous arrêtez de toucher », a-t-il déclaré.

Configuration et précision

Une partie du succès du Double Tap d'Apple réside dans le fait qu'il fonctionne sans aucune configuration ni configuration et qu'il est également très précis. Qu'en est-il du système de Doublepoint ?

« Dès le début, nous voulions en faire l'un de nos arguments de vente : nous n'aurons besoin d'aucune configuration et, lorsque vous l'installez, il fonctionne instantanément. Cela signifie que nous devons mettre en place un processus pour collecter des données auprès d'une grande variété de personnes et prendre en compte des facteurs pertinents tels que l'indice de masse corporelle (IMC), l'âge et les niveaux de mélatonine. Nous avons pu atteindre des niveaux de précision très, très bons. Presque entre 97 et 98 %. Bien sûr, il reste encore beaucoup de travail à faire », a-t-il déclaré.

Ce qui est également intéressant, c'est qu'une montre intelligente dotée de la reconnaissance gestuelle de Doublepoint peut être associée à d'autres appareils Bluetooth, tels que ceux dotés d'un suivi oculaire, afin qu'ils fonctionnent ensemble. Cela rend les systèmes de contrôle comme celui-ci plus naturels et plus privés, car il n'est pas nécessaire de recourir à la reconnaissance vocale comme solution de secours ou alternative.

Qualcomm est intéressé

Les commandes gestuelles n'ont rien de nouveau , mais il ne fait aucun doute que le système Double Tap d'Apple a récemment ravivé l'intérêt pour elles. Et il est probable qu'il retiendra davantage d'attention une fois le casque Vision Pro sorti, car d'autres systèmes concurrents pourraient essayer des choses nouvelles et différentes pour rendre le contrôle des casques plus facile et plus intuitif. Il n'est donc probablement pas surprenant d'apprendre que Qualcomm s'intéresse à la technologie de Doublepoint.

"Nous avons un accord de fournisseur avec Qualcomm", a révélé Pentikäinen. "Cela signifie que l'idée est d'intégrer nos algorithmes dans des puces Qualcomm, et ils fournissent bien sûr ces puces à de nombreux fournisseurs de montres et de trackers de fitness différents aujourd'hui."

Outre Qualcomm, l'entreprise travaille également avec des sociétés de capteurs pour intégrer son algorithme dans le capteur lui-même. Ensuite, il y a la propre plate-forme de référence de montre intelligente de l'entreprise, qui, selon Pentikäinen, « est conçue pour donner aux gens une idée de ce que nous pouvons faire avec [les algorithmes] et montrer comment nous l'intégrerions dans un produit ».

À venir?

Cela signifie-t-il qu'une nouvelle montre intelligente dotée de la technologie gestuelle et de pincement et maintien de Doublepoint qui vous permet de faire défiler, glisser, modifier des valeurs comme le volume ou la luminosité sera bientôt disponible ?

"Nous n'avons pas de calendrier confirmé quant au moment où nos partenaires pourront commercialiser leurs produits, mais je dirais que ces choses évoluent actuellement très rapidement", a déclaré Pentikäinen.

À plusieurs reprises au cours de notre brève conversation, Pentikäinen a fait des comparaisons entre le système de contrôle gestuel de Doublepoint et l'écran tactile, et nous avons terminé par une meilleure explication de la raison pour laquelle il les avait faites.

"L'écran tactile a commencé avec le téléphone, et maintenant nous le voyons partout", a-t-il déclaré. «Cela a permis de créer toutes sortes de nouveaux appareils. Apple a doublé la reconnaissance des gestes l'année dernière et a essentiellement montré que les gestes allaient être un moyen essentiel d'amélioration. Donc pour nous, nous voulons simplement permettre cela au plus grand nombre d’entreprises possible, en utilisant ce que nous pensons être le prochain écran tactile.

Bien que nous devions attendre l'arrivée d'une montre intelligente dotée de la technologie Doublepoint, vous pouvez essayer une version de base via l' application Wow Mouse , qui est prête à être téléchargée via Google Play pour certaines montres intelligentes Wear OS dès maintenant.