Une bague intelligente à faible coût montre l’avenir de la saisie en langue des signes sur les téléphones
Le segment des bagues intelligentes a considérablement évolué au cours des deux dernières années. Nous sommes entrés dans l’ère des capteurs miniaturisés prêts pour la surveillance de la pression artérielle par ultrasons . Des sociétés comme Circular adoptent une approche différente à double capteur pour mesurer les niveaux de pression artérielle et envisagent même une analyse des tendances du glucose d'ici l'année prochaine.
La détection de la santé reste cependant le domaine d’application prédominant des bagues intelligentes . Aujourd'hui, des experts de l'Université Cornell ont développé une plate-forme d'anneau intelligent capable de suivre en permanence la langue des signes américaine en temps réel et de l'envoyer en entrée aux ordinateurs et aux smartphones.
Surnommé SpellRing, il peut reconnaître la gamme complète de 26 lettres de l’alphabet anglais. Portée sur le pouce, cette bague est équipée d'un haut-parleur et d'un réseau de micros. Ensemble, ils permettent le transfert aller-retour des ondes audio générées par le mouvement de la main, tandis qu'un gyroscope mesure les données angulaires.
Accessibilité pour tous
Même si l’idée semble déjà être une victoire majeure en matière d’accessibilité, son coût pourrait encore stimuler son adoption. Le kit prototype développé par l'équipe coûte environ 30 dollars, mais ils s'attendent à ce qu'il baisse davantage lorsqu'il entrera dans la phase de fabrication de masse.
L’anneau imprimé en 3D, qui a à peu près la taille d’un quart de pièce, s’appuie sur un algorithme d’apprentissage en profondeur personnalisé pour comprendre l’image sonar créée par les capteurs embarqués. Au cours de leur analyse, les volontaires ont pu épeler environ 20 000 mots du lexique anglais.
Lorsqu'il a été testé auprès de personnes débutant dans l'apprentissage de l'ASL, ainsi que auprès de testeurs expérimentés, le SpellRing a fourni une précision allant jusqu'à 92 % dans la transformation des signes manuels en texte. "L'ASL est un langage visuel très compliqué et complexe", explique Hyunchul Lim, auteur principal de l'article détaillant le SpellRing, ajoutant qu'ils se concentrent désormais sur le réglage des algorithmes pour comprendre les mots et les phrases.
Un potentiel qui a besoin de temps pour mûrir
Selon le document de recherche, il s’agit du premier appareil portable qui intègre un système de détection inertielle avec acoustique pour offrir une commodité d’orthographe ASL en temps réel. Au cours de leurs tests, l’équipe a montré comment l’utiliser pour effectuer une recherche sur le Web sur un téléphone, gérer la navigation sur une carte et saisir du texte dans des notes.
L'équipe derrière SpellRing ne le présente pas comme une solution universelle, du moins pas dans sa forme actuelle. Au lieu de cela, ils promeuvent l’idée d’un outil de saisie de texte rapide et accessible avec ses propres avantages.
"Plus précisément, l'orthographe en ASL peut être beaucoup plus rapide que la saisie sur le clavier virtuel d'un smartphone", note le document de recherche , qui sera présenté lors de la conférence de l'Association of Computing Machinery sur les facteurs humains dans les systèmes informatiques au Japon le mois prochain.
L'équipe espère poursuivre son travail en ajoutant la prise en charge des gestes et la capacité de reconnaître des mots ainsi que des phrases. Côté matériel, ils espèrent intégrer tous les composants clés, y compris le capteur intertial (qui est actuellement monté sur une carte connectée séparée) sur une seule carte unifiée.
Par la suite, une batterie incurvée peut être installée dans le kit et éventuellement transformer le prototype en quelque chose qui ressemble à un anneau intelligent disponible dans le commerce, similaire à ceux proposés par Oura ou Samsung. L’équipe envisage également un développement et une intégration côte à côte avec des lunettes AR, afin que les gestes de la main puissent être suivis parallèlement à une interprétation basée sur la vision pour des conversations encore plus fluides.