Suffit-il de regarder le menton ? Voici le collier qui reconnaît les langues muettes

Imaginez si vous étiez assis dans une salle de conférence ou une bibliothèque où vous pouviez entendre des aiguilles et laisser échapper « Siri, regarde le temps qu'il fera demain », ce qui pourrait ne pas être approprié.

Que faire lorsqu'une personne ne peut pas parler ou doit se taire mais doit donner des instructions à un appareil intelligent ?

À cette fin, Cheng Zhang, professeur adjoint de sciences de l'information à l'Université Cornell, et Ruidong Zhang, doctorant, ont conçu un collier appelé "Speechin" .

Basé sur les mouvements de la mâchoire, il capture "des images de déformation du cou et de la peau du visage" pour reconnaître le langage silencieux et reconnaître actuellement des phrases simples en anglais et en chinois.

La caméra infrarouge de SpeeChin est montée sur un "étui à collier" imprimé en 3D, suspendu à une chaîne en argent, la caméra pointant vers le menton du porteur. Pour améliorer la stabilité, les développeurs ont conçu des "ailes" sur les côtés et ont placé une pièce de monnaie en bas.

En plus de cela, SpeeChin est également équipé d'un microprocesseur, d'une batterie et d'un module Bluetooth.

À l'aide d'algorithmes basés sur l'apprentissage automatique, l'appareil peut déterminer les commandes que le porteur prononce silencieusement, en fonction des mouvements de la mâchoire du porteur, et relayer ces commandes à un smartphone couplé, un peu comme Siri dans une autre forme de communication. .

Afin d'éviter les problèmes de confidentialité, SpeeChin ne s'accroupira que sous le menton et ne pointera pas directement vers le visage de l'utilisateur.

Dans un essai initial de 20 participants (10 parlant anglais, 10 mandarin), les chercheurs ont mesuré la position de base de leurs mâchoires, puis ont utilisé des images différentielles pour entraîner SpeeChin à reconnaître des commandes simples.

10 participants anglophones ont dit silencieusement 54 commandes, y compris des chiffres, des commandes interactives, des commandes d'assistant vocal, des commandes de ponctuation et des commandes de navigation, tout comme 44 commandes des 10 autres participants parlant mandarin.

Il s'avère que SpeeChin reconnaît les commandes en anglais et en mandarin avec une précision moyenne de 90,5 % et 91,6 %, respectivement. Les chercheurs disent que l'appareil a le potentiel d'apprendre les modèles de parole silencieuse d'une personne.

Les chercheurs ont également demandé à six participants de dire silencieusement 10 phrases en mandarin et 10 phrases en anglais en marchant. L'étude a eu un faible taux de réussite, principalement parce que la tête des participants bougeait de manière imprévisible.

Pourquoi la reconnaissance vocale silencieuse sous forme de colliers ? Un chercheur a précisé le but de son étude :

Nous considérons les colliers comme une forme à laquelle les gens sont habitués, plutôt que comme des dispositifs supra-auriculaires, qui peuvent être inconfortables ; quant à la voix silencieuse, les gens pourraient penser "J'ai déjà un appareil de reconnaissance vocale sur mon téléphone". Mais vous devez parler pour certaines personnes et situations où vous ne pouvez pas.

Il convient de mentionner que SpeeChin est similaire en apparence à NeckFace . NeckFace, un appareil introduit l'année dernière par Cheng Zhang et son équipe SciFi Lab, suit en continu les expressions faciales en utilisant une caméra infrarouge pour capturer des images de la mâchoire et du visage sous le cou et générer des reconstructions 3D de l'expression complète.

NeckFace pourrait être particulièrement utile dans le domaine de la santé mentale, car il suit l'humeur des gens tout au long de la journée. Bien que les gens ne montrent pas toujours des émotions sur leur visage, la quantité de changement dans les expressions faciales au fil du temps peut indiquer des sautes d'humeur.

NeckFace peut également être utilisé dans d'autres scénarios, tels que des réunions virtuelles lorsque les options de caméra frontale ne sont pas une option, la détection d'expression faciale dans des scénarios de réalité virtuelle, et plus encore.

Si SpeeChin se développe davantage, ses cas d'utilisation augmenteront également, y compris les environnements qui doivent être silencieux, les environnements bruyants méconnaissables et les personnes qui manquent de compétences linguistiques.

#Bienvenue pour prêter attention au compte WeChat officiel d'Aifaner : Aifaner (WeChat : ifanr), un contenu plus excitant vous sera apporté dès que possible.

Love Faner | Lien d'origine · Voir les commentaires · Sina Weibo