J’ai transformé mon visage en contrôleur de jeu, et vous pouvez aussi
Lors de Google I/O, l'IA était un thème tout au long de l'événement, mais une autre technologie d'assistance révolutionnaire a été annoncée qui permet à votre visage de contrôler un ordinateur au lieu d'utiliser une souris. Le projet GameFace de Google transforme littéralement votre visage en contrôleur de jeu. Si même la meilleure souris ou trackball s'avère difficile ou impossible, cette application gratuite peut considérablement améliorer votre expérience informatique.
Le billet de blog de Google décrit comment Project GameFace a été inspiré par le sort du streamer de jeux vidéo Lance Carr , qui souffre de dystrophie musculaire. Un incendie a entraîné la perte de la chère souris de suivi de la tête de Carr, qui lui avait permis de continuer à jouer.
Google a travaillé avec Carr pour développer Project GameFace, une solution qui utilise une webcam standard et fonctionne sur n'importe quel PC Windows. Vous pouvez télécharger l'application à partir du projet ou du fork GitHub et la personnaliser en fonction de vos besoins particuliers si vous connaissez Python.
Je l'ai installé et essayé. Ma webcam intégrée fonctionnait pour le contrôle du pointeur, mais était trop soufflée par une fenêtre voisine pour bien détecter mes sourcils et ma bouche. J'ai connecté un lien Insta360, qui inclut la technologie de suivi du visage pour effectuer un panoramique et une inclinaison lorsque je me déplace. Les deux technologies se sont mélangées de manière transparente et tout a bien fonctionné après quelques ajustements.
La vitesse du curseur était beaucoup trop rapide, je suis donc passé du réglage par défaut de 40 à 15 verticalement et 20 horizontalement. Avec ces ajustements, je pouvais déplacer le pointeur de ma souris vers n'importe quel point de mon écran simplement en tournant et en inclinant la tête. Ce n'est pas un suivi oculaire. Il semble suivre mon nez.
L'application reconnaît six gestes du visage : bouche ouverte, bouche gauche et droite, lever le sourcil gauche et droit et abaisser le sourcil droit. On ne sait pas pourquoi le sourcil inférieur gauche n'est pas une option. Ces paramètres gestuels, combinés au mouvement de la tête pour le contrôle directionnel, facilitent relativement la liaison des touches et des clics de souris, vous permettant de jouer à un jeu ou de contrôler un ordinateur avec uniquement votre visage.
Il y a beaucoup de place pour l'amélioration ici. Idéalement, des groupes de liaisons gestuelles et des vitesses de curseur doivent être enregistrés pour chaque application afin que vous n'ayez pas à trouver une seule configuration qui fonctionne pour tout. Il serait également plus pratique d'exiger un clic de confirmation, avec un compte à rebours pour revenir en arrière, après avoir ajusté la vitesse du curseur. Il m'a fallu quelques minutes pour apprivoiser mon pointeur de souris sauvage lorsque j'ai activé le suivi du visage pour la première fois.
Dans l'ensemble, Project GameFace est une merveilleuse adaptation qui devrait faciliter la vie de nombreuses personnes qui pourraient autrement avoir du mal à naviguer sur un ordinateur ou à jouer à un jeu. De plus en plus d'entreprises technologiques devraient tirer parti du contrôle gestuel activé par une webcam .