Google Gemini facilite la navigation sur le Web pour les utilisateurs souffrant de problèmes de vision et d’audition
Les appareils Android proposent depuis des années un lecteur d'écran intégré appelé TalkBack . Ce lecteur aide les personnes malvoyantes à comprendre ce qui apparaît sur l'écran de leur téléphone et leur permet de le contrôler vocalement. En 2024, Google a ajouté son IA Gemini pour offrir aux utilisateurs une description plus détaillée des images.
Google enrichit désormais son offre d'une toute nouvelle couche d'interactivité pour les utilisateurs. Jusqu'à présent, Gemini ne proposait que des images descriptives. Désormais, lorsque les utilisateurs consultent des images, ils peuvent même poser des questions complémentaires et approfondir la conversation.
Comment cela aide-t-il les utilisateurs ayant des difficultés de vision ?
« La prochaine fois qu'un ami vous envoie une photo de sa nouvelle guitare par SMS, vous pouvez obtenir une description et poser des questions complémentaires sur la marque et la couleur, voire sur le contenu de l'image », explique Google. Cette fonctionnalité s'appuie sur la mise à niveau d'accessibilité qui a intégré Gemini au système Talkback à la fin de l'année dernière.
Le menu Talkback sur Android propose désormais une fonctionnalité dédiée « Décrire l'écran », qui permet à Gemini de prendre le contrôle. Ainsi, par exemple, si les utilisateurs consultent un catalogue de vêtements, Gemini décrira non seulement ce qui apparaît à l'écran, mais répondra également aux questions pertinentes.
Par exemple, les utilisateurs peuvent poser des questions telles que « Quelle robe serait la plus adaptée pour une froide soirée d'hiver ? » ou « Quelle sauce accompagnerait le mieux un sandwich ? » Gemini pourra également analyser l'intégralité de l'écran et informer les utilisateurs des détails précis des produits, ou des éventuelles réductions disponibles.
Rendre les légendes expressives et améliorer le zoom du texte
Dans le navigateur Chrome, Google améliore légèrement les sous-titres générés automatiquement pour les vidéos. Imaginons que vous regardiez un match de football. Les sous-titres ne suivront plus seulement les propos du commentateur, mais refléteront également ses émotions et ses expressions.
Par exemple, au lieu de « but », les utilisateurs malentendants verront un « bouuu …
En plus de la parole humaine, ils couvriront désormais également les sons importants tels que les sifflements, les acclamations ou même le simple fait que l'orateur se racle la gorge. Les sous-titres expressifs seront disponibles sur tous les appareils équipés d'Android 15 ou d'une version ultérieure, aux États-Unis, au Royaume-Uni, au Canada et en Australie.
Un autre changement important apporté au navigateur Chrome est le zoom adaptatif du texte, une mise à jour du système Page Zoom disponible sur les téléphones Android. Désormais, l'augmentation de la taille du texte n'affectera pas la mise en page du reste de la page web.
« Vous pouvez personnaliser le niveau de zoom et appliquer facilement cette préférence à toutes les pages consultées ou à certaines d'entre elles », explique Google. Les utilisateurs pourront ajuster la plage de zoom à l'aide d'un curseur en bas de la page.