Comment deux applications transforment les smartphones en appareils de navigation pour les aveugles
La première fois que j'ai été témoin des défis du handicap, c'était lorsque j'ai commencé l'université en 2016. Mes camarades d'auberge venaient de toute l'Asie et de l'Afrique, poursuivant des parcours professionnels et des passe-temps différents, chacun avec sa propre identité culturelle et ses propres expériences vécues.
À l’époque, une aile entière de mon foyer était dédiée aux étudiants aveugles et à leurs camarades malvoyants. Les croiser dans les ruelles, en route vers les réfectoires ou vers le collège – et les guider vers leur destination, main dans la main – est rapidement devenu une routine quotidienne.
Les courtes conversations étaient toujours fascinantes et leur mémorisation de volumes entiers de poésie ourdou n’a jamais cessé de m’étonner. Pendant la saison des examens, je me portais régulièrement bénévole en tant qu'écrivain pendant que mes amis racontaient les réponses.
Ce fut pour moi une expérience révélatrice, mais deux aspects ressortent. Tout d’abord, la présence permanente des smartphones dans leur vie. Deuxièmement, bien qu’elle soit considérée comme une université nationale, il y avait un manque total d’assistance aux personnes handicapées, en particulier pour les résidents ou invités aveugles sur l’ensemble du campus.
Ces lacunes vont d’une infrastructure non planifiée à un manque de pile technologique de soutien. Saif Khan, un architecte, me dit qu'il n'existe aucune directive standard pour rendre les bâtiments accessibles aux personnes aveugles. "Le mieux que nous fassions est de construire des rampes pour les personnes handicapées motrices", explique Khan, propriétaire de Pause Design Studio dans la capitale nationale de l'Inde, à Digital Trends.
La situation est sombre pour plusieurs raisons. Le Dr Arif Waqar, qui a beaucoup travaillé avec des personnes aveugles, me dit que même dans le milieu universitaire des sciences médicales, l'accent est davantage mis sur l'aspect curatif plutôt que sur la résolution des problèmes existants.
« Nous ne misons pas sur l’innovation technique. Cela signifie que les problèmes du monde réel continuent de persister sans solution universelle. L'assistance à la navigation en fait partie », explique Waqar.
Une nouvelle façon d'aider les aveugles
Une équipe de l'Université de Californie à Santa Cruz souhaite utiliser des applications pour smartphone pour aider les personnes aveugles à se déplacer dans les bâtiments. Notamment, ces applications ne nécessitent aucune configuration technique préexistante et n'ont besoin que des capteurs internes du téléphone. Même le module caméra ne fait pas partie de l’équation ici.
Roberto Manduchi, professeur d'informatique et d'ingénierie à l'UC Santa Cruz, a dirigé le développement de ces applications pour aider les utilisateurs aveugles à se déplacer dans un bâtiment à l'aide de signaux audio. La partie la plus pratique – et la plus sûre – est que les utilisateurs n'ont pas besoin de tenir le téléphone lorsqu'ils y sont.
Considérez ces deux applications, nommées Wayfinding et Backtracking, comme l'équivalent GPS de la navigation intérieure. Cependant, contrairement à d’autres tentatives qui nécessitent des capteurs préinstallés dans les bâtiments ou un GPS non fiable, ces applications n’ont besoin que des capteurs installés à l’intérieur d’un téléphone pour offrir un guidage.
Plus précisément, l’équipe a utilisé les lectures des capteurs inertiels – l’accéléromètre, le gyroscope et le magnétomètre – pour mesurer la progression de la navigation. Bien qu’elles dépendent principalement des haut-parleurs du smartphone pour les signaux vocaux, les applications peuvent également être associées à une montre intelligente.
Cinq mètres avant chaque virage, les applications informent l'utilisateur du changement de direction à venir. Alors que l'application Wayfinding facilite l'entrée et la navigation, l'application Backtracking utilise le plan du voyage initial et l'inverse simplement pour fournir les conseils nécessaires.
Dans un avenir proche, l’équipe espère intégrer la technologie de vision par ordinateur dans les applications. Cela permettrait aux utilisateurs de cliquer sur une image de leur environnement lorsqu'ils se trouvent dans une situation délicate et de demander à l'IA de décrire le monde qui les entoure.
La vision est similaire à la façon dont les chatbots IA modernes peuvent désormais traiter les images , permettant aux utilisateurs de simplement pointer la caméra et de laisser l'IA lui donner un sens.
Comment tout cela fonctionne
Dans le cadre des tests, l'équipe de l'UC Santa Cruz comptait sept participants aveugles qui utilisaient l'application Wayfinding pour parcourir des itinéraires, qui comportaient 13 virages au total. Ensuite, ils ont utilisé l’application Backtracking pour retracer leur chemin d’origine lors du voyage de retour.
Ces applications ne dépendent d'aucune infrastructure externe et n'exigent pas non plus que les utilisateurs tiennent leur téléphone dans une certaine position pour capturer les données de leur environnement. Les applications fonctionnent bien même lorsque le téléphone est rangé en toute sécurité dans les poches.
Il s’agit d’une victoire cruciale du point de vue de la commodité. "Les voyageurs aveugles utilisent normalement une longue canne ou un chien-guide et ont donc une main déjà occupée à manœuvrer la canne ou à tenir le chien", indique le document de recherche, publié dans la revue ACM Transactions on Accessible Computing .
Pour l’application Wayfinding, l’équipe a testé deux algorithmes distincts : Azimuth/Steps et RoNIN. Le premier emprunte au concept de suivi des pas, créant un vecteur de pas bidimensionnel à chaque pas enregistré et des informations directionnelles extraites de la boussole intégrée du téléphone.
Pour estimer la position de l'utilisateur, un système « à l'estime » est appliqué. "Cela s'apparente à l'ancienne technique de navigation qui calculait la trajectoire d'un navire en utilisant le compas pour le cap et un chip log (une corde avec un certain nombre de nœuds régulièrement placés) pour la vitesse", explique Manduchi. "Vous reconstruisez la trajectoire du navire en traçant une ligne sur la carte en fonction du cap et de la vitesse mesurés."
Les erreurs algorithmiques – ou « dérives » – sont inévitables. Pour contrer cela, l’équipe a utilisé une technique appelée filtrage de particules, principalement utilisée pour le suivi spatial. Dans ce cas, un filtrage particulaire a été utilisé pour ajouter certaines contraintes correctives pour éviter cette dérive.
« Nous ne pouvons pas traverser les murs (sauf si nous sommes Superman). L'ajout de ces contraintes préalables (en s'appuyant sur les plans d'étage sous-jacents) réduit considérablement l'effet de dérive », explique Manduchi à Digital Trends.
L’algorithme RoNIN a été principalement déployé à titre d’analyse de sécurité et comparative, et au cours des tests, il n’a été requis qu’une seule fois. Pour estimer le chemin le plus court, les applications s'appuient sur le système GameplayKit d'Apple, un framework principalement utilisé pour créer des jeux. Notamment, Apple propose déjà un cadre de carte intérieure disponible pour les développeurs.
L’équipe a également utilisé des commandes basées sur une montre intelligente sur une Apple Watch, en utilisant un mélange de commandes, notamment le balayage tactile, le mouvement Digital Crown et VoiceOver. Les applications alertent les utilisateurs du prochain virage, des mauvais schémas de mouvement, des points de repère à proximité et lorsqu'ils entrent dans un nouveau segment d'itinéraire.
L'équipe a exprimé sa confiance dans la technique de localisation inertielle qui pilote l'application, principalement parce qu'elle est accessible et ne nécessite aucune infrastructure externe pour offrir des services de guidage. Cependant, Manduchi me dit que Wayfinding et Backtracking ne sont « que des applications expérimentales, encore loin d’une version distribuée ».
L’équipe envisage notamment la voie de l’open source via la plateforme UCSC Center for Research on Open Source Software. Cependant, une publication publique pourrait prendre un certain temps afin de résoudre « plusieurs problèmes pratiques », explique Manduchi. Malheureusement, l’une de ces questions est de nature fondamentale.
La grande mise en garde
La commodité est un thème récurrent derrière les deux applications, et il semble qu’il n’y ait aucune limitation matérielle exigeante. J'ai demandé si les applications nécessitaient un certain niveau de puissance de feu du silicium pendant les tests ou si l'application terminée avait une base de performances.
Manduchi me dit qu'il n'y a pas de telles attentes en termes de performances de la part du matériel natif, car l'équipe a testé les deux applications sur un iPhone X, sorti il y a huit ans. Il est raisonnable de supposer que lorsque les deux applications seront rendues publiques, la plupart des propriétaires d’iPhone pourront les exécuter facilement.
Désormais, l'application Wayfinding dépend de la disponibilité des plans d'étage. Cela ne servirait à rien si l'application n'avait pas déjà enregistré le plan d'étage dans son répertoire. Plus précisément, les plans des bâtiments doivent être alimentés dans un format vectoriel.
L'équipe de Manduchi a déjà résolu un côté de cet obstacle crucial. "Nous avons créé une application Web qui facilite la vectorisation d'un plan d'étage dans n'importe quel format existant, de sorte qu'il puisse être utilisé par notre application", explique Manduchi à Digital Trends. Il dit qu'ils envisagent de rendre publique l'application Web dans un avenir proche.
Le véritable obstacle est la disponibilité de ces plans de construction, vectorisés ou non. « Notre expérience montre que la disponibilité des plans d'étage des bâtiments publics est inégale et que les plans d'étage disponibles peuvent être dans différents formats », me dit Manduchi.
Ce problème ne peut être résolu qu’avec une participation volontaire ou si l’État décide d’intervenir. « En tant qu'architecte, je donne à mes clients le plan d'étage ou le croquis numérique au format PDF, car c'est ce qu'ils ont besoin de voir. En réalité, les lourdes cartes vectorielles contenues dans les fichiers IMDF ne leur sont d'aucune utilité », me dit Khan.
Il souligne qu'il n'existe pas de secret commercial absolu ici, mais que la plupart des cabinets ou entités d'architecture ne partageront pas les cartes vectorielles 3D. « Pensez-y comme à une propriété intellectuelle, quelque chose qui constitue le fondement du travail que j'ai réalisé », me dit Khan.
Ces cartes vectorielles sont généralement créées dans des applications exigeantes comme Revit ou AutoCAD et ne peuvent être visualisées ou manipulées qu'à l'aide de ces applications. Cela n’a donc aucun sens de les partager d’une manière ou d’une autre, car le client n’a besoin que d’un plan d’étage qu’il peut ouvrir et comprendre, comme des dessins sur un simple PDF ou une feuille numérique.
Même si le propriétaire actuel d'un certain bâtiment accepte de fournir une copie de la carte pour des applications comme Wayfinding, il devra d'abord retrouver l'architecte ou le cabinet de planification à l'origine de cette carte. Ils peuvent ou non être en mesure de partager pour des raisons logistiques, contractuelles ou pour toute autre raison légalement protégée.
Cependant, la situation devient encore plus délicate pour les bâtiments gérés par des entités gouvernementales. Il peut s'agir de n'importe quoi, de l'hôpital public le plus proche à la station de métro locale. Demander un permis et obtenir son approbation pour accéder aux cartes vectorisées pourrait être un processus long et fastidieux.
En Inde, par exemple, les campus universitaires, les infrastructures publiques et les bureaux gouvernementaux ont été construits à l’époque coloniale britannique. Trouver une carte ou même un plan architectural serait comme chercher une aiguille dans une botte de foin historique.
La seule voie à suivre serait de les remapper numériquement de manière professionnelle, ce qui représenterait une autre entreprise de grande envergure. Pour l’instant, l’open source semble être la seule voie significative à suivre, car cela garantirait au moins que les applications d’orientation et de retour en arrière puissent fournir une aide à la navigation de manière significative.
« Il n’existe aucune disposition architecturale pour les aveugles. Il n’y a pas de directives applicables », me dit Khan. "Ces applications offrent au moins une solution viable pour surmonter ces erreurs."