Apple envisage l’IA pour pousser le Vision Pro. Ce dont il a besoin, c’est d’un pivot en matière de santé

Les ambitions d'Apple dans le monde immersif de la réalité augmentée et virtuelle (AR et VR) démarrent difficilement. Le Vision Pro à 3 500 $ n'a pas réussi à déclencher une tempête sur le marché. Puis sont venus des rapports selon lesquels Apple avait annulé son projet de lunettes intelligentes AR.

Cependant, l’entreprise n’a pas encore terminé. Selon Bloomberg , Apple apporte sa suite d' outils d'IA appelée Apple Intelligence à la plateforme visionOS. Cela signifie que des astuces d'IA telles que Writing Tools, Genmoji et Image Playground arrivent sur le casque.

Ce ne sont pas des mises à niveau vraiment intéressantes pour le Vision Pro, surtout compte tenu de son prix élevé et du type de pile technologique avancée qu'il a à offrir. Après tout, vous n'achetez pas un casque AR/VR à 3 500 $ pour corriger la grammaire ou créer des autocollants générés par l'IA.

Ce sur quoi Apple devrait plutôt se concentrer, c’est le segment des soins de santé et des sciences médicales. C'est un créneau où il peut trouver des preneurs plus sérieux pour un appareil comme le Vision Pro qu'un acheteur moyen intéressé par un casque AR ou VR pour des tâches récréatives comme jouer ou regarder des vidéos immersives.

C'est prêt à être pris

Le domaine de la science médicale n'est pas étranger aux progrès de la réalité augmentée et de la réalité virtuelle, et plus particulièrement à leur grand potentiel dans les activités quotidiennes d'un scientifique ou d'un professionnel de la santé. Voici ce que les experts de l’Université de Stanford disent du potentiel de la technologie AR/V :

"À l'avenir, les écrans VR et AR pourront être portés par les patients pendant une partie des visites de télésanté pour mesurer les signes vitaux et d'autres paramètres de santé du médecin, puis ajouter automatiquement des données au dossier de santé électronique avec la permission du patient."

Ils mentionnent également comment les techniciens médicaux d'urgence (EMT) peuvent évaluer une situation médicale et obtenir des instructions appropriées lorsqu'ils voient et transmettent l'état du patient directement à un médecin expert via un casque ou des lunettes intelligentes.

Par exemple, le NARA (Nakamir Augmented Reality Assistant) combine l'IA et la RA sur un Microsoft HoloLens 2 pour aider les travailleurs de différents domaines, y compris la santé. Dans un autre scénario éprouvé, un casque de réalité mixte ou des lunettes AR peuvent être utilisés pour guider une personne dans les étapes de sauvetage d’urgence.

Les experts proposent également qu'un tel matériel soit inclus dans les kits de défibrillateurs externes automatiques (DEA), afin que les instructions d'utilisation et d'autres protocoles similaires puissent être fournies de manière plus immersive lors de situations d'urgence.

Les gens de Heru utilisent des casques pour proposer des services d'optométrie, tels que la réalisation de tests de vision à domicile. Le test est effectué à domicile et les données pertinentes sont transmises aux experts de santé, qui peuvent ensuite élaborer des plans d'assistance supplémentaire en fonction des résultats.

Il y a beaucoup de précédents

Dans le domaine de la santé mentale et du bien-être, les équipements VR peuvent également contribuer à « la pleine conscience pour réduire le stress lié au SSPT, concentrer l’attention sur le TDAH, renforcer les compétences enseignées en thérapie cognitivo-comportementale ou en entraînement de la mémoire et des fonctions cognitives pour les maladies neurodégénératives ».

Une étude pilote menée par le Strategic Initiatives Lab du Département américain des Anciens Combattants a révélé que les expériences basées sur la réalité virtuelle peuvent aider à soulager la solitude, à atténuer l'anxiété et à soulager la douleur et le stress, entre autres problèmes de santé mentale liés aux anciens combattants. L'agence gouvernementale propose également un guide d'introduction détaillé à la technologie immersive ( PDF ) pour aider à fournir aux anciens combattants les bons soins basés sur la XR.

Les professeurs Kim Bullock et Jeremy Bailenson de Stanford ont récemment expliqué comment la thérapie physique assistée par réalité virtuelle et le retour visuel miroir (MVF) peuvent aider les enfants atteints de paralysie cérébrale, un trouble neurologique qui entrave sérieusement les mouvements et la posture du corps.

Leurs découvertes ont été publiées dans l' American Journal of Psychiatry and Neuroscience . Une société nommée XRHealth propose aux patients une large gamme de soins de gestion de la douleur, d’entraînement cognitif, de neuro-rééducation et de pleine conscience, fournis via des casques VR et des applications thérapeutiques enregistrées par la FDA.

Les gens de NYU Langone Health déploient les technologies AR et VR pour créer des modules d'anatomie 3D immersifs qui offrent une expérience photoréaliste aux étudiants en médecine, leur permettant d'apprendre les structures anatomiques en détail.

Des chercheurs de la Miami Miller School of Medicine ont récemment testé comment les casques VR peuvent atténuer le stress important ressenti pendant la grossesse, l'accouchement et le post-partum.

Apple a la pile prête

Les possibilités de déploiement du Vision Pro dans le secteur de la santé sont infinies, à mesure que le domaine continue de se développer et que la recherche s'accélère. Les experts suggèrent que des capteurs, tels que ceux capables de mesurer l'électroencéphalographie (EEG), peuvent être intégrés au matériel XR pour aider à prodiguer des soins aux patients atteints de la maladie d'Alzheimer.

Apple fabrique déjà une large gamme d'appareils équipés de biocapteurs capables d'enregistrer un large éventail de biomarqueurs. Ils peuvent s'avérer d'une grande aide pour les médecins lorsqu'il s'agit d'évaluer les antécédents médicaux d'un patient, tels que l'activité de la fréquence cardiaque et les habitudes de sommeil. Par exemple, l'Apple Watch peut mesurer les niveaux de saturation en oxygène, détecter un rythme cardiaque irrégulier , détecter les écarts de température et bien plus encore.

Les écouteurs Beats PowerBeats Pro 2 peuvent mesurer la fréquence cardiaque. Toutes ces données de biodétection sont liées à la plateforme Apple Health, disponible sur une large gamme d’appareils. Pousser le Vision Pro plus profondément dans cet écosystème ne sera pas un problème pour Apple.

« Les nombreuses possibilités d'utilisation des casques VR et des lunettes AR dans les soins de santé à domicile fournissent de bonnes raisons de concevoir des HMD pour mesurer les biosignaux, offrir un streaming vidéo de télémédecine sécurisé et proposer des thérapies immersives », écrit Angela McIntyre, directrice exécutive de la Stanford Wearable Electronics (eWEAR) Initiative à l'Université de Stanford.

Oui, il existe des risques en matière de cybersécurité et de confidentialité. Mais s’il y a une entreprise qui a fait un travail acceptable en matière de protection de la vie privée des utilisateurs dans le domaine de la technologie, c’est bien Apple. De plus, l’entreprise n’entrera pas exactement dans un territoire inexploré si elle fait du Vision Pro un produit axé sur la santé.

La Food and Drug Administration (FDA) des États-Unis a déjà accordé une demande De Novo ou une approbation préalable à la commercialisation – via une autorisation 510(k) – à une large gamme d'équipements AR/VR dans le domaine de la médecine. En septembre 2024, l'agence avait autorisé 69 dispositifs médicaux reposant sur les technologies AR et VR à des fins de diagnostic, de traitement, de télémédecine, de soins virtuels et thérapeutiques.

À l’autre bout de l’équation, Apple travaille déjà avec un large éventail d’experts scientifiques et d’établissements d’enseignement. Pour sa dernière étude sur la santé , la société a fait appel à des experts de la Harvard Medical School pour évaluer comment les données recueillies à partir des iPhones et des appareils portables peuvent faire avancer la recherche scientifique.

Le Vision Pro dispose de toute la puissance de calcul et de l’une des technologies d’affichage AR/VR les plus avancées du secteur. Tout ce dont il a besoin est de faire une percée solide dans un domaine où les avantages de la RA et de la VR ont fait leurs preuves, ainsi que de nombreuses adoptions par les experts.

Il serait logique qu'un casque à 3 500 $ trouve une telle utilité médicale, plutôt que qu'Apple vende un rêve flashy d'informatique virtuelle qui peut déjà être réalisé très bien avec un Mac et une paire de lunettes XR moins encombrantes avec un budget bien inférieur.