Apple Watch les gestes aériens sont sortis ! Voici l’histoire qui se cache derrière Exclusif
Apple a officiellement lancé watchOS 10.1 hier soir, apportant Double Tap aux deux nouvelles montres Apple – vous pouvez contrôler l'écran depuis les airs d'un simple toucher du doigt : couper des chansons, répondre à des appels et répondre aux messages WeChat. Il y a deux semaines, j'ai passé un appel téléphonique à l'étranger avec le chef de produit d'Apple Watch et j'ai parlé de l'histoire derrière ce geste puissant.
Hard Philosophy est la chronique d'Ai Faner consacrée à la conception matérielle. Nous espérons éliminer l'enveloppe extérieure de la technologie et des paramètres et explorer les origines de la conception et des sciences humaines.
"Tapotez-vous deux fois avec deux doigts", la nouvelle fonction de la nouvelle Apple Watch de cette année n'est pas une inspiration soudaine du chef de produit, mais vient de ce à quoi chaque utilisateur peut s'identifier – "ces moments où il suffit de cliquer sur le bouton de la montre". avec ton nez."
Dans une interview exclusive avec iFan'er, l'ingénieur logiciel watchOS, David Clark, a déclaré sans détour qu'il y avait toujours des interactions insatisfaisantes avec Apple Watch :
L'appel téléphonique arrive pendant que vous promenez votre chien. Vous vous précipitez vers votre prochaine réunion, Mac dans une main, lorsque vous recevez soudain un message d'un collègue. Le minuteur de votre montre se déclenche pendant que vous cuisinez, mais votre autre main est recouverte de dorure aux œufs et vous ne voulez pas y toucher.
Eric Charles, chef de produit Apple Watch, a déclaré que ces moments d'hésitation font en réalité perdre plus de temps aux utilisateurs pour réfléchir à la manière de fonctionner. L'équipe souhaitait fournir un moyen fiable et intuitif de garantir que tout se déroule sans problème, sans avoir besoin d'opérations supplémentaires lorsque cela compte.
Faites attention à l'interaction gestuelle de l'Apple Watch, car tout le monde connaît des « handicaps situationnels »
Le prototype de « Deux doigts se tapotant » remonte à 2015, moins d'un an après la sortie de l'Apple Watch.
Dans un document de brevet intitulé « Saisie de mouvements et de gestes à partir d'un appareil portable », Apple tente d'explorer la possibilité d'utiliser la détection des tendons et les mouvements du squelette comme commandes d'entrée.
Six ans plus tard, ces explorations interactives ont pris les devants en donnant naissance au toucher d'assistance (AssistiveTouch) dans watchOS 8. Les utilisateurs peuvent contrôler la montre dans les airs grâce à quatre gestes : pincer, pincer deux fois, serrer le poing et serrer le poing deux fois.
Dans le cadre des fonctionnalités d'accessibilité, les problèmes que le contrôle gestuel devait résoudre à l'époque étaient :
Comment un utilisateur doit-il contrôler l’Apple Watch s’il n’a qu’une seule main ?
L'un des principes de conception d'Apple est de prendre en compte le point de vue de chacun. Ils estiment que les personnes handicapées ne devraient pas être traitées différemment en fonction de leur taille et que les personnes handicapées devraient avoir des droits égaux dans l'utilisation des produits.
Mais dans le document officiel de conception d’interaction, la définition du « handicap » donnée par Apple est inhabituelle :
Tout le monde peut être confronté à un handicap. En plus des handicaps dont souffrent la plupart des gens en vieillissant, il existe également des handicaps temporaires, comme une perte auditive à court terme due à une infection, et des handicaps situationnels, comme l'incapacité d'entendre dans un train bruyant. tout le monde à des moments différents.
Le téléphone peut être contrôlé d'une seule main, mais l'Apple Watch a été conçue pour être fixée dès le départ au poignet de l'utilisateur : lorsque vous touchez l'écran, les deux mains sont effectivement occupées.
Dans un sens, chaque utilisateur d'Apple Watch n'a qu'une seule main et ils souffrent tous de « handicaps situationnels ».
Pour résoudre ce problème, il n'y a que deux options : le contrôle vocal et gestuel. Le contrôle gestuel basé sur les mouvements physiques est évidemment plus naturel, il ne s'appuie pas sur les boutons et commandes de l'interface, et convient particulièrement aux appareils dotés d'écrans étroits comme l'Apple Watch.
En fait, l’Apple Watch de première génération prenait en charge « levez votre poignet pour vous réveiller », ce qui établissait le paradigme de base de l’interaction gestuelle.
Apple a étudié divers mouvements de la main, y compris certaines opérations gestuelles complexes.
"Tapotez-vous deux fois avec deux doigts" se démarque finalement des différentes solutions gestuelles car il répond à deux critères :
- Simple et intuitif
- objectif clair
Le premier ne nécessite aucun seuil d'apprentissage, et le but exige clairement que l'action représente l'intention de l'utilisateur et ne soit pas le résultat d'un contact accidentel.
Pour la même raison, « Tapotez-vous deux fois avec deux doigts » ne peut être activé que lorsque l'écran est allumé. Eric explique que si l'utilisateur ne peut pas voir l'écran, il se peut qu'il ne sache pas quelle a été la réponse.
Un petit bug dans le capteur de fréquence cardiaque a donné lieu de manière inattendue au "tapotez-vous avec deux doigts"
"Tapotez-vous deux fois avec deux doigts" semble simple, il suffit de mettre deux doigts ensemble, mais le principe de fonctionnement est assez compliqué.
"Tapotez-vous avec deux doigts" est basé sur un algorithme construit par apprentissage automatique, et ses données proviennent de trois capteurs : accéléromètre, gyroscope et capteur optique de fréquence cardiaque. Le capteur détectera les caractéristiques des petits mouvements et des changements dans le flux sanguin lorsque la main et le doigt sont tapés deux fois, obtenant ainsi avec précision la véritable intention de saisie de l'utilisateur.
Le capteur optique de fréquence cardiaque est un élément indispensable. Bien qu'il ne soit pas conçu pour le contrôle gestuel, l'équipe a découvert au cours des années de recherche que les mouvements quotidiens du poignet de l'utilisateur modifient le contact entre le poignet et le capteur de fréquence cardiaque, même le plus petit écart. Tout cela aura un impact sur les données obtenues par le capteur de fréquence cardiaque.
Son arsenic, mon chéri. Cette découverte inattendue a permis à l’équipe de révéler le lien entre les opérations gestuelles et les capteurs de fréquence cardiaque. Sans ces espaces, le geste « taper deux fois deux doigts l'un sur l'autre » pourrait ne pas être possible.
Comme David l'a dit :
Le même capteur, les mêmes données, nous pouvons atteindre des objectifs complètement différents.
Contrairement au contrôle gestuel de la fonction auxiliaire, qui s'exécute sur le processeur, « Deux doigts pour appuyer deux fois » fait appel au moteur de réseau neuronal quadricœur de la puce S9, ce qui améliore de 15 % la précision de la détection de l'algorithme.
Cela peut expliquer pourquoi l'ancienne Apple Watch ne prend pas en charge le « double tapotement avec deux doigts », et les gestes tactiles auxiliaires sont également beaucoup moins fiables.
L'équipe a rencontré de nombreux défis au cours du processus de développement. Par exemple, comment garantir que chaque utilisateur bénéficie d’une expérience cohérente face à des différences subtiles dans les types de corps, la longueur des membres et même les gestes ? Comment surmonter les interférences causées par les signaux sans fil Bluetooth et LTE ?
David a mentionné que l'équipe a collecté une grande quantité de données au sein de l'entreprise pour former le modèle d'apprentissage automatique. Le modèle supprimera le bruit inutile et garantira la fiabilité de la détection des gestes dans divers scénarios, en particulier dans les scènes non stationnaires. , peut détecter avec précision gestes.
Ce que vous pouvez faire avec « Deux doigts se tapotant » dépend de l'action principale.
Après avoir résolu le problème de l'algorithme, Apple doit encore concevoir un mécanisme au niveau logiciel pour déterminer ce que « deux doigts qui se tapent » peuvent faire.
Dans mon expérience avec l'Apple Watch Series 9/Ultra, j'ai mentionné que l'objet d'opération consistant à « se taper deux fois avec deux doigts » n'a pas de direction prédéterminée. Contrairement au pincement pour zoomer, qui entraîne toujours un effet de zoom. Et double-cliquer avec deux doigts apportera des résultats différents dans différentes applications.
Selon la théorie du traitement de l'information dans l'interaction homme-machine, pendant le processus d'interaction avec l'interface, il y aura un traitement bidirectionnel continu de l'information entre l'utilisateur et la machine. Le retour d'information établi contribuera à améliorer la satisfaction de l'opération et abaisser le seuil d'utilisation, et vice versa, affecter l'efficacité et l'expérience.
La solution d'Apple consiste à configurer des actions principales logiques pour différentes applications dans différents scénarios. Par exemple, lorsqu'un appel arrive, l'action la plus logique est d'y répondre, et cliquer à nouveau revient à raccrocher. Pour les notifications WeChat, le moyen le plus logique est de répondre, donc appuyer avec deux doigts peut activer directement la fonction voix-texte, puis appuyer à nouveau avec deux doigts pour terminer l'envoi.
Notre principe est que vous n’avez pas besoin de trop réfléchir, vous agissez simplement quand vous en avez besoin.
Après un mois d'utilisation, j'ai constaté que par rapport aux gestes à l'intérieur de l'application, le retour instantané des gestes pour les notifications est plus pratique, en particulier dans les scénarios d'application à haute fréquence tels que les appels téléphoniques et WeChat. Le premier n’est que la cerise sur le gâteau, tandis que le second est une aide opportune.
Cela laisse également aux développeurs une plus grande marge d’imagination. Lorsque j'ai demandé aux développeurs comment utiliser Double Tap pour améliorer l'expérience logicielle, David m'a donné la réponse qui me préoccupait : répondre aux notifications.
Les développeurs peuvent exploiter les API de notification existantes pour placer les opérations les plus importantes au bon endroit. De cette manière, lorsqu'une notification arrive, l'utilisateur peut directement cliquer avec deux doigts pour terminer l'opération.
Le problème résolu en « se tapotant avec deux doigts » est exactement l'intention initiale du développement de l'Apple Watch
Le magazine Wired documente l'histoire peu connue du développement de l'Apple Watch par Apple. Après avoir hésité sur la définition du produit, l'équipe a finalement compris la raison de l'existence de l'Apple Watch : les smartphones vous gâchent la vie.
Kevin Lynch, responsable technique du logiciel Apple Watch, a déclaré que les gens portent fréquemment leur téléphone et regardent l'écran. Les gens se moquent de ceux qui sont assis à table avec leur téléphone, pour ensuite fouiller dans leurs poches à chaque fois que leur téléphone sonne ou vibre.
L’équipe a finalement décidé de créer un appareil que vous ne voudriez ni ne pourriez utiliser pendant des heures, un appareil qui filtrerait la plupart des informations et ne vous donnerait que les informations les plus importantes.
Si créer des produits qui rendent les utilisateurs dépendants est la logique de base des entreprises commerciales, alors l'Apple Watch pourrait être le premier appareil Apple anti-attention.
Sur le site du développeur, Apple souligne que le cœur de l'expérience Apple Watch réside dans Moment. Dans une précédente interview, Kevin Lynch a même fixé une limite de temps pour ce Moment : raccourcie des 10 dernières secondes à 2 secondes.
La naissance de « Deux doigts l'un pour l'autre » est un pas en avant pour Apple Watch pour se débarrasser des interférences. Dans de nombreux scénarios, je n’ai plus besoin d’utiliser mon autre main pour contrôler la montre, ni de sortir mon téléphone tout le temps pour des notifications intensives de messages.
L'Apple Watch ne pourra peut-être pas nous libérer complètement les mains et ne sera pas non plus l'arme ultime contre la surcharge d'informations, mais elle offre une nouvelle perspective d'une manière qui fait la différence : lorsque le torrent d'informations s'accompagne d'anxiété, en plus de transformer faire la sourde oreille, nous aussi Comment s'entendre avec les machines de manière sereine.
# Bienvenue pour suivre le compte public officiel WeChat d'aifaner : aifaner (ID WeChat : ifanr). Un contenu plus passionnant vous sera fourni dès que possible.
Ai Faner | Lien original · Voir les commentaires · Sina Weibo