Apple joue à un « jeu d’imitation » qui trompe les sens

La fonctionnalité de l'iPad Pro 2024 qui m'intéresse le plus n'est pas la nouvelle puce M4 ou le nouvel écran OLED, mais une petite "réaction chimique" entre l'Apple Pencil Pro et l'iPad Pro 2024 : quand vous utilisez Apple Quand Pencil Pro dessine et écrit sur l'iPad Pro 2024, l'ombre du pinceau correspondant s'affichera sur l'écran pour indiquer aux utilisateurs dans quel mode se trouve actuellement l'Apple Pencil Pro.

Par la suite, quelqu'un a trouvé 10 modèles 3D développés par Apple pour cette fonctionnalité dans le framework PencilKit d'Apple.

Et ce qui est intéressant, c'est que cette ombre n'est pas une simple texture. Elle changera en conséquence en fonction de la position de l'Apple Pencil Pro dans le monde réel, de la distance par rapport à l'écran et de l'angle d'inclinaison. Bref, elle a une forte « authenticité ». , "sensation d'espace" et "interactivité".

Plus d'informations sur cet Apple Pencil Pro ont également été révélées : Apple l'a doté d'un nouveau moteur de retour tactile, d'un nouveau capteur de pression, d'un gyroscope et d'une puce U2. Il a le potentiel de simuler une véritable expérience d’écriture sur iPad Pro, et il a également le potentiel d’être lié à Vision Pro.

Le jeu de copie d’Apple

Apple est l'entreprise au monde qui aime simuler des expériences sensorielles réelles grâce au matériel.

Le Taptic Engine installé sur le MacBook 2015 parvient à créer un rendu « faux et réel » grâce à une simulation délicate des vibrations et du toucher. Peut-être que jusqu'à présent, beaucoup de gens ne savent toujours pas que le trackpad Force Touch du MacBook lui-même est une surface plane sur laquelle "on ne peut pas appuyer".

Qu'il s'agisse du 3D Touch ou du Haptic Touch actuel, non sensible à la pression, l'iPhone utilise ce verre plat pour simuler une sensation magique de rebond lorsque le bouton est enfoncé grâce au bon retour de vibration. des gens incapables de résister à l’envie d’appuyer plusieurs fois.

La même technologie est également utilisée dans le bouton Home de l’iPhone 7 et la couronne rotative de l’Apple Watch, qui offrent tous deux une sensation tactile très proche des boutons et engrenages mécaniques.

En plus d'utiliser Taptic Engine pour « tromper » les doigts des utilisateurs, les appareils iOS 14 et AirPods créent un « audio spatial » qui simule des sons dans diverses directions dans l'espace 3D et une technologie de suivi de la tête pour apporter « un son immersif » aux utilisateurs. . Sur les plateformes sociales, de nombreux utilisateurs ont déclaré qu'après avoir activé l'audio spatial, ils pensaient que leur téléphone jouait à l'extérieur lorsqu'ils mettaient leurs écouteurs.

Avant la sortie de l'Apple Pencil Pro, de nombreuses sources prédisaient qu'Apple équiperait ce nouveau stylet d'un nouveau Taptic Engine, afin que l'Apple Pencil Pro et l'iPad puissent également offrir une sensation de friction réaliste proche de celle du papier et du stylo.

Cela semble un peu "science-fiction", mais cela ne rend pas les gens déraisonnables, car Apple est un fabricant qui aime et sait jouer avec les moteurs vibrants. Même si le Pencil actuel n'a pas encore implémenté les fonctions pertinentes, il reste prometteur pour l'avenir.

Nintendo est une autre entreprise qui aime également utiliser du matériel pour tromper les sens des utilisateurs.

La manette Joy-Con de la Nintendo Switch prend en charge la technologie « Vibration HD ». Les joueurs peuvent distinguer la différence subtile entre « verser de la glace dans une tasse » et « verser de l'eau dans une tasse » simplement en s'appuyant sur différentes sensations de vibration. Combiné avec la combinaison en papier Switch Labo, le gyroscope et le moteur de vibration dans la poignée peuvent également recréer la véritable sensation d'attraper du poisson dans l'eau.

Qu’il s’agisse de la magie des vibrations d’Apple ou du kit et de la manette Labo de Nintendo, « un seul élément matériel » est utilisé pour simuler « d’innombrables possibilités ».

Par exemple, le Taptic Engine sur l'iPhone 7 simule non seulement le bouton Accueil et 3D Touch. Le téléphone vibre comme une "tête tremblante" lorsqu'un mot de passe est mal saisi, ainsi que divers retours dans le système. Toutes les actions de vibration en dépendent. sur cet énorme Taptic Engine interne terminé.

L'audio spatial est similaire grâce à des gyroscopes et des accéléromètres, les AirPods Max peuvent simuler des sons complexes avec une impression d'orientation spatiale.

Si Nintendo vise à offrir aux joueurs une expérience de jeu plus réaliste, alors le « jeu d’imitation » d’Apple est une gamme complète de simulations couvrant le toucher, l’audition et la vision.

La projection de l’Apple Pencil Pro n’est donc en aucun cas un petit œuf de Pâques isolé.

Plan de réalisation de Vision Pro

Au cours du processus de test de VisionOS l'année dernière, certains développeurs ont découvert que lorsque l'utilisateur tenait l'Apple Pencil, Vision Pro ne pouvait pas reconnaître normalement l'opération de pincement des doigts. Cependant, les commentaires officiels indiquaient qu'« il s'agit d'une fonctionnalité conçue et non d'un BUG ». " Reconnaissance visible L'Apple Pencil est probablement déjà présent dans le Vision Pro.

L'ajout de matériel tel qu'un moteur de retour tactile, un nouveau capteur de pression, un gyroscope et une puce U2 en fait davantage un contrôleur VR plus petit, et la logique est assez similaire.

Par coïncidence, Logitech a lancé un stylet pour appareils VR, MX INK, pour Meta Quest 2 et 3.

Ce stylet, qui pèse 10 grammes de plus que l'Apple Pencil 2, peut non seulement créer du contenu plat dans un environnement de réalité mixte comme un stylet traditionnel, mais prend également en charge six degrés de liberté de suivi pour créer librement dans l'espace 3D. avec Il y a plusieurs boutons et la pointe du stylet est également sensible à la pression.

Alors, Vision Pro a-t-il besoin d’un stylo ? En d’autres termes, nécessite-t-il des « périphériques » autres que les yeux et les doigts ?

Avant de parler de cette question ouverte, nous pouvons jeter un œil à la série de vidéos scientifiques populaires préparées par Apple pour les développeurs lors de la WWDC24 : telles que "Créer une expérience d'utilisation de photos et de vidéos spatiales engageantes".

De nombreux éléments conceptuels y sont mentionnés. Apple divise l'expérience vidéo stéréoscopique en : vidéo 3D, vidéo spatiale et vidéo immersive Apple :

• La vidéo 3D est présentée sur une surface plane et le contenu a une impression de profondeur, semblable aux films 3D que nous regardons au cinéma.
• La vidéo spatiale, en plus d'avoir un sens tridimensionnel, le contenu sera adapté à la taille réelle de l'objet et les limites seront floues.
• La vidéo immersive entoure complètement l’utilisateur. L’utilisateur ne regarde pas la vidéo, mais est immergé dedans.

Parmi eux, la « vidéo spatiale » peut imiter le sentiment de présence des gens dans le monde réel et peut modifier l'angle de vision dans une certaine plage ; tandis que la « vidéo immersive » est encore plus extrême. Tout ce que l'utilisateur voit est de la vidéo, et l'utilisateur devient la vidéo. utilisateur de la partie vidéo.

De plus, Apple a également mis en avant des exigences supplémentaires. Par exemple, les vidéos immersives doivent avoir un contenu 3D interactif.

Le concept de « métadonnées spatiales » est également mentionné dans la vidéo de vulgarisation scientifique, et il y a aussi une explication de « projection » : la projection définit la relation entre les objets du monde et les pixels de l'image.

Le petit œuf de Pâques de l'Apple Pencil Pro est également expliqué dans la vidéo scientifique populaire du développeur Vision Pro : Apple n'a jamais considéré l'iPad Pro 2024 et l'Apple Pencil Pro comme des appareils distincts. Ils sont connectés via une « projection ».

En d’autres termes, un Apple Pencil pourrait à l’avenir être « projeté » dans différents stylos de formes différentes dans le monde virtuel de Vision Pro.

Puisque Vision Pro peut expliquer les questions sur Apple Pencil Pro, puis Apple, en tant que maître de ce "jeu d'imitation", nous avons également des raisons de croire que le Vision Pro actuel en est encore aux premiers stades du produit, et il peut déjà atteindre un degré considérable de performances visuelles et auditives, c'est "faux et réel", mais c'est loin d'être suffisant en termes de toucher. Cela tient naturellement au fait que Vision Pro ne dispose pas de périphériques spécialement adaptés. comptez sur Vision Pro pour nous épater, non ?

Maintenant, nous sommes presque certains que l'Apple Pencil Pro avec moteur de vibration, gyroscope et puce U2 peut être lié à Vision Pro. L'Apple Pencil Pro peut également être projeté sur l'écran dans "d'autres apparences", comme un stylo à encre, alors peut-être. le stylo pourrait être utilisé comme les contrôleurs d'autres appareils VR, se transformant en sabre laser dans le jeu Saber Beat, ou en baguette dans la série Harry Potter ?

Si vous pouvez être un peu plus imaginatif, Apple lancera peut-être un "gant à retour de force". L'ensemble du gant est recouvert de moteurs de vibration, et grâce aux réglages d'Apple, les utilisateurs peuvent vraiment "toucher" le monde virtuel présenté par Vision Pro.

Il est presque certain qu'Apple réfléchit déjà à des moyens d'ajouter davantage d'« interactions » à Vision Pro, car Vision Pro n'est pas encore terminé et le « jeu d'imitation » d'Apple consistant à remplacer la réalité par la virtualité est loin d'être terminé.

L’importance du « réalisme »

Dans des articles précédents, nous avons discuté de l’importance des clés. En ce qui concerne Vision Pro, un scénario qui permet aux utilisateurs de ne ressentir « aucune performance physique », l'interaction et le retour d'information peuvent être considérés comme encore plus importants. Le rédacteur en chef du magazine technologique « Wired » a dit un jour ceci :

Tous les appareils nécessitent une interaction. Si quelque chose ne semble pas interactif, il est considéré comme cassé.

Cela correspondait parfaitement à ma première expérience avec Vision Pro : peu importe la manière ou l'endroit où j'essayais d'utiliser les gestes, je ne pouvais pas cliquer sur le bouton sur lequel je voulais cliquer, et je ne savais même pas que c'était un problème avec Vision Pro. ou c'est mon propre problème.

Par conséquent, même si Apple doit supprimer la prise casque 3,5 mm et réduire la capacité de la batterie, il doit encore laisser la place à un énorme Taptic Engine, qui non seulement prolonge la durée de vie du composant en abandonnant la structure mécanique, mais assure également la réalisme du feedback interactif.

Le véritable sentiment d'interaction n'est pas seulement un signal indiquant si l'appareil est cassé. Si vous voulez aller plus loin, nous sommes complètement passés de l'ère du « bouton » à l'ère du « toucher », et entrons également dans l'ère « aérienne ». l'ère de l'opération de conditionnement. À l’avenir, nous n’aurons peut-être plus besoin de toucher aucun appareil pour effectuer diverses opérations. Diverses interfaces utilisateur holographiques nous entoureront simplement de pointer dans les airs ou d’utiliser la commande vocale pour faire ce que nous voulons.

Cet avenir flou entre virtuel et réalité nous apportera toutes sortes d’incertitudes. Par exemple, comment savoir que l’on est une personne vivante et non un cerveau dans une cuve ?

Peut-être que le « jeu d'imitation » d'Apple prendra un jour complètement fin avec des changements dans les opérations, mais avant cela, nous pouvons encore nous attendre à voir comment Apple utilisera diverses méthodes pour tromper nos doigts et notre cerveau.

# Bienvenue pour suivre le compte public officiel WeChat d'aifaner : aifaner (ID WeChat : ifanr). Un contenu plus passionnant vous sera fourni dès que possible.

Ai Faner | Lien original · Voir les commentaires · Sina Weibo