Le Metaverse, quelques petits pas en avant en 2022

Il y a une blague selon laquelle certaines personnes mangent des petits pains cuits à la vapeur et se sentent rassasiées quand elles mangent le troisième, alors elles se plaignent, disant que cela aurait été mieux s'ils avaient mangé le troisième petit pain cuit à la vapeur, les deux premiers petits pains cuits à la vapeur étaient inutiles du tout.

Bien que peu de gens soient aussi stupides en réalité, des erreurs cognitives similaires sont courantes : se précipiter vers une vision technologique et ignorer le processus de progrès technologique.

Après avoir connu une vague d'engouement pour le métaverse l'année dernière, le mot est apparu moins fréquemment maintenant, la marée s'est estompée et les nageurs nus sont apparus les uns après les autres. Pas nécessairement solitaires.

2022 est la période de refroidissement pour que le métaverse disparaisse. Comme je l'ai dit dans "The Metaverse Needs "Infrastructure Crazy" l'année dernière, le métaverse de la saveur originale est encore loin, mais l'infrastructure du métaverse s'est déjà ouverte .écran.

La série d'articles de l'investisseur et analyste Matthew Ball "Framework for the Metaverse" (Metaverse Framework) divise les éléments architecturaux de base du Metaverse en "hardware, computing, network, platform, tools, interaction, payment, content", etc. De nombreux aspects.

En tant que direction d'évolution à long terme de la technologie grand public et industrielle et d'Internet, Metaverse ne sera pas un monopole, mais le résultat d'une co-création multipartite. Par exemple, Meta se concentre sur le matériel, la plate-forme et le contenu, et ByteDance & Pico sont également similaires, et Qualcomm est sûr qu'il se concentre sur les technologies de base telles que l'informatique et les réseaux, tandis qu'Unity fournit des outils. Quant au paiement, il est probable qu'il s'agisse de la technologie blockchain distribuée…

Par conséquent, nous voyons aujourd'hui de nombreux nouveaux produits et nouvelles technologies jalons.Si elles sont placées dans une si grande vision de ce métaverse, elles ressemblent en fait plus à des briques, petites mais cruciales.

Le Metaverse n'est pas la dernière brique lorsque sa technologie est pleinement mature, mais une collection d'innombrables briques à venir.

On voit, en 2022, quelles nouvelles briques émergent en ce qui concerne le métaverse. Ma Huateng, le fondateur de Tencent, a appelé le métaverse "l'interconnexion entièrement réelle", et sa performance spécifique réside dans : la présentation réelle des sens multidimensionnels, la connexion complète d'informations massives, la libre interaction des opérations homme-ordinateur , et l'intégration organique de la réalité virtuelle… C'est le Une nouvelle façon de connecter le numérique et le physique, à travers le temps et l'espace.

Meta commence à défier le "Visual Turing Test"

En 2022, dans le domaine du métaverse, un développement historique est que Meta a récemment montré 4 machines d'ingénierie, défiant officiellement le "Visual Turing Test".

Comme nous le savons tous, le test de Turing consiste à tester si l'intelligence artificielle peut atteindre la même intelligence que les êtres humains.

Le test visuel de Turing consiste à tester si la scène de réalité virtuelle affichée par le dispositif VR peut tromper l'œil humain et le cerveau humain, faisant croire aux gens que le monde devant eux est le monde réel.

Bien que les appareils VR actuels puissent fournir des scènes très réalistes et spatiales, en raison de la densité de pixels, de la luminosité de l'écran, de l'expérience de port et d'autres raisons, nous sommes toujours très clairs sur le fait que cette réalité est virtuelle.

Donc, qu'il s'agisse du défi de Meta du "Visual Turing Test" ou de la "présentation réelle des sens multidimensionnels" de Tencent, ils établissent une feuille de route pour la norme d'expérience sensorielle du Metaverse.

En juin de cette année, Meta a annoncé quatre prototypes et machines conceptuelles VR, nommés : Butterscotch, Starburst, Holocake 2 et Mirror Lake.

Ces produits représentent plusieurs directions techniques que les produits VR doivent être cassés un par un : Butterscotch se concentre sur la haute résolution au niveau de la rétine ; Starburst se concentre sur la luminosité ultra-élevée de 20 000 nits et l'affichage HDR ; Holocake 2 veut résoudre le problème des petits et légers Produits VR ; Quant à Mirror Lake, il s'agit d'une machine conceptuelle en phase de vérification, et il n'y a pas d'affichage réel de la machine. Il combine les avantages de tous les prototypes précédents, haute définition, lumineux et mince.

En plus de ces prototypes, il existe également les prototypes de la série Half Dome que Meta a développés.Cette série résout principalement le problème de l'impossibilité de zoomer sur l'affichage des produits VR. Parce que les produits VR grand public actuels utilisent tous des composants optiques à distance focale fixe, la distance focale est généralement de 1,5 à 2 mètres, donc peu importe où nous regardons le produit VR, la lumière provient de la même distance, mais l'œil humain et le cerveau humain ne peut pas détecter cette question. Par conséquent, l'inadéquation entre la distance de simulation d'écran virtuel des produits VR et la distance de mise au point des yeux humains entraînera un conflit Vergence-Accommodation/VAC Ce conflit est le résultat direct du fait que de nombreuses personnes portent des produits VR et ressentent une raison de fatigue oculaire.

La résolution est la partie la plus critique de la simulation de scènes réelles et de la réussite du test visuel de Turing.

Dans le domaine des smartphones et des ordinateurs, on dit souvent "écran rétine", ce qui signifie qu'après que la densité de pixels (PPI, Pixels Per Inch, pixels par pouce) de l'écran atteint un certain niveau, l'œil nu ne peut plus distinguer les pixels, mais parce que les gens Selon la distance entre l'affichage d'un téléphone portable et d'un ordinateur, et la disposition des pixels de l'écran d'affichage, il n'y a pas de définition précise de la densité de pixels qui répond à la norme de la rétine.

Dans le domaine de la VR, les écrans Retina doivent introduire une autre dimension d'évaluation : le PPD (Pixels Per Degree, le nombre de pixels par degré), car le champ de vision affiché par la VR est très large, atteignant généralement environ 110 degrés, donc même si Les produits VR adoptent un écran de niveau 4K (4320 × 2160, œil unique 2160 × 2160), puis le PPD de l'écran d'affichage VR est de 2160 pixels ÷ 110 degrés = 19,6, ce qui est également l'effet d'affichage des produits VR grand public actuels.

L'industrie de la réalité virtuelle ou du métaverse estime généralement que la norme de rétine des produits de réalité virtuelle devrait atteindre 60 PPD. S'il peut atteindre 120 PPD, le réalisme atteindra un état très idéal. On peut voir qu'il y a un grand écart entre les produits existants et la valeur idéale.

Le prototype Butterscotch utilise un panneau d'affichage LCD à résolution 3K à œil unique et limite le champ de vision à environ la moitié du casque Meta Quest 2 VR, puis ajoute un objectif personnalisé, ce qui permet finalement au prototype d'afficher un PPD de 55. Très proche de la norme dite "écran Retina".

A noter que la puissance de calcul n'est pas ici un goulot d'étranglement : la plateforme Qualcomm Snapdragon XR2 utilisée dans Meta Quest 2 supporte déjà l'affichage monoculaire 3K, la principale difficulté réside dans la contradiction entre dalle, champ de vision, objectif et volume.

Bien sûr, augmenter le PPD à 55 a également coûté très cher au prototype Butterscotch, qui avait un champ de vision étroit et était incroyablement volumineux.

Avant d'atteindre la fin d'une expérience métaverse à part entière, nous pouvons examiner où en est la technologie actuelle : les dispositifs d'affichage métavers (souvent considérés comme des produits VR) doivent réussir le test de Turing visuel, qui nécessite une résolution, une luminosité d'affichage, un zoom, une finesse et d'autres les dimensions atteignent une certaine valeur : par exemple, le PPD atteint 60, la luminosité maximale de l'écran atteint 20 000 nits, etc.

À l'heure actuelle, les produits grand public sont encore loin de ce seuil, et les prototypes qui peuvent répondre à la norme sur un aspect ne peuvent pas prendre en compte d'autres objectifs.

Heureusement, nous connaissions les objectifs à long terme, nous les avons décomposés, nous avons construit plusieurs prototypes et nous connaissions la direction et les dimensions de l'endroit où nous allions.

N'est-ce pas plus proche de ce que "progrès" signifie vraiment que de simplement représenter une scène métaverse ?

Où en est la VR grand public ?

Un fabricant chinois vient de faire un petit pas dans les produits VR grand public.

Pico a récemment lancé une nouvelle génération de produits de la série VR Pico 4 et Pico 4 Pro. Le plus grand point fort de ces nouveaux produits est l'utilisation de la lentille Pancake auto-développée, rendant le Pico 4 plus fin et plus léger. Par rapport à la génération précédente Pico neo 3, le Pico 4 est 26,2 % plus léger et 38,8 % plus fin, tandis que la capacité de la batterie n'est pas réduite.

Par rapport aux solutions traditionnelles de lentilles asphériques et de Fresnel, l'épaisseur du module optique de la lentille Pancake est réduite de moitié (environ 2 cm).De plus, puisque cette solution utilise deux lentilles ou plus, le réglage dioptrique (myopie) peut être réalisé. Les utilisateurs peuvent éviter de porter des lunettes) et améliorer la qualité d'image des bords.

Bien sûr, la structure de la lentille Pancake sera plus compliquée et le coût sera plus élevé.

En plus d'être très fin et léger, contrôlant le poids à 295 grammes, les deux autres améliorations évidentes de Pico 4 sont la perspective des couleurs haute définition et l'interaction à main nue.

À mon avis, ces deux nouvelles fonctionnalités sont les deux portes des produits VR vers le métaverse.

Après avoir porté les premiers produits VR, ils étaient fondamentalement isolés du monde. Ils ne pouvaient être immergés que dans le monde virtuel. S'ils voulaient se connecter au monde réel, ils devaient enlever le casque.

Plus tard, nous avons installé une caméra noir et blanc sur le casque VR, et en filmant l'environnement extérieur et en l'affichant sur l'écran VR, laissez-nous savoir à quoi ressemble l'extérieur du casque, mais la plupart de ces produits sont en perspective noir et blanc , et l'effet est très faible.

En fait, la perspective des couleurs haute définition transforme essentiellement les produits VR en produits XR.

Le monde virtuel et le monde réel ne sont plus séparés dans les casques VR, mais ont la possibilité de s'intégrer.

Quant à l'interaction à main nue, elle fournit également une méthode d'interaction plus naturelle et naturelle sur l'interaction de la poignée existante.Après tout, rien n'est plus flexible que nos mains, et l'interaction la plus idéale dans le métaverse mature n'est certainement pas le clavier et souris. , l'écran tactile, mais nos mains.

Fait intéressant, les deux nouvelles fonctions de perspective couleur haute définition et d'interaction à main nue reposent en fait sur le support du Qualcomm Snapdragon XR2, ce qui prouve une fois de plus que le Metaverse est également très dépendant de la coopération industrielle.

Quel est le lien entre la 5G et le métaverse ?

Nous avons parlé des produits de Meta et Pico plus tôt, plus de l'avancement des appareils et des interactions dans l'architecture métaverse, puis du réseau.

Lors de la conférence mondiale sur l'intelligence artificielle (WAIC) qui vient de se terminer, Qualcomm a présenté une technologie appelée "la première technologie de rendu de séparation XR collaborative de bout en bout de l'industrie basée sur des tranches 5G pour améliorer la nouvelle expérience de XR illimité".

C'est une bouchée à lire, et ça a l'air compliqué, mais c'est aussi très significatif.

Dans le passé, les produits VR ne pouvaient pas calculer par eux-mêmes et devaient être connectés au PC avec un câble, mais il y avait ensuite une machine VR tout-en-un ; auparavant, les produits VR n'avaient pas de fonction de perspective, et il n'était pas clair à quoi ressemblait le monde extérieur, mais maintenant ils ont une perspective de couleur; Il y a un réseau, tant que seul le Wi-Fi est pris en charge, cela signifie que nous ne pouvons pas porter les produits VR trop loin du routeur.

De toute évidence, la 5G est un monde plus large et plus libre.

"La première technologie de rendu de séparation XR collaborative de bout en bout de l'industrie basée sur le découpage 5G améliore la nouvelle expérience XR illimitée." En bref, elle réalise une expérience de jeu VR collaborative pour trois personnes et un rendu de séparation collaboratif de bout en bout.

Au total, trois machines tout-en-un iQIYI Qiyu Dream Pro VR ont été utilisées dans ce test, un smartphone Xiaomi utilisant la solution de découpage de terminal de China Mobile et une petite station de base domestique 5G développée par China Mobile Research Institute, Shiju et Gongjin. .

Bien que 5G + VR soit une combinaison fréquemment mentionnée, la mise en œuvre réelle est encore assez difficile. Lors du test, les trois lecteurs VR ont obtenu une résolution de 1832 × 1920, un écran de rendu en temps réel 90FPS VR, ce qui nécessite une bande passante assez élevée. Cependant, parce que de la technologie de découpage du réseau 5G, chaque joueur peut obtenir un taux de liaison descendante de 100 Mb/s. Même si la résolution d'affichage des futurs produits VR est plus élevée et que le taux de rafraîchissement est plus rapide, ce taux est toujours redondant.

Voici une explication de ce qu'est le découpage du réseau 5G, car à l'ère de la 5G, divers appareils et services ont des exigences de réseau différentes, telles que les maisons intelligentes, la surveillance de l'environnement et l'agriculture intelligente.Les exigences sont des connexions d'appareils massives et un faible volume de données mais élevé La vidéo 4K, la réalité virtuelle, la diffusion en direct et les jeux en nuage nécessitent plus de bande passante et de vitesse ; des services tels que l'Internet des véhicules, les réseaux intelligents et le contrôle industriel nécessitent une latence de l'ordre de la milliseconde et une fiabilité de près de 100 %.

Grâce au découpage du réseau, les opérateurs peuvent créer plusieurs réseaux logiques dédiés, virtualisés et isolés au-dessus d'un réseau physique commun pour répondre aux exigences différenciées des différents clients en matière de capacités réseau.

En plus d'utiliser le découpage du réseau 5G pour assurer le débit de bande passante des jeux VR, le test de Qualcomm de cette technologie est plus important pour le "rendu de séparation collaboratif de bout en bout".

La fin fait référence à la fin du produit VR et la périphérie au cloud périphérique Dans ce test, Qualcomm a réalisé la répartition partielle de la charge de rendu du cloud périphérique et a transmis la puissance de calcul la plus lourde au cloud périphérique pour le traitement, ce qui équivaut à pour rendre l'appareil VR plus puissant. B.

Il est concevable que cette technologie puisse réduire davantage la consommation d'énergie et la génération de chaleur de l'équipement XR, tout en réduisant la taille et le poids du produit et en améliorant le confort de port.

En voyant cela, je pense que beaucoup de gens ressentiront la complexité des différentes technologies du métaverse : le matériel, l'informatique, le réseau, la plate-forme, l'interaction et le contenu ne sont pas isolés les uns des autres, mais entrelacés.

Par exemple, il semble que la technologie du 5G Unbounded XR de Qualcomm concerne le réseau, mais en fait le cœur est d'améliorer la puissance de calcul de l'appareil ; et le changement d'interaction du Pico 4 est dû aux progrès de la technologie matérielle.

C'est précisément en raison de la complexité et de la nature tournée vers l'avenir du métaverse qu'en plus des producteurs de terminaux (et des contributeurs de contenu) tels que Meta et Pico, les sociétés d'infrastructure telles que Qualcomm et Unity sont également tenues de définir les bases de l'informatique et du réseau. Support.

Plusieurs des appareils VR susmentionnés, tels que les tout-en-un Meta Quest 2, Pico 4 et Qiyu Dream Pro VR, utilisent tous la plate-forme Snapdragon XR2 de Qualcomm. En fait, tout comme le SoC de la série Snapdragon 8 a toujours été le premier choix pour les téléphones phares, le Qualcomm Snapdragon XR2 est également la plate-forme informatique de choix pour les appareils VR haut de gamme.

La raison pour laquelle on dit qu'il s'agit d'une plate-forme et non d'un processeur, c'est parce que les exigences du Metaverse sont trop compliquées. En plus de l'amélioration des performances du CPU et du GPU, nous pouvons également jeter un œil aux fonctionnalités Metaverse du Plateforme Snapdragon XR2 5G :

• Équipé d'un processeur de vision par ordinateur dédié, capable de prendre en charge sept caméras parallèles et un passage de caméra à faible latence ;
• En termes de traitement des graphiques 3D, la plate-forme XR2 5G a 5 fois le taux d'ombrage des pixels, 1,5 fois le taux de remplissage des pixels et 3 fois le taux de remplissage des textures par rapport à la génération précédente ;
• Rendu de la mise au point visuelle qui prend en charge le suivi des yeux et une résolution d'un seul œil peut atteindre un taux de rafraîchissement élevé de 90 Hz à 3K × 3K
• Prise en charge de la vidéo 8K @ 60fps, 4K @ 120fps, HDR10/HDR10+
• Prend en charge le suivi des os de la main à 26 points, le son spatial 3D
• Avec le modem Snapdragon X55 et le système RF, il peut fournir une vitesse de liaison descendante jusqu'à 7 Gbit/s et une vitesse de liaison montante de 3 Gbit/s

Dans une certaine mesure, ces caractéristiques peuvent à leur tour nous permettre de comprendre les besoins du métaverse en matière de matériel, d'interaction et de réseau, et également nous aider à comprendre, l'affichage VR au niveau de la rétine, les effets sonores spatiaux réels sur place, -interaction manuelle, perspective des couleurs, Sur quoi reposent les technologies et les fonctions telles que le rendu de séparation de bout en bout sous le réseau 5G ?

L'émergence du concept de métaverse n'est pas seulement la participation d'entreprises géantes, mais aussi de nombreuses startups sont impatientes d'essayer.Après un faux feu éteint, l'industrie s'est en fait un peu calmée. Au début de cette année, Qualcomm a annoncé la création du Snapdragon Metaverse Fund, avec un investissement de 100 millions de dollars américains pour aider les développeurs et les entreprises associées à créer des expériences XR uniques et immersives, ainsi que des technologies de réalité augmentée et d'intelligence artificielle.

Qualcomm a déclaré que la fondation, en collaboration avec Qualcomm Ventures, fournira un financement, des équipements, une assistance technologique et marketing aux principales entreprises XR, y compris les développeurs créant des expériences XR dans des domaines tels que les jeux, la santé et le bien-être, les médias, le divertissement, l'éducation et le commerce. .

Dans le même temps, Meta et Pico susmentionnés ont également maintenu leur coopération avec Qualcomm pour réaliser des innovations logicielles et matérielles dans le domaine XR.

Par rapport à la concurrence féroce sur le marché mature de l'électronique grand public, actuellement dans l'industrie du métaverse, tout le monde est encore principalement coopératif, non seulement en s'acquittant de ses propres tâches, mais en travaillant également ensemble dans une structure technique complexe. Par exemple, Qualcomm veut évidemment toujours jouer le rôle de guide ou de facilitateur, tandis que la plateforme Snapdragon se positionne comme la clé pour ouvrir la porte du Metaverse.

Dans l'ensemble, du point de vue des progrès technologiques et de la mise en œuvre, il y aura de nombreuses nouvelles tendances dans le métaverse qui méritent des applaudissements en 2022. En fait, de nombreuses entreprises travaillent encore dur pour rendre le métaverse virtuel moins vide.

#Bienvenue pour prêter attention au compte WeChat officiel d'Aifaner : Aifaner (WeChat : ifanr), un contenu plus excitant vous sera apporté dès que possible.

Love Faner | Lien d'origine · Voir les commentaires · Sina Weibo