Les lunettes AR les plus puissantes sont là ! Projet top secret de Meta depuis dix ans, votre prochain téléphone portable pourrait être des lunettes

À quoi ressembleront les lunettes de demain ? Je ne sais pas combien de personnes l’ont imaginé.

Il a à peu près la même taille qu'aujourd'hui et se transforme en un HUD mobile lors de la navigation. Lors des appels vidéo, l'image dynamique de l'autre partie est suspendue dans les airs. Les objectifs peuvent afficher tout le contenu dont vous avez besoin… Quoi qu'il en soit, c'est similaire. à ceux portés par Vegeta et Iron Man.

Tôt ce matin, Meta a sorti Orion, les premières lunettes intelligentes AR, nous rapprochant un peu plus de ce produit idéal. Bien que les lunettes AR se soient succédées ces dernières années, les points communs sont également évidents : soit elles ont une seule fonction et ne sont qu'un projecteur mobile, soit elles sont encombrantes et coûteuses, totalement inadaptées au marché de masse.

Par rapport aux produits précédents, l'apparence moins volumineuse de Meta Orion et les fonctions AR intégrées ont une fois de plus donné à tout le monde l'espoir de mettre en œuvre des lunettes AR.

De plus, Meta Connect 2024 est un nœud important pour le dixième anniversaire de la conférence, Zuckerberg a également apporté d'autres nouveaux gadgets :

• Les lunettes intelligentes Meta Orion font des débuts époustouflants, leader de l'industrie en matière d'expérience AR ;
• Les lunettes MR montées sur la tête Meta Quest 3S sont lancées. La "Youth Edition" de Quest 3 n'est pas nouvelle mais moins chère ;
• Meta AI continue de se mettre à niveau pour aider le matériel de visiocasque à offrir une meilleure expérience utilisateur ;
• Les nouvelles fonctionnalités d'IA de Meta Ray-Ban : traduction en temps réel, suggestions de tenues personnalisées et peuvent également vous aider à mémoriser les places de stationnement
• Le premier grand modèle open source de Meta, Llama 3.2, est dévoilé, avec des capacités multimodales.

Le matériel IA + est un sujet incontournable pour tous les produits électroniques grand public cette année. Alors, comment Meta combine-t-il ses propres grands modèles avec du nouveau matériel ? À quoi ressemblent les très attendues lunettes intelligentes Meta Orion ? Jetons un coup d'oeil.

Les premières lunettes AR de Meta font des débuts époustouflants, un produit de demain qui mettra dix ans à être « tout compris »

Dans l’esprit de Zuckerberg, les lunettes devraient être le meilleur appareil « futuriste ».

Avant cela, les lunettes comarquées Ray-Ban Meta, qui étaient entrées sur le marché de masse et avaient obtenu de bons résultats, ont réussi à vérifier l'acceptation des lunettes intelligentes par le marché.

Mais on ne peut dire que ce produit a atteint la moitié de l'objectif de Meta : Ray-Ban Meta fournit principalement l'audio, la photographie et certaines fonctions d'IA. En termes simples, il s'agit toujours d'un appareil traditionnel porté sur les yeux.

Le produit complet que Zuckerberg qualifie d'« impeccable » est la première lunette intelligente AR Orion de Meta. Après dix ans de développement secret et des milliards de dollars investis, elle a finalement été sortie de la boîte de confidentialité aujourd'hui. Le vrai visage de Lushan a été révélé.

La première impression de ces lunettes est naturellement que leur design est très proche des lunettes de soleil ordinaires, ce qui crée immédiatement un grand écart entre elles et les produits concurrents « gros et bruts » existants sur le marché.

Parce que les lunettes doivent aussi être belles.

Bien sûr, c'est aussi parce que Meta n'a pas choisi d'intégrer tous les composants dans une seule forme de lunettes. Meta Orion se compose de trois parties : le corps des lunettes, un bracelet de suivi des mains et un « module informatique » de la taille d'une télécommande. Les trois sont connectés sans fil.

Cette solution « divisée », associée au matériau de magnésium plus léger utilisé dans le corps, permet au corps des lunettes Orion d'atteindre un poids étonnant de 98 grammes. À titre de comparaison, les nouvelles lunettes AR Spectacles de Snap lancées la semaine dernière pèsent 226 grammes.

Ce qui est encore plus impressionnant, c'est que l'Orion, qui a un corps fin et léger, peut atteindre une autonomie d'environ 2 heures, tandis que les Spectacles plus épais et plus lourds ne peuvent durer que 45 minutes.

En termes de capacités de projection AR, qui sont au cœur des lunettes, Orion a pris une « longueur d'avance » sur de nombreux aspects.

L'objectif d'Orion n'est pas un écran en verre, mais une lentille en carbure de silicium. Le projecteur miniature sur le cadre émet de la lumière dans un guide d'ondes, et le guide d'ondes est projeté sur l'objectif, affichant ainsi le contenu virtuel AR (Zhao) avec différentes profondeurs et tailles. l'appelle le "panorama").

Selon les tests réalisés par The Verge, Meta Orion a un champ de vision allant jusqu'à 70 degrés, ce qui pourrait être les lunettes AR avec le champ de vision le plus large de l'industrie.

Selon les vidéos de démonstration existantes, les utilisateurs peuvent porter des lunettes pour ouvrir plusieurs fenêtres de l'application Meta Horizon pour effectuer plusieurs tâches, ou utiliser Meta AI pour identifier et étiqueter des objets dans le monde réel.

Même si le point de vue de l'utilisateur s'éloigne de ces fenêtres, ces projections virtuelles « existeront » toujours, attendant que le regard de l'utilisateur revienne.

Quant à la qualité et à la clarté de l’image projetée, ce n’est pas un problème pour lire des images et du texte, mais vous ne voudrez pas utiliser ces lunettes pour regarder des films pour le moment.

Les bonnes compétences sociales de Meta sont également entrées en collision avec les lunettes AR pour créer de nouvelles astuces. Les amis lors de l'appel apparaîtront devant vous sous la forme d'une image de projection holographique, mais c'est encore relativement difficile pour le moment.

Orion dispose également d'une caméra orientée vers l'intérieur qui scanne le visage de l'utilisateur pour générer un modèle en temps réel pour les appels vidéo avec l'utilisateur du téléphone.

En termes d'interaction, Meta Orion prend en charge le suivi oculaire, le contrôle gestuel et le fonctionnement vocal de l'IA. Le port du bracelet correspondant peut permettre des opérations gestuelles plus sophistiquées.

Ce bracelet peut reconnaître certains gestes : pincer l'index avec le pouce pour sélectionner du contenu ; pincer le majeur et le pouce pour appeler ou masquer le lanceur d'applications en utilisant le pouce contre la paume fermée pour faire un geste de tirage au sort pour faire défiler vers le haut ou vers le bas ; , dans l'ensemble très naturel.

Il convient de mentionner que le bracelet fournit également un retour tactile pour vous indiquer si le geste a été reconnu avec succès, résolvant ainsi un problème dans l'interaction IRM actuelle.

Le principe de ce bracelet est de lire les signaux nerveux liés aux gestes grâce à l'électromyographie. The Verge a même commenté que c'était "un peu comme lire dans les pensées".

Avec ce bracelet, les utilisateurs peuvent utiliser leur regard comme un pointeur sur l'interface Orion, et pincer comme un clic. L'expérience globale est très naturelle. Plus important encore, si vous souhaitez utiliser des lunettes AR en public, vous n'avez plus à le faire de manière maladroite. donner des ordres à l'air" ou "pointer du doigt", l'interaction peut également être complétée avec les mains dans les poches.

La Meta AI, qui a déjà commencé à briller sur les lunettes Ray-Ban, a également été combinée avec la RA pour créer un nouveau gameplay et peut désormais interagir davantage avec le monde réel.

Dans l'expérience réelle, The Verge a utilisé Orion pour identifier et étiqueter rapidement les ingrédients sur la table, et a demandé à Meta AI de générer une recette de milkshake basée sur ces ingrédients.

Bien que Zuckerberg ait déclaré que Meta Orion est un produit destiné aux consommateurs, l'appareil Orion actuel est encore un prototype et n'est disponible que pour certains développeurs et expérimentateurs, dont le vieil ami Jensen Huang.

Zuckerberg a annoncé le prix du Quest 3S dans les dix secondes suivant son apparition, c'est rare parmi les lancements de produits électroniques, mais je dois quand même soupirer pour aller droit au but et me concentrer uniquement sur les points clés.

En général, Meta Quest 3S est en fait la « Youth Edition » de Quest 3, avec un prix de départ de 299,99 $ US (environ 2 108 RMB) pour 128 Go et de 399,99 $ US (environ 2 810 RMB) pour 256 Go.

À en juger par la configuration, le Quest 3S est équipé du processeur Snapdragon XR2 Gen 2, qui est le même modèle que le Quest 3, et prend également en charge le suivi manuel.

Après avoir regardé la conférence de presse, j'ai l'impression qu'au lieu de l'appeler Quest 3S, il serait plus approprié de l'appeler la version améliorée de Quest 2. Il a été précédemment signalé qu'en tant qu'option plus « rentable », le Quest 3S utilise toujours le même objectif que le Quest 2 et que le corps global sera plus épais que le Quest 3.

Bien que Quest 3S ne soit pas aussi bon que Quest 3 en termes de configuration matérielle, il est fondamentalement le même que son grand frère en termes d'expérience en matière d'écosystème logiciel. Le Quest 3S peut également offrir de riches fonctions de divertissement et de bureau dans HorizonOS.

Après la sortie de Quest 3 l'année dernière, les critiques ont été mitigées. La plus critiquée est le retard élevé et la distorsion sévère après l'activation de la perspective vidéo. Zuckerberg a déclaré qu'après un an d'optimisation et d'amélioration, l'expérience actuelle s'était améliorée. , en particulier dans les trois aspects de la fonctionnalité VR, du suivi des mains et de l'adaptation logicielle.

Les utilisateurs peuvent désormais transformer directement les pages Web 2D en bureaux immersifs sur les deux produits, tout comme Vision Pro, et placer l'interface ouverte dans l'appareil n'importe où dans l'espace.

De plus, le mode cinéma du Quest 3S peut étendre une interface distincte en un cinéma à écran géant, et la gamme d'écrans peut être étendue pour couvrir tout l'espace. Le visionnage de films immersifs n’a rien de nouveau sur les visiocasques. Le nombre de sources de films et de plates-formes auxquelles il peut être adapté est au cœur de l’expérience de chaque produit.

Quest 3S prend en charge toutes les principales plateformes médiatiques grand public européennes et américaines. Netflix, YouTube et Amazon Prime peuvent tous être utilisés pour regarder des films en mode cinéma.

Les films et les jeux sont des éléments essentiels du divertissement pour les casques VR. Les fonctions supplémentaires sur cette base peuvent souvent refléter les performances du produit lui-même. Cette conférence a également annoncé une nouvelle fonction du Quest 3S – Hyperscale.

Les utilisateurs peuvent utiliser leur téléphone mobile pour numériser les détails de la pièce et l'emplacement des meubles, puis reconstruire une scène de restauration presque 1:1 sur Quest 3S.

À en juger par la démonstration lors de la conférence de presse, la restauration de la scène est vraiment bonne, et il n'y a pas trop d'aspérités et de distorsions. À l'avenir, il y aura une autre plate-forme pour visiter des maisons en ligne de manière immersive, ou visiter des musées ou des sites historiques sans sortir. maison. . Mais à part cela, quels sont les aspects pratiques de la restauration de scènes ? Comment mettre en œuvre la technologie en fonction des différentes conditions de chaque région est un problème difficile auquel Meta et Quest devront répondre à l'avenir.

Le nom complet de Meta est métaverse, ce qui signifie métaverse. Le changement de nom de Facebook en Meta a montré la détermination de Zuckerberg à explorer de nouvelles technologies, et Meta est devenu le premier géant de la technologie à entrer dans le métaverse. Par conséquent, le « Metaverse » est devenu un élément incontournable de chaque nouvelle version de produit Meta, même s’il a heurté de nombreux obstacles dans ce domaine.

Zuckerberg a annoncé lors de la conférence de presse que Meta Quest 3S avait lancé des fonctionnalités améliorées pour une interaction sociale immersive. Les utilisateurs de Quest peuvent désormais créer des avatars sur l'appareil, jouer à des jeux entre eux, faire équipe pour se mettre en forme ou aller écouter un concert en ligne.

Avec la sortie du Quest 3S, Quest 2/Pro a également annoncé l'arrêt complet de la production. De plus, le prix du Quest 3 a également été réduit de 649 $ US à 499 $ US. Le nouveau produit sera expédié après le 15 octobre.

Llama 3.2 est sorti, les capacités multimodales permettent aux lunettes d'avoir des yeux

Par rapport au Meta Quest 3S, qui n'a pratiquement aucun changement et a même des spécifications réduites, les nouvelles fonctionnalités de Meta AI sont plus innovantes.

Zuckerberg a annoncé lors de la conférence de presse que Meta AI avait officiellement lancé la fonction vocale. Les utilisateurs peuvent poser des questions à Meta AI ou discuter d'autres manières via Messenger, Facebook, WhatsApp et Instagram, et recevoir des réponses vocales simulées.

De plus, le timbre de la voix de l'IA peut être sélectionné indépendamment et vous pouvez utiliser des voix d'IA, notamment des célébrités telles que Judi Dench, John Cena, Awkwafina et Kristen Bell.

Zuckerberg a également démontré la fonction vocale sur place. D'une manière générale, la vitesse de réponse du dialogue est assez rapide et le contenu des réponses est relativement précis. Le ton de la voix semble un peu plus proche des questions et réponses d'une personne réelle et du dialogue. peut être interrompu à tout moment. Insérer un nouveau sujet ou une nouvelle question.

Bien qu'il y ait eu quelques erreurs dans le processus, cela est normal pour une technologie en cours d'exploration et de développement. Zuckerberg lui-même n'a pas hésité à le faire, comme il l'a lui-même dit : c'est ce qui arrive souvent dans les démos.

De plus, grâce à la fonction AI Studio, les utilisateurs peuvent également créer indépendamment des personnages IA correspondants en fonction de leurs propres besoins, passe-temps, etc. Cela peut nous aider à générer des émoticônes, à fournir des suggestions de voyage et, bien sûr, à mener également des conversations quotidiennes.

Cependant, à en juger par l'effet, la prochaine fonction de traduction de l'IA est plus pratique. Actuellement, les terminaux équipés de Meta AI peuvent prendre en charge la traduction vocale en temps réel. Les deux intervenants de la conférence de presse ont mené une conversation multilingue instantanée (anglais-espagnol) en portant des Meta Ray-Ban.

Meta Ray-Ban peut capter la voix de l'autre partie via le microphone et la traduire rapidement dans la langue maternelle du propriétaire. Bien que la vitesse de réponse de la traduction dans chaque langue ne soit pas lente, les phrases sont un peu plus longues et le temps d'attente est encore un peu gênant. , et Meta AI prendra parfois la conversation.

L'effet de traduction vocale d'une autre vidéo en ligne sera encore meilleur. Par rapport à la traduction en temps réel ci-dessus, j'aimerais l'appeler une « fonction de traduction avancée ». Meta AI peut traduire la voix d'une vidéo en ligne dans la voix d'une autre langue, ce qui est encore plus puissant, c'est qu'elle peut parfaitement restaurer le ton, le timbre et même l'accent de l'orateur dans la vidéo originale lorsqu'il parle anglais dans différents pays.

Une série de fonctions mises à jour de Meta AI lors de la conférence de presse ont en fait un noyau commun : Llama 3.2.

En juillet de cette année, Meta vient d'annoncer le modèle Llama 3.1. En termes simples, le très grand Llama 3.1 405B est le modèle le plus puissant de Meta à ce jour, et c'est également le grand modèle open source le plus puissant au monde. Grand modèle le plus puissant au monde.

Je ne m'attendais pas à ce que Llama 3.2 soit là dans seulement deux mois.

Llama 3.2 est le premier modèle d'IA open source de Meta, comprenant deux modèles visuels (11B et 90B) et deux modèles de texte brut léger (1B et 3B), ce qui signifie qu'il possède des capacités multimodales et qu'il peut traiter du texte et des images. en même temps, et le modèle de texte brut léger peut comprendre directement le contenu saisi par l'utilisateur localement.

S'appuyant sur les nouvelles capacités de Llama 3.2, de nombreux appareils équipés de grands modèles disposent également d'un plus large éventail de scénarios pratiques. En plus de la fonction de traduction IA mentionnée ci-dessus, Meta Ray-Ban dotée de capacités visuelles peut désormais aider les gens plus en profondeur dans leur travail et leur vie quotidienne.

Vous pouvez directement demander à Meta Ray-Ban de préparer de délicieuses boissons à base d'avocat. Vous n'avez même pas besoin de mentionner l'avocat dans la phrase, utilisez simplement des pronoms tels que « ceci » car cela se voit.

Je ne sais pas combien de personnes ont oublié où elles ont garé leur voiture dans le centre commercial. Si vous êtes également un visiteur fréquent qui oublie le numéro de la place de stationnement, Meta Ray-Ban peut désormais vous aider à noter le numéro de la place de stationnement afin que vous puissiez le faire. peut récupérer les informations correspondantes à tout moment si vous les oubliez.

Composez le numéro sur l'affiche et scannez le code QR sur la brochure pour vous aider à assortir vos tenues quotidiennes… Bref, grâce à la caméra sur les lunettes et au modèle visuel récemment amélioré et à d'autres capacités d'IA, Meta Ray-Ban peut presque apparaître dans tous les coins de votre vie.

C’est justement grâce à l’existence de cette caméra que le mariage entre Be My Eyes et Meta est devenu possible. Be My Eyes est une plateforme d'assistance publique qui connecte les personnes aveugles ou malvoyantes avec des bénévoles et des entreprises voyants via la vidéo en temps réel et l'intelligence artificielle. Grâce à des appels vidéo en ligne en temps réel, les bénévoles/organisations peuvent aider les personnes ayant une déficience intellectuelle à résoudre le problème. difficulté immédiate.

Le développement de la technologie ajoute non seulement de la valeur à la vie de la grande majorité des gens, mais compense également dans une large mesure la partie manquante de groupes spéciaux, rendant ainsi la vie de chacun plus pratique. L'importance de la technologie se révèle ici.

L’aube de la prochaine génération d’appareils informatiques est là

Bien que nous attendions depuis longtemps les lunettes Meta Orion, lorsque Zuckerberg a sorti le vrai téléphone, il nous a quand même donné une « sensation incroyable » perdue depuis longtemps dans les produits de nouvelle technologie.

Ce sentiment d’étonnement n’est pas seulement dû au fait que le futur projet décrit par Meta est suffisamment attrayant, mais aussi au fait que l’effet réel de ce produit est très proche de la vision de The Verge après l’avoir expérimenté :

Ce n’est pas un mirage, ni un véritable produit. C'est quelque part entre les deux.

C'est aussi la différence entre Orion et beaucoup d'idées fantastiques que Meta a explorées : ce n'est pas un concept difficile à sortir du laboratoire, mais un produit de demain que Meta a choisi de « tout intégrer », une combinaison parfaite de l'IA et de la MR.

C'est le meilleur appareil d'IA : il peut voir ce que l'utilisateur voit, écouter ce qu'il entend et peut combiner les scénarios réels de l'utilisateur, afin de pouvoir donner des réponses plus efficaces.

C'est aussi le moyen ultime d'interagir et de se connecter : il n'est pas nécessaire de se limiter à un petit écran ou à un casque lourd. Les mondes virtuel et réel sont étroitement intégrés l'un à l'autre et peuvent interagir à tout moment et en tout lieu.

Il est déjà admis dans l’industrie que les appareils informatiques tels que les téléphones mobiles ont atteint la fin de leur cycle de vie ; et la prochaine génération d’appareils informatiques est explorée par Apple, Meta et même OpenAI.

Bien qu'il s'agisse encore d'un prototype, la réponse donnée par Meta, Orion, semble actuellement bonne. Quant à savoir s'il deviendra le prochain terminal intelligent grand public après les téléphones mobiles, il reste encore de nombreuses inconnues, mais Zuckerberg est plein de confiance en cela. .

Les lunettes et les hologrammes deviendront un produit omniprésent. Si nous parvenons à amener tous ceux qui possèdent déjà des lunettes dans le monde à passer à des lunettes dotées d’IA et de RM, alors ce sera l’un des produits les plus réussis de l’histoire du monde, et je pense qu’il ira encore plus loin.

*Su Weihong a également contribué à cet article

# Bienvenue pour suivre le compte public officiel WeChat d'aifaner : aifaner (ID WeChat : ifanr). Un contenu plus passionnant vous sera fourni dès que possible.

Ai Faner | Lien original · Voir les commentaires · Sina Weibo