La traduction en langue des signes de Huawei HDC2021 est en feu, pourquoi « elle » peut-elle être si ingénieuse ?

Huawei, à la fois dur et doux, doit être re-comprise.

Le 22 octobre, la conférence des développeurs Huawei 2021 (Together) s'est officiellement ouverte à Songshan Lake, Dongguan. et développeurs Construisez, partagez et gagnez un nouvel écosystème HMS. Mais il n'appartient pas qu'aux développeurs, il peut appartenir à chacun d'entre nous. La technologie logicielle de base n'est pas loin de nous.

HMS Core (Huawei Mobile Core Services) est un ensemble de capacités ouvertes logicielles et matérielles de Huawei. Il fonctionne sur le système d'exploitation et utilise diverses capacités ouvertes pour fournir une grande variété de services. En tant qu'élément important de l'écosystème HMS, HMS Core connecte les développeurs et les utilisateurs, permettant aux développeurs de développer efficacement et d'innover des applications tout en améliorant l'expérience utilisateur.

Si vous comparez cela à la construction d'une maison, Huawei fournit des matériaux de construction et des outils tels que des briques, des tuiles, du béton, des barres d'acier, des camions, du verre, etc. Quant à la construction de maisons rurales en bois, de villas de banlieue ou de grands magasins du centre-ville, le le développeur décide.

Bien que HDC2021 soit une conférence principalement destinée aux développeurs, il existe également de nombreuses nouvelles hors du cercle.Par exemple, l'interprète en langue des signes accompagnant la diffusion en direct de la conférence est différent de la traduction en direct que nous avons vue dans le coin inférieur gauche de la station de télévision. L'interprète envoyé par Huawei cette fois Elle est une "humaine numérique". "Elle" a vraiment atteint la dextérité. L'esprit est dérivé de "l'algorithme de traduction automatique", et la dextérité vient de "l'algorithme de génération humaine numérique multimodale". .

Ce traducteur en langue des signes n'est pas seulement un affichage de la dernière technologie de Huawei, mais aussi une technologie de base qui peut profiter à de nombreux développeurs.Tant que le développeur le souhaite, il peut organiser un interprète en langue des signes similaire dans sa propre application, tout comme Huawei. .

Ce traducteur en langue des signes est une manifestation concrète d'une capacité importante du HMS Core 6 qui vient de sortir.

D'ici 2021, HMS Core 6 a déjà échappé aux limitations du développement d'applications mobiles, donc au-delà des limitations, où peut-on étendre sa scène ?

En quoi HMS Core 6 peut-il aider les développeurs ?

Après avoir compris ce qu'est le HMS Core 6, pouvons-nous comprendre ce qu'il peut faire ? Cette fois, la traduction en langue des signes est une manifestation concrète de la capacité du HMS Core 6. En fait, la technologie sous-jacente s'appelle SignPal Kit. Puisqu'il y a un kit (kit d'outils) derrière, cela signifie que les développeurs peuvent l'utiliser pour faire plus de choses. En bref, le service de langue des signes (SignPal Kit) offre la possibilité de générer une langue des signes, qui peut traduire le texte en données de mouvement en langue des signes fluides et naturelles qui se conforment aux habitudes d'expression des groupes malentendants en temps réel, aidant à construire des informations applications innovantes sans barrières.

Plus grave qu'on ne l'imagine, les dernières données de l'Organisation mondiale de la santé montrent qu'environ 466 millions de personnes dans le monde souffrent de déficience auditive, ce qui représente près de 5 % de la population mondiale. Par conséquent, aidez ces personnes à utiliser facilement des produits électroniques pour atteindre L'accessibilité de l'information est presque l'une des responsabilités sociales importantes des grandes entreprises. SignPal Kit est un outil pour apprendre aux gens à pêcher, mais il n'est pas facile de le compléter.Tout d'abord, Huawei a complété le modèle de langage de pré-formation auto-développé, l'algorithme de traduction automatique et l'algorithme de génération de mouvement humain numérique multimodal. en même temps, il a travaillé avec le Conseil de recherche sur l'accessibilité de l'information. , Et en coopération avec la Faculté d'éducation de l'Université normale de Pékin, intégrer les connaissances spécialisées de la linguistique de la langue des signes pour réaliser la génération de postures corporelles, de gestes et d'expressions cohérentes et naturelles en langue des signes. .

À l'heure actuelle, il contient plus de 10 000 mots de vocabulaire et le taux de précision est supérieur à 90%. Les développeurs peuvent également personnaliser l'image du personnage 3D pour exprimer des mouvements naturels et fluides des mains, des postures corporelles et des expressions faciales conformes aux habitudes humaines.

La capacité de modélisation 3D (kit de modélisation 3D) est une autre mise à jour importante du HMS Core 6. En fait, la capacité de modélisation 3D n'est pas nouvelle, mais la différence cette fois est que seule une caméra RVB ordinaire est nécessaire pour générer efficacement la 3D via un téléphone mobile. Modèle.

La clé est d'abaisser le "seuil". J'ai vu de nombreux équipements de numérisation et de modélisation 3D lors de nombreuses expositions technologiques au cours des dernières années. Ils sont tous encombrants et coûteux, mais maintenant ils ne reposent que sur un téléphone intelligent ordinaire. Couplé à cela Kit de modélisation 3D, il peut prendre en charge la segmentation de l'arrière-plan des objets.Le modèle reconstruit n'a pas d'arrière-plan et les bords sont plus clairs et plus propres. Le scénario le plus simple pour cette capacité devrait être l'application d'achat. Maintenant, je veux voir l'image entière d'un produit, soit avec huit ou neuf photos ou en prenant une vidéo. Maintenant, un modèle 3D peut être généré pour afficher le produit en trois dimensions. Bien sûr, cette capacité ne se limite pas aux scènes de shopping. De nombreux accessoires de jeu sont souvent modélisés à partir d'objets réels puis redessinés. Naturellement, le kit de modélisation 3D peut également être pratique pour les développeurs de jeux.

HMS Core 6 dispose de plusieurs nouvelles fonctionnalités qui profitent aux développeurs de jeux : suivi de la lumière de l'environnement AR, Computer Graphics Kit (kit de calcul graphique) et Scene Kit (moteur graphique).

Si la capacité de modélisation 3D est de rendre le réel plus réel, alors ces nouvelles capacités sont de rendre le virtuel réel. Pour parvenir à une immersion dans l'expérience AR, la cohérence visuelle entre l'objet virtuel et l'objet réel est requise, sinon cela fera passer les gens à l'acte. Le suivi de la lumière de l'environnement Huawei AR est le premier à réaliser la capacité de fusion virtuelle et réelle au niveau centimétrique. Il peut estimer les conditions de lumière ambiante, combinées au moteur de rendu, de sorte que les objets virtualisés par AR puissent avoir les mêmes effets de lumière et d'ombre que réels objets.

Computer Graphics Kit (kit de calcul graphique) est le premier à obtenir des effets de brume dynamique sur le terminal mobile ; le kit de scène (moteur graphique) est le premier à utiliser la technologie de lancer de rayons sur les appareils mobiles pour simuler les effets de réflexion et de réfraction de la lumière dans le monde réel, auparavant développé Les scènes qui souffrent de maux de tête, telles que les reflets du lac et les reflets spéculaires peuvent être simulées. Dans le même temps, le réalisme fourni par Scene kit (moteur graphique) inclut également les effets de collision, de chute et de rotation du modèle 3D. Il peut également fournir des effets spéciaux de post-traitement tels que l'inondation, la profondeur de champ et le flou de mouvement. Bref, bien des fois, les problèmes graphiques sont en fait des problèmes physiques, à la fin du problème de physique, c'est le problème de mathématiques.

Lors de la conférence de presse de la série Huawei P50, il y a une technologie d'amélioration du signal appelée technologie de communication hétérogène AI. En tant que leader technologique de Huawei, cette technologie est également ouverte à tous les développeurs avec HMS Core 6, aidant les utilisateurs à obtenir une stabilité à haute vitesse. expérience réseau, cette expérience couvre le WiFi et les réseaux mobiles. Par exemple, mon jeu doit être mis à jour. Le package de mise à jour a 2G. Si le Kit réseau dans la technologie de communication hétérogène AI n'est pas connecté, cela peut prendre plus de dix minutes sous le réseau 4G, mais avec le Kit réseau, grâce au téléchargement multi-threading, algorithme de fragmentation intelligent, peut accélérer la vitesse de téléchargement, grâce à la technologie de compression transparente, peut réduire la quantité de données téléchargées, les deux superposées, le téléchargement final peut être en quelques minutes. Et après être entré dans le jeu, cette technologie peut également jouer un rôle, de sorte que le délai du réseau de jeu est considérablement réduit, tant que vos mains peuvent suivre votre cerveau, la réponse du téléphone peut suivre.

En tant que mise à jour majeure, HMS Core 6 a une variété de nouvelles fonctionnalités, et il est certainement difficile à couvrir avec un seul article, mais j'en ai tellement dit, en fait, il n'y a qu'une seule direction : utiliser des capacités pratiques pour aider les développeurs à résoudre des problèmes pratiques. problèmes et, en fin de compte, améliorer l'expérience utilisateur. Par exemple, le kit d'édition audio peut restituer différents composants de l'audio à la position spatiale spécifiée pour obtenir les derniers effets audio spatiaux ; la fonction de guidage au niveau des voies de la plate-forme Petal Maps peut rendre la navigation plus précise et humaine ; le module de puce de sécurité et les services de gestion de confiance du module peuvent aider l'environnement d'acceptation numérique du RMB et rendre les transactions sûres et rapides…

Parmi ces nombreuses fonctionnalités, certaines visent à résoudre d'anciens problèmes, tels que les problèmes de vitesse de signal et de réseau ; tandis que d'autres sont orientées vers l'avenir sur plusieurs plates-formes et appareils, telles que les capacités de modélisation 3D à seuil ultra-bas, le suivi de la lumière de l'environnement AR, etc. Et ainsi de suite, il y en a aussi qui ont les deux et ont un caractère d'intérêt public, comme les services de langue des signes et la technologie humaine numérique.

Du point de vue des jumeaux numériques, le HMS Core 6 peut même être appliqué au concept de « méta univers ».

Auparavant, nous avions écrit "Metacosm Needs "Infrastructure Madness"", qui enregistrait de nombreux fabricants qui ont construit l'infrastructure de Metaverse au début du concept, tels que Unity, Nvidia, Epic, etc. Notre point central est que si nous parlons de l'expérience réelle du méta-univers 30 ans plus tard, nous sommes désolés de ne pas pouvoir la donner maintenant. Si vous parlez d'une petite condition de réalisation sur la route menant à sa vision, alors les techniciens seront probablement en mesure de donner une solution réalisable. En fin de compte, lorsque de nombreuses conditions seront progressivement remplies, l'expérience du méta-univers ne sera pas loin.

C'est un voyage de collecte de sable dans une tour.

Cependant, parfois en ramassant du sable, en rassemblant, à la fin c'est toujours un sable meuble. Cela nécessite une variété d'outils de développement pour rassembler efficacement les grains de sable pour former une forme finale.

Metaverse manque de concepts et de visions, mais manque de puissance de calcul, de réseaux à haut débit et à faible latence, manque de plates-formes, manque de contenu, pour ainsi dire, modélisation 3D à bas seuil dans HMS Core 6, diffusion en direct en langage des signes en temps réel + humain numérique , AR Environmental light tracking, la technologie de suivi de la lumière des appareils mobiles et Petal Maps sont toutes des technologies qui peuvent contribuer au contenu futur du concept de méta-univers et devenir des capacités de base.

L'avenir est trop loin, quelle est la signification pratique du HMS Core 6 ?

Beaucoup de gens ont un malentendu fondamental que le méta-univers est approximativement égal à la réalité virtuelle, et cet espace virtuel a peu à voir avec le monde réel.

Mais en fait, aux yeux des experts techniques, dans son processus de réalisation spécifique, l'espace virtuel pur n'en est qu'une partie ; la combinaison organique avec le monde physique, que l'on appelle habituellement le système cyber physique CPS, ou jumeau numérique, peut être Exprimez avec précision la tendance technologique et l'intention initiale de la technologie basée sur les personnes.

En dernière analyse, tous les objets de l'espace physique, y compris leurs attributs, comportements et relations, doivent être modélisés numériquement et mappés sur le cyberespace, de sorte que l'espace physique devienne un objet pouvant être calculé dans le cyberespace. Mais plus important encore, les résultats des calculs dans le cyberespace doivent également être mappés vers l'espace physique, afin d'améliorer la capacité des êtres humains dans le monde réel.

Par conséquent, si l'on ne parle pas du concept d'avenir et que l'on ne parle que d'une des logiques fondamentales de développement de la technologie Internet, en fait, il s'agit de « faire de l'espace physique un objet informatique dans le cyberespace, et de renforcer les capacités humaines dans le monde réel."

Dans ce processus de développement, il existe d'innombrables problèmes à résoudre et domaines à couvrir. Par exemple, l'animation sur téléphone portable, de l'animation linéaire initiale à l'animation non linéaire qui se conforme aux sentiments intuitifs des gens et se conforme aux lois physiques du monde réel, est un exemple de progrès.

Ainsi, des modèles 2D plats aux modèles 3D stéréo, vous pouvez améliorer l'expérience de l'application d'achat ; le suivi de la lumière ambiante AR et la technologie de suivi de la lumière des appareils mobiles peuvent aider à créer une meilleure expérience de jeu mobile, de sorte que les jeux mobiles ne se contentent plus de frotter l'écran. .

La diffusion en direct en temps réel en langue des signes + personne numérique a deux sens de l'inclusivité : aider les personnes handicapées à mieux apprécier les acquis du développement technologique, et aider les développeurs à servir ce groupe de personnes. La traduction ingénieuse en langue des signes sur HDC2021 peut exister dans tous les téléphones portables.

Si l'expression "faire de l'espace physique un objet informatique dans le cyberespace et renforcer les capacités humaines dans le monde réel" est trop ambitieuse, alors la diffusion en direct en langue des signes + la technologie humaine numérique est un exemple approprié de cette phrase. Huawei HMS Core, les développeurs et les utilisateurs sont entrés dans cette grande proposition à une intersection petite mais importante.

Quand il y aura de plus en plus d'exemples de ce type, l'écologie du HMS commencera à prendre forme.

À ce jour, Huawei a enregistré plus de 5,1 millions de développeurs dans le monde et plus de 173 000 applications ont intégré HMS Core dans le monde. HMS Core peut être trouvé dans les applications Web, les applications rapides et les applications et services tels qu'Android et HarmonyOS, ainsi que sur les téléphones mobiles, les tablettes, les écrans intelligents, les montres intelligentes et les machines automobiles.

Cette fois, HMS Core 6 a encore ouvert des capacités et des fonctionnalités innovantes dans les cinq domaines des graphiques, des médias, de l'IA, des services d'application et du système (graphiques, contenu multimédia, intelligence artificielle, services et systèmes d'application) et a lancé 9 nouveaux kits. . Semblable au fonctionnement rapide d'HarmonyOS, le noyau HMS actuel couvre un total de sept domaines et 69 kits, ce qui fournit une aide précieuse à la communauté des développeurs.Bien sûr, ces capacités servent en fin de compte les utilisateurs de masse.

Comme mentionné au début, HMS Core fournit des briques, des tuiles, du béton, des barres d'acier, des camions, du verre et d'autres matériaux et outils de construction pour aider les développeurs à construire des maisons, mais en fait, nous pouvons également imaginer que les capacités de HMS Core 6 peuvent être possible Après avoir aidé les développeurs à construire des routes, à faire de belles décorations et à faire de l'aménagement paysager, l'imagination de HMS ecology ne se limite pas à une collection de maisons, mais peut être une ville animée, ou même plus excitante. L'univers coloré.

#Bienvenue pour suivre le compte WeChat officiel d'Aifaner : Aifaner (WeChat ID : ifanr), un contenu plus passionnant vous sera fourni dès que possible.

Ai Faner | Lien original · Voir les commentaires · Sina Weibo