Quelle est la future puce sur laquelle parient Apple, Qualcomm et Google ? Philosophie dure

Au cours de mon expérience avec le Pixel 6 Pro, à part prendre des photos, j'ai rarement ressenti quelque chose de mal avec ce que Google appelait "le téléphone Pixel le plus intelligent" jusqu'à ce qu'un matin, l'alarme de mon téléphone me réveille.

Différent de l'opération consistant à faire glisser pour fermer l'alarme sur un téléphone portable normal, le Pixel 6 Pro me demande de dire "Snooze (one more break)" ou "Stop (stop)" pour contrôler l'alarme, et quand je dis "Stop " attention, l'alarme Le téléphone portable qui continuait de sonner était silencieux.

C'est une petite fonctionnalité triviale, mais elle me garde de bonne humeur tous les matins lorsque je me réveille avec mon réveil.

Enfin, je n'ai plus besoin de forcer la somnolence pour rechercher mon téléphone portable, j'ai juste besoin d'une phrase pour éteindre le téléphone portable qui met ma vie en danger.C'est la première fois que je sens que le téléphone portable peut me "comprendre".

Le secret de "comprendre les mots des gens" est caché dans l'humble TPU.

Informatique IA omniprésente

Sur le SoC du téléphone mobile, la présence du NPU est toujours plus faible que celle du CPU et du GPU.

Ce processeur qui se concentre sur les opérations de réseau de neurones n'a même pas de nom unifié : il s'appelle NPU sur la puce Kirin, et Neural Engine sur la puce bionique de la série A ; Google le nomme TPU, et MediaTek pense qu'il est utilisé pour ça. devrait s'appeler APU pour le calcul de l'IA…

Bien que ces puces aient des noms différents et des architectures et principes différents, leurs objectifs sont largement similaires – accélérer l'apprentissage automatique et améliorer la puissance de calcul de l'intelligence artificielle des téléphones mobiles.

Si vous faites attention aux performances du processeur du téléphone mobile, vous constaterez que qu'il s'agisse de la puce de la série A de l'iPhone ou de la puce phare Snapdragon d'Android, la puissance de calcul du CPU a été améliorée de manière très limitée dans le passé. deux ans, et le phénomène de "presser le dentifrice" dans les performances est de plus en plus grave.

En revanche, la puissance de calcul de l'IA est devenue un indicateur de paramètre que de plus en plus de fabricants sont prêts à mentionner. Prenant l'exemple de la puce de la série A, la puce bionique A14 d'Apple a presque doublé sa puissance de calcul maximale par rapport à la génération précédente et peut effectuer 11 000 milliards d'opérations par seconde.

Un an plus tard, la puce bionique A15 peut encore apporter une amélioration substantielle de plus de 40 % sur cette base, et peut effectuer jusqu'à 15,8 billions d'opérations par seconde.

La progression de la puissance de calcul de l'IA du camp Android est également très impressionnante.Sur la liste des tests de performance de l'IA lancée par l'Université de technologie de Zurich, le score de performance Kirin 970 AI, qui a été introduit pour la première fois avec NPU, a marqué 23 600 points Quatre ans plus tard, la puce Google Tensor a atteint le sommet avec un score élevé de 214 700. , et Kirin 9000 et Snapdragon 888 ont également atteint environ 160 000 points.

Étant donné que la puissance de calcul de l'IA augmente de manière presque exponentielle, pourquoi est-il difficile pour nous de ressentir des changements ? La fonction IA de mots légèrement avancée est-elle trop éloignée de nous ?

En fait, chaque fois que vous déverrouillez le téléphone, réveillez l'assistant vocal ou même appuyez sur le déclencheur, il s'agit d'un contact étroit avec l'informatique IA.

Le NPU est comme une boîte noire, il rend le processus de calcul de l'IA presque inexistant, vous rendant invisible à la technologie, mais entouré d'une interaction homme-ordinateur plus naturelle. L'évolution de l'assistant vocal de Google en est un bon exemple.

Depuis que Siri a rejoint la fonction de réveil vocal de "Hey, Siri" en 2014, les mots de réveil sont presque liés à l'assistant vocal. Chaque fois que nous parlons à l'assistant vocal, nous devons prendre la peine d'appeler leurs noms : Siri, Xiao Ai, Xiao Bu , Xiaoyi… Si l'environnement vocal est très bruyant, ce processus embarrassant peut se répéter plusieurs fois.

En effet, pour des raisons de consommation d'énergie, le processeur du téléphone mobile ne peut pas gaspiller de puissance de calcul pour analyser chaque phrase de l'utilisateur en arrière-plan pendant une longue période. À ce stade, un récepteur vocal à faible consommation d'énergie et ne reconnaissant que les mots de réveil est obligé de travailler en permanence.

Lorsque le signal de mot de réveil est reçu, le processeur principal est mobilisé pour écouter l'instruction suivante de l'utilisateur.

Cependant, bien que cela puisse permettre un réveil vocal à faible puissance, c'est encore un peu loin de la forme idéale d'assistants IA dans les films de science-fiction. C'est comme si Iron Man disait "Hey, Jarvis" avant de se battre. l'interaction avec l'ordinateur est un peu gênante.

La fonctionnalité "Shortcut Commands" de Google sur la série Pixel 6 apporte cette interaction naturelle qui existe dans les films de science-fiction dans la réalité.

Comme mentionné au début de l'article, les utilisateurs peuvent également réveiller l'assistant Google pour effectuer des tâches spécifiques telles que désactiver le réveil et répondre aux appels sans crier des mots de réveil tels que "OK Google" via les "instructions de raccourci".

Pour séparer directionnellement les voix humaines dans un environnement sonore bruyant, les téléphones mobiles doivent disposer de capacités de reconnaissance d'empreintes vocales plus précises et utiliser des algorithmes de réseau neuronal convolutionnel plus complexes pour capturer et reconnaître avec précision le mot de passe de l'utilisateur.

Et la puce TPU de Google spécialement conçue pour l'informatique IA répond juste à cette demande de puissance de calcul IA, et cette interaction vocale naturelle est enfin réalisée sur la série Pixel 6.

Le NPU basé sur l'unité de traitement neuronal est beaucoup plus efficace que le CPU traditionnel dans la reconnaissance et le traitement des images et de la parole.Les fabricants de téléphones mobiles peuvent ainsi développer de nombreuses fonctions telles que la photographie numérique et la reconnaissance de texte pour enrichir les fonctions logicielles du système.

Sur le dernier iOS15 d'Apple, de nombreuses nouvelles fonctionnalités sont conçues sur la base de moteurs de calcul neuronal, telles que l'audio spatial et le mode portrait ajoutés à FaceTime, l'extraction et la traduction de texte en temps réel, les albums photo pour rechercher directement du texte dans les photos, le fonctionnement hors ligne de Siri, etc. .

Étant donné que ces fonctions ont certaines exigences en matière de puissance de calcul de l'IA, Apple a également souligné que si la puce SoC n'est pas un modèle ultérieur de l'A12 Bionic, alors même si vous effectuez une mise à niveau vers iOS15, ces fonctions ne peuvent pas être expérimentées.

Un autre exemple est l'identification intelligente des photos d'identité sur MIUI13, l'ajout de filigranes, la protection de la confidentialité de la vérification du visage et d'autres fonctions.Les gestes spatiaux et la rotation de la tête d'HarmonyOS sont également développés à l'aide de technologies telles que la reconnaissance d'image AI et l'OCR de texte.

Les fonctions d'IA ont commencé à devenir une partie importante de notre expérience quotidienne de téléphonie mobile, et la NPU, qui était à l'origine considérée comme insignifiante, est devenue une partie intégrante de l'expérience du logiciel système.

Pourquoi avez-vous besoin de puces informatiques AI?

Comparé à d'autres parties de téléphones mobiles, NPU est apparu beaucoup plus tard.

En septembre 2017, Huawei a présenté le Kirin 970 au salon IFA de Berlin, qui est le premier SoC avec un NPU intégré. Au cours de la même période, Apple a présenté la première puce bionique A11 équipée d'un moteur de calcul neuronal. Les deux camps ont prêté attention au domaine de l'informatique IA de manière étonnamment synchrone.

L'émergence des fonctions d'IA peut sembler abrupte, mais elle est en réalité le résultat d'une évolution naturelle lors du développement des formes de smartphone.

Dans une interview avec le vice-président d'Apple, Tim Millet, à propos des puces de la série A, le magazine Wired a mentionné que quelques années avant la sortie de l'iPhone X, certains ingénieurs d'Apple avaient proposé d'utiliser des algorithmes d'apprentissage automatique pour rendre l'idée de l'appareil photo de l'iPhone plus intelligente.

C'est cette idée qui rend possible l'iPhone X, qui définit la forme de l'iPhone dans la prochaine décennie. Le passage à l'iPhone X plein écran nécessite un nouveau mécanisme de sécurité pour remplacer le Touch ID qui occupait à l'origine le menton, et ne peut pas être à la traîne en termes de précision et de vitesse de déverrouillage. reconnaissance.

Chaque fois que l'iPhone est allumé pour se déverrouiller, la caméra de détection de profondeur située dans la frange créera une carte de profondeur à travers des milliers de points, qui seront comparés aux données de visage stockées pour terminer le déverrouillage, et ce processus de collecte, création et la relecture doit être contrôlée.En un clin d'œil, plus important encore, la consommation d'énergie doit être maintenue à un niveau suffisamment bas.

Selon les données publiées par Apple, les utilisateurs d'iPhone déverrouillent en moyenne 80 fois par jour. Si le CPU ou le GPU doivent être mobilisés pour effectuer des opérations graphiques à haute puissance à chaque déverrouillage, ce sera un défi considérable pour la durée de vie de la batterie de le téléphone.

Le moteur de calcul neuronal à architecture multicœur peut effectuer un grand nombre d'opérations en même temps, et grâce à l'apprentissage automatique en profondeur, il peut reconnaître et juger les informations sur le visage humain comme le cerveau humain.L'utiliser pour réaliser la reconnaissance faciale a une consommation d'énergie différente et performances que les processeurs traditionnels.petit avantage.

"Nous n'aurions pas pu faire cela sans un moteur de calcul neuronal", a déclaré Tim Millet dans l'interview.

Avec l'augmentation du nombre de cœurs, la puissance de calcul du moteur de calcul neuronal sera également grandement améliorée, et ses applications deviendront de plus en plus étendues.

Par exemple, le moteur de calcul neuronal à 8 cœurs de la puce bionique A13 apporte les fonctions Deep Fusion et mode scène nocturne à la série iPhone11, ce qui améliore la clarté et les détails des photos grâce à plusieurs fusions ; Appelez plusieurs caméras en même temps pour obtenir un expérience de zoom fluide.

En général, l'émergence de NPU tels que les moteurs de calcul neuronal peut bien partager la pression de calcul du CPU ou du GPU.Grâce à une analyse parallèle efficace et au calcul de données volumineuses, des résultats significatifs peuvent être extraits et un traitement plus naturel peut être utilisé. notre expérience.

L'IA redéfinira les smartphones

John Giannandrea, vice-président senior de la stratégie d'apprentissage automatique et d'intelligence artificielle chez Apple, a mentionné dans une interview qu'il pensait que dans les prochaines années, toutes les fonctions d'iOS ou de l'écosystème logiciel d'Apple seraient modifiées par l'apprentissage automatique.

Je pense qu'Apple a toujours représenté l'intersection de la créativité et de la technologie. Lorsque vous pensez à créer des expériences intelligentes, il est vraiment important d'intégrer verticalement des applications, des frameworks, des puces… Je pense que c'est un voyage, c'est l'avenir des appareils informatiques que nous avons, ils deviennent intelligents, et alors cette Intelligence sera invisible .

L'iPhone d'origine a redéfini le téléphone mobile avec l'interaction de l'écran tactile et la connexion à Internet à tout moment, n'importe où. Depuis lors, le téléphone mobile est devenu une branche du « téléphone fonctionnel » et du « téléphone intelligent ».

Lorsque les fonctions des téléphones intelligents convergent, les soi-disant "intelligents" – envoyer WeChat, écouter de la musique, prendre des photos, regarder les actualités, etc., reviennent en quelque sorte aux fonctions.

Les smartphones doivent être redéfinis et la nouvelle intelligence doit être interprétée comme un téléphone mobile qui "comprend les gens". Il peut reconnaître le monde que vous voyez, comprendre chacune de vos commandes et s'adapter dynamiquement en fonction de l'environnement. Tout cela nécessite des puces d'intelligence artificielle. profondément impliqué.

Alors que la chaîne d'approvisionnement du matériel de téléphonie mobile devient de plus en plus transparente, les différences entre les composants de base des téléphones mobiles de milieu à haut de gamme deviennent de plus en plus petites et les fonctions logicielles reçoivent de plus en plus d'attention de la part des fabricants. , la chaîne d'approvisionnement du matériel fournit un bon moyen de faire un Les "ingrédients de base" des plats, et si vous voulez cuisiner un goût unique, une excellente expérience logicielle est la clé "assaisonnement".

Aujourd'hui, nous avons déjà un écran suffisamment clair et une caméra capable de filmer des paysages à 100 mètres de distance, mais l'expérience des smartphones ne se limite pas à l'affichage et à la photographie conventionnels.

Il devrait vous permettre de prendre plusieurs photos à focale en même temps, afin de ne pas manquer le paysage en vous précipitant pour faire la mise au point ; il devrait pouvoir prévisualiser la scène de nuit ou l'effet HDR en temps réel dans le viseur, et non attendre plus longtemps pour l'imagerie ; il devrait même devenir Un traducteur qui peut vous accompagner dans vos déplacements, même si le réseau est faible, il peut effectuer un travail de traduction en temps réel hors ligne.

L'IA est le meilleur choix pour nous aider à réaliser ces fonctions.Afin de personnaliser plus profondément les fonctions logicielles, davantage de fabricants de téléphones mobiles tels que Google et OPPO ont commencé à participer à la conception de puces NPU pour rattraper les précurseurs tels qu'Apple et Huawei.

Dans le même temps, la puissante puissance de calcul de l'IA n'est plus le brevet des lecteurs de puces auto-développés.Qualcomm Snapdragon 8 et Dimensity 9000 considèrent tous deux la puissance de calcul de l'IA comme l'objectif d'amélioration et ont dépassé le Tensor de Google en termes de performances de l'IA. Exynos 2200 récemment publié se concentre également sur l'amélioration des performances NPU, apportant le double de l'amélioration.

Les efforts concentrés des géants des puces dans les performances de l'IA donnent l'impression que les puces d'IA mobiles connaissent la "nouvelle loi de Moore".

Outre la vitesse de croissance des performances, la popularité des puces IA est également très impressionnante.Selon les statistiques de l'agence de statistiques Counterpoint, le nombre de téléphones mobiles avec puces IA intégrées en 2017 ne représentait que 3% du marché. part, et en 2020 ce chiffre a atteint 35 %.

À l'avenir, davantage de téléphones mobiles prendront en charge l'informatique accélérée par l'IA, ce qui signifie que l'utilisation de l'apprentissage automatique pour développer des applications mobiles deviendra la nouvelle norme. l'apprentissage est déjà apparu.Réalisez des fonctions d'IA telles que le flou d'arrière-plan et le détourage en un clic.

Avec la participation des fabricants de téléphones mobiles et le développement de tiers, les applications d'IA continueront à s'approfondir, et la forme des smartphones pourrait également changer en conséquence, devenant une symbiose logiciel-matériel pour une expérience agréable.

A cette époque, la bataille pour le droit à la parole sous forme de smartphones passera progressivement de la gestion de la supply chain à la maîtrise du big data des utilisateurs.

#Bienvenue pour prêter attention au compte WeChat officiel d'Aifaner : Aifaner (WeChat : ifanr), un contenu plus excitant vous sera apporté dès que possible.

Love Faner | Lien d'origine · Voir les commentaires · Sina Weibo