Ouvrez le Snapdragon 8 pour voir, il y a plein de papiers de réunion de premier plan
« Outre l'optimisation des photos et les assistants vocaux, qu'est-ce que l'IA pour téléphone mobile a d'autre ? »
Lorsque la nouvelle génération de plate-forme mobile Snapdragon 8 est sortie cette année, Qualcomm a encore une fois traduit et traduit, ce qui est un grand trou du cerveau——
Laissez le téléphone mobile apprendre à « autoriser » et à reconnaître les maladies possibles de l'utilisateur par la voix, telles que la dépression et l'asthme ;
Laissez le téléphone mobile réaliser « anti-voyage » et réalisez un écran de verrouillage automatique en reconnaissant la vue d'utilisateurs inconnus ;
Laissez les jeux mobiles obtenir une super résolution et apportez la qualité d'image qui n'était capable de fonctionner que du côté PC sur le téléphone mobile pour faire l'expérience de…
Plus important encore, Snapdragon 8 a la capacité d'exécuter ces fonctions d'IA en même temps !
Qualcomm affirme que le moteur AI de 7e génération du Snapdragon 8 a une augmentation des performances jusqu'à 4 fois supérieure à celle de la génération précédente .
Cela signifie que lorsque nous jouons sur des téléphones portables, ce n'est pas un problème pour "ouvrir" plusieurs applications d'IA en même temps. Plus important encore, il ne s'agit pas seulement d'une simple amélioration des performances de l'IA, mais également d'une expérience d'application fluide pour les utilisateurs.
Aujourd'hui, alors que le processus de fabrication du matériel est si difficile à mettre à niveau, comment Qualcomm a-t-il "renvoyé" autant de nouvelles astuces dans les performances et l'application du moteur d'IA de 7e génération ?
Nous avons parcouru des documents de recherche et des documents techniques publiés par Qualcomm et avons trouvé quelques "indices":
Dans le document de l'outil open source AIMET publié par Qualcomm, il y a des informations sur "comment compresser le modèle de super-résolution AI" ;
Dans un blog technique lié à "Anti-peeping", j'ai présenté comment utiliser la technologie de détection de cible dans le cadre de la protection de la vie privée…
Ces documents et les principaux articles de conférence derrière les blogs techniques proviennent tous d'une organisation – Qualcomm AI Research Institute .
On peut dire que Qualcomm a "caché" de nombreux articles sur l'IA publiés par l'institut de recherche dans le moteur d'IA de 7e génération.
Top papier de réunion "Masquer" l'IA mobile
Jetons un coup d'œil à l'amélioration de l' algorithme de caméra du moteur AI de 7e génération .
Visant ce point de reconnaissance intelligente, Qualcomm a augmenté les points de reconnaissance des caractéristiques faciales à 300 cette année, ce qui peut capturer des changements d'expression plus subtils.
Mais en même temps, Qualcomm a augmenté la vitesse de détection des visages de 300 % . comment as-tu fais ça?
Dans une étude publiée par Qualcomm sur CVPR, nous avons trouvé la réponse.
Dans cet article, Qualcomm a proposé une nouvelle couche de convolution appelée Skip-Convolutions (skip convolution), qui peut soustraire deux images avant et après, et ne convoluer que la partie modifiée.
Oui, tout comme les yeux humains, il est plus facile de remarquer la "partie mobile".
Cela permet au Snapdragon 8 de se concentrer davantage sur l'objet cible lui-même lors de l'exécution d'algorithmes de détection de flux vidéo en temps réel tels que la détection de cibles et la reconnaissance d'images, tout en utilisant une puissance de calcul excessive pour améliorer la précision.
Vous pouvez vous demander quelle est l'utilité de la reconnaissance faciale avec de tels détails pour prendre des photos ?
De plus, cette fois Qualcomm et Leica ont lancé ensemble le filtre Leica Leitz , en utilisant un moteur intelligent basé sur l'IA, qui comprend des algorithmes tels que la détection de visage, permettant aux utilisateurs de prendre plus intelligemment des photos de style artistique.
Non seulement la détection des visages, mais les fonctions de prise de vue intelligentes de Qualcomm incluent également la super-résolution, la réduction du bruit multi-images, la compensation de mouvement local…
Cependant, le flux vidéo en prise de vue haute résolution est généralement en temps réel.Comment le moteur d'IA traite-t-il intelligemment une telle quantité de données ?
Il s'agit également d'un article CVPR. Qualcomm a proposé un réseau de neurones composé de plusieurs classificateurs en cascade, qui peuvent modifier le nombre de neurones utilisés dans le modèle en fonction de la complexité de l'image vidéo, et contrôler la quantité de calcul par lui-même.
Face au processus "grand volume et complexe" du traitement vidéo intelligent, l'IA peut désormais le tenir.
En plus de la photographie intelligente, la technologie vocale de Qualcomm est également une lueur d'espoir cette fois.
Comme mentionné au début, le moteur d'IA de 7e génération prend en charge l'utilisation de téléphones mobiles pour accélérer l'analyse des modèles de voix des utilisateurs afin de déterminer le risque de problèmes de santé tels que l'asthme et la dépression.
Alors, comment distingue-t-il exactement la voix de l'utilisateur sans impliquer la collecte de données ?
Plus précisément, Qualcomm a proposé une méthode d'apprentissage fédéré sur le téléphone mobile, qui peut non seulement utiliser le modèle de formation vocale des utilisateurs de téléphones mobiles, mais également garantir que la confidentialité des données vocales n'est pas divulguée.
Beaucoup de ces fonctions d'IA peuvent être trouvées dans des articles publiés par le Qualcomm AI Research Institute.
Les indices que l'on peut également trouver sont le support théorique que l'IA a évoqué au début pour améliorer les performances des téléphones portables. Cela doit mentionner une question:
Avec autant de modèles d'IA fonctionnant en même temps, comment Qualcomm améliore-t-il les performances de traitement du matériel ?
Il faut ici mentionner la quantification d'une direction de recherche clé de Qualcomm ces dernières années .
À en juger par la dernière feuille de route technologique publiée par Qualcomm, la quantification des modèles a toujours été l'une des technologies de base étudiées par l'IA Research Institute au cours des dernières années.
En raison de capacités de puissance, de puissance de calcul, de mémoire et de dissipation thermique limitées, le modèle d'IA utilisé par les téléphones mobiles est très différent du modèle d'IA sur les PC.
Sur PC, le GPU dispose de centaines de watts de puissance à chaque tour, et le calcul du modèle AI peut utiliser des nombres à virgule flottante 16 ou 32 bits (FP16, FP32). Le SoC du téléphone mobile n'a que quelques watts de puissance et il est difficile de stocker des modèles d'IA à grand volume.
A ce stade, il faut réduire le modèle FP32 à un entier de 8 bits (INT8) voire un entier de 4 bits (INT4), tout en s'assurant que la précision du modèle ne souffre pas trop de perte.
En prenant le modèle de tapis d'IA comme exemple, nous pouvons généralement obtenir un tapis d'IA très précis avec la puissance de calcul d'un processeur d'ordinateur, mais en revanche, si nous voulons utiliser un téléphone mobile pour obtenir un tapis d'IA "presque efficace", nous devoir l'utiliser à la méthode de quantification du modèle.
Afin de permettre plus de modèles AI à installer sur les téléphones mobiles, Qualcomm a fait beaucoup de recherches quantitatives. Les documents publiés à la conférence de haut comprennent DFQ de quantification libres de données, le mécanisme d' arrondi AdaRound, et quantification conjointe et de la technologie la taille bayésienne Bits ( Bits bayésiens). )Attendez.
Parmi eux, DFQ est une technologie de quantification sans données qui peut réduire le temps de formation des tâches d'IA et améliorer les performances de précision de la quantification.Sur MobileNet, le modèle d'IA visuel le plus courant sur les téléphones mobiles, DFQ a obtenu les meilleures performances au-delà de toutes les autres méthodes :
AdaRound permet de réduire le poids des réseaux complexes Resnet18 et Resnet 50 à 4 bits, ce qui réduit fortement l'espace de stockage du modèle, tout en ne perdant que moins de 1% de précision :
En tant que nouvelle opération de quantification, les bits bayésiens peuvent non seulement doubler la largeur de bit, mais également quantifier l'erreur résiduelle entre la valeur de précision totale et la valeur arrondie précédente à chaque nouvelle largeur de bit, afin d'obtenir précision et efficacité. -off entre.
Ces technologies permettent non seulement à davantage de modèles d'IA de fonctionner sur des téléphones mobiles à faible consommation d'énergie , comme la super-résolution d'IA de jeu (similaire à DLSS) qui ne peut fonctionner que sur des ordinateurs, mais elle peut désormais fonctionner sur Snapdragon 8. ；
Même certains de ces modèles d'IA peuvent « fonctionner en même temps », comme la détection de gestes et la reconnaissance faciale :
En fait, la thèse n'est que la première étape.
Si vous souhaitez appliquer rapidement les capacités d'IA à plus d'applications, vous avez également besoin de plus de plates-formes et d'outils open source.
Libérez plus de capacités d'IA pour l'application
À cet égard, Qualcomm garde l'esprit ouvert.
Les méthodes et les modèles pour créer efficacement des applications d'IA dans ces articles, Qualcomm AI Research Institute par le biais de la coopération, de l'open source et d'autres méthodes, les ont partagés avec davantage de communautés de développeurs et de partenaires, afin que nous puissions en savoir plus sur Snapdragon 8. Fonctions et applications intéressantes.
D'une part, Qualcomm a coopéré avec Google pour partager la capacité de développer rapidement plus d'applications d'IA avec les développeurs.
Qualcomm est équipé du service Vertex AI NAS de Google sur Snapdragon 8 , qui est toujours mis à jour mensuellement, ce qui signifie que les applications AI développées par les développeurs sur le moteur AI de 7e génération peuvent rapidement mettre à jour les performances du modèle.
À l'aide du NAS, les développeurs peuvent utiliser automatiquement l'IA pour générer des modèles appropriés, y compris l'algorithme de caméra intelligente, la traduction vocale et la super-résolution annoncés par Qualcomm lors de la réunion de haut niveau. Ils peuvent tous être inclus dans la "plage de dépistage" de l'IA et développés automatiquement pour le développement Faites correspondre le meilleur modèle.
Les algorithmes de compensation de mouvement et d'interpolation de trame de Qualcomm sont utilisés ici. Et à l'instar de ces technologies d'IA, les développeurs peuvent également l'implémenter via NAS, et il peut mieux s'adapter à Snapdragon 8, sans le problème de "réglage inefficace".
Imaginez que lorsque vous jouerez à des jeux sur un téléphone portable équipé de Snapdragon 8 à l'avenir, vous aurez l'impression que l'image est plus fluide, mais qu'elle ne perdra pas plus de puissance (en référence à une consommation électrique accrue) :
Dans le même temps, la maintenance du modèle d'IA est devenue plus simple. Selon Google, par rapport à d'autres plateformes, le nombre de lignes de code nécessaires pour former un modèle pour Vertex AI NAS peut être réduit de près de 80 %.
D'autre part, Qualcomm a également ouvert ses propres outils qui ont été recherchés et quantifiés au fil des ans.
L'année dernière, Qualcomm a ouvert un modèle d'outil « d' amélioration de l' efficacité » appelé AIMET (AI Model Efficiency Toolkit).
Il comprend un grand nombre d'algorithmes de compression et de quantification tels que l'élagage de réseau neuronal et la décomposition en valeur singulière (SVD), dont beaucoup sont les résultats des principaux articles de conférence publiés par le Qualcomm AI Research Institute. Une fois que les développeurs ont utilisé les outils AIMET, ils peuvent directement utiliser ces algorithmes pour améliorer leurs modèles d'IA et les rendre plus fluides sur les téléphones mobiles.
Les capacités quantitatives de Qualcomm ne sont pas seulement ouvertes aux développeurs ordinaires, mais permettent également de mettre en œuvre davantage d'applications d'IA des principales sociétés d'IA sur Snapdragon 8.
Sur le nouveau Snapdragon 8, ils ont coopéré avec Hugging Face, une entreprise bien connue dans le domaine de la PNL, afin que l'assistant intelligent du téléphone puisse aider les utilisateurs à analyser les notifications et à recommander celles à privilégier, afin que les utilisateurs puissent voir le plus important notifications en un coup d'œil.
Lors de l'exécution de leur modèle d'analyse des sentiments sur le moteur Qualcomm AI, il peut atteindre 30 fois plus rapidement que la vitesse du processeur ordinaire .
C'est précisément la précipitation de la recherche technique et l'attitude ouverte maintenue dans la technologie que Qualcomm continue de rafraîchir les différents « nouveaux trous du cerveau » de l'IA dans l'industrie de la téléphonie mobile :
De la vidéo précédente « élimination », mise en sourdine de la réunion intelligente, à l'écran de confidentialité de cette année, à la super résolution du téléphone portable…
Il existe davantage d'applications d'IA mises en œuvre par des articles, des plates-formes et des outils open source, qui sont également tous transportés dans ce moteur d'IA.
Le Qualcomm AI Research Institute, qui se cachait derrière ces recherches, a de nouveau fait surface avec l'apparition du moteur d'IA de 7e génération.
Qualcomm AI "doux et dur"
La plupart du temps, notre impression de Qualcomm AI semble rester sur les "performances matérielles" du moteur d'IA.
Après tout, depuis le lancement du premier projet d'IA en 2007, Qualcomm a amélioré les capacités de traitement des modèles d'IA en termes de performances matérielles.
Cependant, les recherches de Qualcomm sur les algorithmes d'IA "ont déjà été planifiées".
En 2018, Qualcomm a créé l'IA Research Institute, dirigé par Max Welling , un théoricien bien connu dans le domaine de l'IA , et il est un étudiant de Hinton, le père de l'apprentissage en profondeur.
Selon des statistiques incomplètes, depuis que Qualcomm a créé l'IA Research Institute, des dizaines d'articles ont été publiés dans les principales conférences universitaires sur l'IA telles que NeurIPS, ICLR et CVPR.
Parmi eux, au moins 4 articles de compression de modèles ont été mis en œuvre du côté de l'IA des téléphones mobiles, et il existe de nombreux articles liés à la vision par ordinateur, à la reconnaissance vocale et à l'informatique de confidentialité.
On peut dire que le moteur d'IA de 7e génération mentionné ci-dessus n'est qu'un microcosme des résultats de recherche de Qualcomm sur les algorithmes d'IA ces dernières années.
Grâce aux résultats de recherche de Qualcomm AI, Qualcomm a également étendu avec succès le modèle d'IA à de nombreux scénarios d'applications technologiques de pointe.
En termes de conduite autonome , Qualcomm a lancé la plate-forme numérique Snapdragon Automotive, qui "contient" une solution unique allant des puces aux algorithmes d'IA. Actuellement, elle a conclu une coopération avec plus de 25 constructeurs automobiles et le nombre de voitures connectées utilisant leurs solutions ont été atteintes 200 millions de véhicules.
Parmi eux, le système de conduite assistée et le système de conduite autonome de nouvelle génération de BMW adopteront la solution de conduite autonome de Qualcomm.
Sur XR , Qualcomm a publié la plate-forme de développement Snapdragon Spaces XR pour le développement d'appareils et d'applications tels que les lunettes AR à montage sur la tête.
Grâce à la coopération avec Wanna Kicks, Snapdragon 8 apporte également les capacités du moteur AI de 7e génération à l'application d'essai AR.
Concernant les drones , Qualcomm a lancé cette année la plate-forme Flight RB5 5G. Beaucoup de ces fonctions, telles que l'évitement d'obstacles à 360 °, la photographie de drone et l'anti-secousse, peuvent être implémentées via le modèle d'IA sur la plate-forme. Parmi eux, le premier drone à atteindre Mars, le « Gizwit », est équipé de processeurs et de technologies associées fournis par Qualcomm.
Avec le recul, il n'est pas difficile de constater que cette fois, Qualcomm ne met plus l'accent sur l'amélioration de la puissance de calcul du matériel (TOPS) dans les performances de l'IA, mais intègre le logiciel et le matériel dans son ensemble, et obtient les données d'une amélioration de 4 fois des performances de l'IA, et renforce encore l'expérience d'application de l'IA. Atterrissage complet.
Cela montre non seulement que Qualcomm accorde plus d'attention à l'expérience réelle des utilisateurs, mais montre également la confiance de Qualcomm dans sa propre force logicielle, car le matériel n'est plus une manifestation complète des capacités d'IA de Qualcomm.
On peut dire que la mise à niveau du moteur AI de 7e génération de Snapdragon 8 marque le début de l' intégration logicielle et matérielle de l'IA de Qualcomm .
Récemment, Qualcomm a présenté plusieurs nouvelles recherches sur les codecs, qui ont été publiées respectivement sur ICCV 2021 et ICLR 2021.
Dans ces articles, Qualcomm a également utilisé des algorithmes d'IA pour montrer de nouvelles idées pour l'optimisation des codecs.
Dans une étude utilisant le principe GAN, le dernier algorithme de codec de Qualcomm rend l'image non seulement plus claire, mais également plus petite par image, ce qui peut être fait avec seulement 14,5 Ko :
En revanche, une fois l'algorithme de codec d'origine compressé à 16,4 Ko par image, la forêt deviendra extrêmement floue :
Dans un autre article qui utilise l'idée d'interpolation de trames et de codec neuronal, Qualcomm a choisi de combiner la compression de trames P basée sur le réseau de neurones et la compensation d'interpolation de trames, et d'utiliser l'IA pour prédire la compensation de mouvement qui doit être effectuée après l'interpolation de trames.
Après les tests, cet algorithme est meilleur que le précédent record SOTA de Google sur CVPR 2020, et il est également meilleur que les performances de compression actuelles du codec open source basé sur la norme H.265.
Ce n'est pas la première tentative de Qualcomm d'appliquer des modèles d'IA à plus de domaines. L'application de codecs vidéo est une nouvelle direction.
Si ces modèles peuvent être implémentés avec succès sur la plate-forme ou même l'application, nous pouvons vraiment être libres de regarder des vidéos sur l'appareil.
Au fur et à mesure que le programme "d'intégration douce et dure" se poursuit, nous pourrions voir ces derniers résultats de l'IA appliqués aux smartphones à l'avenir.
Combinant les "muscles de démonstration" de Qualcomm dans les domaines PC, automobile, XR et autres…
Il est prévisible que le Qualcomm que vous connaissez et le Snapdragon que vous connaissez ne s'arrêteront certainement pas au téléphone mobile, et ses capacités d'IA ne s'arrêteront pas au téléphone mobile.
#Bienvenue pour suivre le compte WeChat officiel d'Aifaner : Aifaner (WeChat ID : ifanr), un contenu plus passionnant vous sera fourni dès que possible.
Ai Faner | Lien original · Voir les commentaires · Sina Weibo