Produit phare de l’imagerie 2023-2024, pourquoi le choisir ?

La plate-forme mobile Snapdragon 8 de troisième génération a été lancée en octobre, ce qui a provoqué une énorme réaction en chaîne : les téléphones phares Android ont été lancés les uns après les autres au quatrième trimestre de cette année, à la fois en termes de prix et de solidité du produit, et la concurrence était extrêmement féroce.Même lorsque certains téléphones portables sortiront, vous vous poserez des questions : cette machine peut-elle gagner de l'argent ?

Par exemple, le téléphone mobile phare ultra-économique Realme GT5 Pro sorti il ​​y a quelque temps propose des configurations extrêmement sincères dans sa gamme de prix de plus de 3 000 yuans :

• La troisième génération de plateforme mobile Snapdragon 8 (Snapdragon 8 Gen3)
• Configuration de départ de 12+256 Go
• Jusqu'à 4 500 nits de luminosité, un écran inégalé développé conjointement avec BOE
• Charge filaire 100 W + charge sans fil 50 W
• Téléobjectif au niveau du plafond composé de Snapdragon 8 Gen3 + IMX890 + algorithme ArcSoft

Attendez, pourquoi Snapdragon 8 Gen3 apparaît-il deux fois ?

Le SoC dispose non seulement d'un CPU et d'un GPU, mais également d'un FAI, etc.

Il y a plus de dix ou vingt ans, lorsque nous parlions de puces, nous parlions par défaut des processeurs. Cependant, l'idée selon laquelle les puces sont à peu près égales aux processeurs est depuis longtemps dépassée, car les grosses puces se sont développées en SoC (System on Chip) avec le même plate-forme, et il existe de nombreux types de petites puces : celles responsables de la gestion de l'énergie, celles responsables de l'affichage à l'écran, etc.

Lorsque nous parlons de SoC, nous avons tendance à nous concentrer sur le CPU et le GPU, car ce sont eux qui contribuent le plus au benchmarking des jeux.

Cependant, la vie ne se résume pas à manger et à dormir, et les téléphones portables sont plus que des jeux d'analyse comparative. Lorsque nous levons le téléphone, ouvrons l'appareil photo pour voir la vue, appuyons sur le déclencheur, puis prenons une photo, puis la téléchargeons sur un réseau social. , dans ce processus court, le SoC est presque une « collaboration multi-département », utilisant de nombreux modules.

À l’intérieur du SoC, il existe de nombreux autres éléments qui ne sont pas impliqués dans le logiciel d’analyse comparative mais qui sont cruciaux.

Prenons l'exemple du Snapdragon 8 Gen3 récemment sorti. Sa composition est assez complexe. En plus du CPU responsable du calcul général et du GPU pour le calcul graphique, il existe également un moteur NPU et AI principalement responsable du calcul AI, un modem responsable pour la connexion 5G et le système de connexion mobile FastConnect pour le Wi-Fi, Snapdragon Listen pour la combinaison audio, logicielle et matérielle pour la sécurité, et FAI pour le traitement du signal d'image, etc.

L'ISP (Image Signal Processor) est l'une des raisons pour lesquelles Snapdragon 8 Gen3 peut apparaître à plusieurs reprises dans la liste de configuration du Realme GT5 Pro.

Avoir un bon objectif et un bon capteur d'image ne suffit pas. Il faut également un FAI pour convertir ce que l'objectif voit et ce que le capteur reçoit en ce que l'écran peut afficher et ce que l'œil humain peut voir.

Ce processus est assez compliqué. Tout d'abord, la lumière traverse l'objectif et pénètre dans la zone photosensible du capteur d'image. Le capteur subit une conversion photoélectrique pour obtenir l'image originale au format Bayer, c'est-à-dire l'image avec le suffixe .raw. L'image originale au format Bayer est ensuite traitée par le FAI, transmet les données d'image du domaine spatial à l'unité d'interface vidéo suivante, puis les fournit à l'écran pour affichage. Le rôle du FAI est d'optimiser, d'améliorer et de traiter les signaux d'image et vidéo capturés par l'appareil photo du téléphone, ainsi que de gérer l'interface du capteur et le traitement ultérieur des données d'image.

Le processus est comme un convertisseur reliant le système d'imagerie au système d'affichage, mais le FAI effectue beaucoup de travail, y compris, mais sans s'y limiter, l'amélioration de la qualité de l'image, comme l'amélioration des couleurs, l'ajustement de la balance des blancs ; et le traitement de réduction du bruit, qui est particulièrement important. important dans la prise de vue de scènes de nuit. Surtout, sans un FAI puissant pour réduire le bruit et les particules, les scènes de nuit des téléphones phares actuels seront très floues ; en outre, il inclut la synthèse multi-images derrière la prise de vue HDR, la prise de vue au ralenti, le mode panoramique couture, etc.

De plus, le faible seuil pour la photographie mobile repose également sur la contribution du FAI : de nombreuses personnes ne seront peut-être pas en mesure de prendre une photo nette lorsqu'elles achèteront un appareil photo moyen format Leica, car la mise au point, l'ouverture, etc. doivent être ajustées manuellement. . Sur les téléphones mobiles, ISP utilise des calculs en temps réel, ainsi que la mise au point laser, des capteurs de lumière et d'autres composants, pour mettre en œuvre des fonctions telles que la mise au point automatique, l'exposition automatique, l'ouverture automatique et la balance des blancs automatique, aidant ainsi les utilisateurs à prendre des photos claires. photos au moment où ils allument l'appareil photo du téléphone.

Lorsque nous critiquons certaines caméras de téléphones portables pour leur mise au point lente, leur mauvaise balance des blancs, leur surexposition en HDR automatique et leur qualité d'image impure dans les scènes de nuit, le problème réside probablement dans la faiblesse du FAI.

Le principal contributeur à l’émergence des puces Snapdragon de la série 8 et des téléphones phares de l’imagerie est bien sûr le FAI qui se cache derrière eux.

Le but de l'exemple du Realme GT5 Pro au début est donc ici, car la combinaison du capteur d'image Sony IMX890 + Snapdragon 8 Gen3 + algorithme ArcSoft est d'une importance typique. Un matériel d'imagerie puissant avec de puissantes capacités FAI, associé à d'excellents algorithmes, peut La base pour prendre de bonnes images.

Les performances de base du FAI de cette génération de Snapdragon 8 Gen3 sont encore plus puissantes. En fait, le Snapdragon 8 Gen3 dispose de trois FAI, prenant en charge trois caméras pour filmer des vidéos HDR en même temps. La profondeur de couleur atteint 18 bits, et la prise en charge maximale est de 200 millions. Caméra Pixel et enregistrement vidéo 8K 30 ips ou 4K 120 ips, l'enregistrement vidéo au ralenti prend en charge 720p 960 ips…..

Cela signifie que le FAI du Snapdragon 8 Gen3 dispose de très excellentes capacités de traitement des données.

Mais ce ne sont pas toutes les capacités d’imagerie du Snapdragon 8 Gen3.

L'IA est la magie de la technologie, Snapdragon Sight est le sort qui améliore les photos

Si, il y a 5 ans, un constructeur déclarait que ses photos étaient de niveau reflex ou de niveau studio, il aurait été critiqué par les professionnels et les acteurs du grand public pour avoir exagéré ses affirmations.

Mais en 2023, de nombreux fabricants ont commencé à promouvoir les portraits au niveau reflex et les portraits au niveau studio. Dans certaines scènes subdivisées, les performances des téléphones phares en matière d'imagerie semblent avoir atteint le seuil des équipements d'imagerie professionnels.

C'est là que la puissance de la photographie informatique entre en jeu, faisant ressembler les images animées à des images professionnelles de feux arrière dans les coins. La photographie informatique peut simuler des effets de flou naturels. La focale n'est pas assez longue ? En utilisant le zoom périscope, le zoom numérique et en calculant les détails d'optimisation de la photographie, vous pouvez également obtenir de bonnes photos au super téléobjectif.

Mais en 2023, année magique de l’IA, le couplage imagerie et IA se fera naturellement.

Snapdragon Sight Les progrès de la technologie d'imagerie Snapdragon sont devenus plus étroitement liés à l'IA avec la sortie de Snapdragon 8 Gen3. Les performances FAI exceptionnelles du Snapdragon 8 Gen3 et la puissance de calcul de l'IA encore améliorée rendent la technologie d'imagerie Snapdragon Sight encore plus puissante, devenant ainsi la base technique de nombreux produits phares de l'imagerie.

Par exemple, la technologie DCG (Dual Conversion Gain) prise en charge par Snapdragon Sight est une technologie qui peut fournir une meilleure qualité d'image et une imagerie plus rapide, et peut être utilisée pour l'imagerie HDR. Essentiellement, il s'agit également d'une technologie de synthèse multi-images, mais les images multi-images de DCG sont générées en même temps, plutôt qu'avant et après la synthèse multi-images traditionnelle.

Il existe également des fonctionnalités telles que le mode vision nocturne et la prise en charge du format Dolby, qui sont essentiellement le résultat de l'amélioration des performances du FAI.

Cependant, des technologies telles que l’expansion d’images et l’effacement d’objets nécessitent également la prise en charge de modules informatiques d’IA tels que NPU.

Auparavant, on aurait pensé que ces technologies magiques de l'IA n'appartenaient pas à la catégorie de l'imagerie, mais dans une certaine mesure, ces technologies qui nécessitaient autrefois des opérations complexes sur des logiciels comme PhoneShop sont désormais devenues simples et faciles à obtenir.

Et la fonction d'effacement d'objets est limitée aux images, mais maintenant Snapdragon 8 Gen3 a commencé à prendre en charge l'effacement d'objets dans les vidéos, et le mot-clé « puissance de calcul » est toujours à l'œuvre derrière cela.

Dans le même temps, avec le soutien de l'IA, le FAI peut évoluer vers un FAI cognitif, capable d'utiliser le moteur d'IA de Qualcomm pour effectuer une segmentation sémantique en temps réel lors de la prise de photos et de vidéos, et identifier divers éléments de l'image, tels que des bâtiments, bateaux, rivières, arbres, visage humain, yeux, cheveux, peau, etc. À l'époque du Snapdragon 8 Gen2, Cognitive ISP était capable d'identifier 8 couches sémantiques dans les images. À cette époque, il pouvait même prendre en charge la possibilité de supprimer le reflet des lunettes. Désormais, avec Snapdragon 8 Gen3, le nombre de couches sémantiques qui peut être reconnu en temps réel a été augmenté et amélioré au niveau 12.

Plus il y a de couches de reconnaissance, plus la compréhension de l’image est claire et plus grande est la possibilité d’une amélioration ultérieure.

Pour les consommateurs, la technologie d'imagerie est à un stade accéléré en 2023 avec le support du Snapdragon 8 Gen3 : prendre une bonne photo et une bonne vidéo devient plus facile que jamais, et en même temps, ces photos et vidéos, sous la magie de l'IA. et pris en charge par la technologie d'imagerie Snapdragon Sight, ont plus de possibilités et peuvent être étendus, effacés et réédités.

Lorsque nous ouvrons les pages de nombreux téléphones mobiles phares de l'imagerie et faisons défiler jusqu'à la section d'introduction des images, nous aurons constamment l'impression que les « algorithmes » sont partout, prenant en charge divers « moteurs » tels que les FAI et NPU.

En fait, si vous comparez les préparations techniques de la technologie d'imagerie Snapdragon Sight Snapdragon, vous constaterez qu'elle laisse en fait beaucoup de redondance pour la photographie sur téléphone portable à ce stade. Par exemple, des fonctions telles que la prise de vue vidéo 4K 120 ips, la prise de vue simultanée avec 3 caméras, etc., n'ont pas encore été pleinement mises en œuvre, car bien entendu, les fabricants en amont doivent être en avance sur les fabricants de terminaux et offrir plus de potentiel d'exploration, plutôt plutôt que de devenir une contrainte.

Dans l'attente des produits phares de l'imagerie en 2024, la série OPPO Find X7, vivo X100 Pro+, Xiaomi 14 Ultra, Samsung Galaxy S24 Ultra, etc., des produits phares de l'imagerie plus puissants et professionnels utiliseront davantage l'imagerie Snapdragon 8 Gen3 et Snapdragon Sight Snapdragon Force technique .

D’ici là, nous comprendrons mieux la valeur de ce noyau.

# Bienvenue pour suivre le compte public officiel WeChat d'aifaner : aifaner (ID WeChat : ifanr). Un contenu plus passionnant vous sera fourni dès que possible.

Ai Faner | Lien original · Voir les commentaires · Sina Weibo