La puce de surtension auto-développée sur le paravent Mi MIX est l’avenir de la photographie mobile?

«Les puces de processeur sont les hauteurs de la technologie dans l'industrie de la téléphonie mobile, et elles sont au sommet de la pyramide. Si vous voulez devenir une grande entreprise dans ce secteur, vous devez avoir une autonomie dans les technologies de base afin que l'entreprise puisse partir. loin."

C'était le discours de Lei Jun lors de la conférence de presse lorsque Xiaomi a annoncé son entrée dans le domaine des puces et a sorti la première puce produite en série "Surge S1".

Cependant, après la montée en flèche du S1, la puce S2 était difficile à produire, et la puce de montée en puissance développée par Xiaomi est progressivement devenue discrète et a disparu de la vue du public. Ce n'est qu'en août de l'année dernière que Lei Jun a révélé que la puce en plein essor était toujours en cours de développement. Je pense qu'à l'heure actuelle, Xiaomi MIX FOLD a déjà terminé la production d'essai et commencé la production de masse, tout comme la puce intégrée «Surge C1».

Comparé au Surging S1 et au dystocia S2, le Surging C1 n'est qu'un FAI. Ses fonctions sont beaucoup plus simples que le SoC, et la conception de la puce n'est pas si compliquée. Il est plus adapté à la «poussée» d'un nouveau départ.

Dans le même temps, le Surging C1 auto-développé est un FAI indépendant (processeur d'image) à l'intérieur de MIX FOLD, et il peut être considéré comme le seul produit équipé d'un FAI indépendant dans la machine phare actuelle.

Dans la planification de la gamme de produits, MIX FOLD n'est pas un produit axé sur la masse comme la série Mi 11. Par conséquent, la puce C1 en plein essor, ou le FAI indépendant du téléphone mobile, n'a pas encore migré vers le grand public. -scale tentative.

Cela n'exclut pas l'émergence de FAI indépendants sur la prochaine génération (au second semestre?) Des produits phares de Xiaomi, ou pourrait déclencher un «effet papillon», devenant une caractéristique standard des produits phares nationaux et devenant une tendance dans l'imagerie mobile. Est-ce possible?

Quel rôle le FAI joue-t-il dans l'imagerie?

En un mot, le FAI est responsable du traitement des images collectées par le capteur.

Quels que soient les smartphones, les appareils photo sans miroir et les reflex numériques, les FAI jouent presque les mêmes rôles et les processus sont similaires. Ils effectuent tous des opérations de transformation Bayer, de démosaïque, de réduction du bruit et de netteté sur les "données brutes" collectées par le capteur d'image . Mais du côté des smartphones, le FAI intégrera également le processus de «photographie computationnelle», avec différents algorithmes et différents ajustements, et produira in fine des photos différentes.

La configuration du SoC avec un FAI indépendant est en fait similaire à une caméra professionnelle sans miroir. Prenons l'exemple du processeur d'image BIONZ X de Sony (série α7 royal). Il contient des puces SoC et ISP et n'est pas emballé ensemble. L'avantage est que Sony peut augmenter le nombre de puces ISP en fonction des exigences de performances du CMOS (α7RIII BIONZ) .X est équipé d'un double FAI), l'inconvénient est que le degré d'intégration n'est pas élevé.

Avant MIX FOLD, les FAI de la plupart des smartphones étaient emballés dans des SoC, et chaque année, ils étaient mis à niveau avec des itérations de mise à niveau de SoC.

Par exemple, la puce phare de Qualcomm, Snapdragon 888, dispose de trois puces FAI intégrées, d’une capacité de traitement des pixels de 2,7 milliards de pixels par seconde, et peut capturer simultanément trois photos fixes de 28 mégapixels ou trois vidéos 4K HDR. Par rapport à la génération précédente de Snapdragon 865, il y a une amélioration de 35%.

MediaTek dans l'autre camp a également considérablement amélioré les performances du FAI intégré dans le dernier SoC Dimensity 1200. Des 80 millions de pixels de la génération précédente Dimensity 1000, il a été mis à niveau au niveau de prise en charge de 200 millions de pixels en un seul. go, et il a également ajouté une série de nouvelles fonctions basées sur des algorithmes d'IA.

La puissance de traitement du FAI doit non seulement correspondre aux performances du capteur, mais également être associée à l'algorithme de la "photographie computationnelle". Elle déterminera directement la tendance à l'imagerie d'un smartphone, si la couleur est riche ou non, combien de reflets sont conservés, et le choix des parties sombres. Combien et combien d'informations de gradient sont conservées dans l'algorithme HDR, etc.

On peut voir à partir de là que lorsque les fabricants de puces en amont conçoivent des SoC de nouvelle génération, l'amélioration des performances des FAI sera une direction majeure, étroitement liée à l'importance de l'imagerie des téléphones mobiles.

Du point de vue de la capacité à contrôler uniquement les capteurs à pixels élevés, les performances du FAI intégré au SoC grand public actuel sont toujours riches et suffisent pour traiter les photos les plus élevées de 100 millions de pixels en une seule fois.

De plus, le capteur de pixels ultra-haute dont nous parlons fonctionne désormais dans les modes «quatre en un» et «neuf en un». Une fois convertie, une photo fait en fait 20 millions de pixels. Même si vous incluez un processus de calcul différent, le FAI du SoC ne fera toujours pas glisser vers le bas la «photographie computationnelle».

Pourquoi avoir un FAI indépendant?

Étant donné que le FAI du SoC dispose d'une technologie mature, d'algorithmes matures et d'excellentes performances, pourquoi est-il équipé d'une puce ISP indépendante?

Pour Xiaomi, cette «petite puce» peut être considérée comme un nouveau départ. Puisqu'il ne suffit pas de lancer un SoC indépendant, il vaut mieux se reposer, partir du «petit», partir du FAI, et lentement accumuler de l'expérience, et à partir de discussions à long terme, c'est un bon choix. Disons avec audace que de nombreuses «petites puces» comme le FAI peuvent être utilisées dans la construction ultérieure de voitures, ce qui est également considéré comme une mise en page avancée.

Comme mentionné ci-dessus, le FAI n'est pas uniquement destiné à la «photographie computationnelle», mais la fonction principale est de traiter les données brutes collectées par le capteur.Ce processus de traitement n'est pas différent de celui d'un appareil photo traditionnel. Lors de la conférence de presse, pour la fonction du FAI auto-développé C1, les avantages mentionnés par Xiaomi se sont principalement concentrés sur le traitement 3A, à savoir la mise au point (AF), l'algorithme de balance des blancs (AWB) et la stratégie d'exposition (AE). La prise en main est meilleure.

En fait, le traitement 3A n'est que la «pointe de l'iceberg» pour les données collectées par le capteur. Strictement parlant, le FAI traitera plus d'une douzaine d'éléments de données brutes, et le traitement 3A peut également être divisé en «sens large» et «sens étroit».

Dans un sens étroit, c'est ce que Xiaomi a dit lors de la conférence de presse. Au sens large, la mise au point automatique peut être étendue à la mise au point automatique, au contrôle du moteur de mise au point automatique et à la sélection automatique du point de mise au point. AE implique plus, ISO automatique, filtres ND automatiques, volets automatiques, etc., AWB impliquera également divers changements de teinte.

En général, l'effet du traitement d'imagerie final est essentiellement causé par les différentes stratégies et compromis de chaque étape du FAI.

Equipé d'un FAI indépendant, c'est essentiellement pour améliorer l'effet d'imagerie final.Ces dernières années, Xiaomi a continué à exercer des efforts sur les images et s'est accumulé dans la stratégie de traitement des images par les FAI. Combiné avec le FAI indépendant Surging C1, je souhaite toujours mieux comprendre le processus et la stratégie du FAI dans le traitement des données brutes, et cela peut également être considéré comme ouvrant la voie aux téléphones mobiles Xiaomi ultérieurs pour continuer à améliorer la puissance de l'image.

Les FAI indépendants deviendront-ils une tendance des «images en mouvement» à l'avenir?

Le Mi 11 Ultra utilise une semelle extérieure qui est proche d'un pouce.S'il n'y a pas de "percée optique" dans le suivi, c'est presque une limite physique. Et le nombre actuel de pixels CMOS est également en état de "course aux armements", on devrait bientôt voir les smartphones entrer dans le seuil des 200 millions de pixels.

L'amélioration continue de la puissance d'image est déjà une tendance majeure dans l'industrie des téléphones intelligents, et elle a également entraîné une «homogénéisation». Afin de créer différentes expériences d'image, de nombreux fabricants investiront des ressources pour développer différentes technologies, et certains coopéreront même avec des fabricants d'images traditionnels pour améliorer leur style d'image.

Mais pour les images en mouvement, tant que la loi d'airain de l'optique physique est toujours là, ce sont les aspects traditionnels de la qualité du capteur, de la capacité de traitement du FAI et de la qualité de l'objectif qui affectent l'image finale. Les autres ne sont que la cerise sur le gâteau.

Depuis, les fabricants de téléphones mobiles personnaliseront le CMOS (capteur) afin d'obtenir une meilleure base d'imagerie, pour affiner l'algorithme pour rendre l'imagerie finale plus naturelle et travailler dur sur la collocation des objectifs pour s'adapter à plus de scènes.

Quant aux FAI indépendants, ils veulent devenir une tendance majeure similaire à la situation mentionnée ci-dessus. À ce stade, il est trop tôt. Pour être précis, il devrait s'agir d'une «direction générale» dans le futur.

D'une part, le FAI intégré au SoC actuel ne sera pas un obstacle, ni la planche de bois la plus courte du baril d'image en mouvement. En revanche, avec un FAI indépendant, il existe un seuil non bas. À l'heure actuelle, les fabricants de puces en amont tels que Qualcomm et MediaTek n'ont pas encore lancé de FAI indépendants pour les smartphones. S'ils veulent être équipés de FAI indépendants, ils devront peut-être compter sur l'autoproduction. Actuellement, il n'y a pas beaucoup de fabricants de téléphones mobiles qui peuvent produire leurs propres puces.

En outre, les FAI indépendants actuels n'ont pas encore montré les avantages qui leur sont dus.Après avoir expérimenté les mots originaux de MIX FOLD Zhijian, les caméras MIX FOLD ne sont pas différentes. En d'autres termes, qu'il s'agisse d'une "lentille liquide" ou d'un FAI indépendant, il s'agit plutôt de disposer de futurs produits, d'accumuler de petits flux dans une rivière.

#Bienvenue pour suivre le compte WeChat officiel d'Aifaner: Aifaner (WeChat ID: ifanr), un contenu plus passionnant vous sera fourni dès que possible.

Ai Faner | Lien d'origine · Voir les commentaires · Sina Weibo