Le quatrième objectif du Huawei Mate 70 Pro, sa plus grande capacité est de ne pas prendre de photos

Aifaner se concentre sur les « produits de demain ». La rubrique philosophie dure tente de se débarrasser du voile de la technologie et des paramètres et d'explorer l'origine de la nature humaine dans la conception des produits.

L'appareil photo principal, le téléobjectif et l'ultra grand angle peuvent être appelés les « trois rois » de la photographie mobile. Ils peuvent essentiellement gérer les scènes de prise de vue quotidiennes de la plupart des utilisateurs. Certains téléphones d'imagerie phares seront également équipés d'un téléobjectif supplémentaire. base. Répondre à des besoins créatifs plus extrêmes.

Les nouveaux Huawei Mate 70 Pro et Pro+ disposent également de quatre caméras, mais celle supplémentaire est un peu spéciale : Huawei l'appelle la "Caméra couleur primaire Red Maple", qui est en fait un multispectromètre miniature.

Les imageurs multispectraux sont principalement utilisés dans des scénarios plus professionnels tels que l'agriculture des sols et de l'eau, les tests alimentaires, etc. Les applications sur smartphone sont non seulement rares, mais les objectifs dotés de paramètres aussi élevés que ceux de Huawei sont presque inexistants.

Mais dans un avenir pas si lointain, des modules de capteurs multispectraux similaires seront disponibles sur davantage d’appareils intelligents autour de nous.

Résoudre le problème de la « faiblesse des couleurs » lors de la prise de photos

Bien que les fabricants de smartphones améliorent leurs capacités d'imagerie depuis de nombreuses années et que les modules de caméra des téléphones mobiles deviennent plus grands et plus convexes, il reste encore un problème difficile à résoudre : la restauration des couleurs.

Actuellement, les capteurs traditionnels des appareils photo des téléphones mobiles capturent généralement le rouge, le vert et le bleu (RVB) pour présenter les couleurs dans une certaine plage. Chaque pixel n'a qu'une seule information de couleur : rouge, vert ou bleu. Il nécessite un algorithme pour combiner les relations de couleurs. des pixels environnants, calculez la vraie couleur de chaque pixel, et enfin restaurez autant que possible la scène que nous voyons à l'œil nu.

Cependant, les couleurs composées de rouge, de vert et de bleu ne représentent que 75 % des couleurs visibles à l'œil humain, et la perte de couleur dans le film fini est relativement importante.

De plus, comme il s'appuie sur des algorithmes pour « calculer », la précision ne peut pas être complètement garantie et dans des environnements de couleur et de lumière plus complexes, la précision de l'algorithme sera encore réduite, c'est pourquoi la peau des gens apparaît parfois jaunâtre et jaunâtre sur les photos ; . rougeur.

Pour résoudre le problème de la dominante de couleur, les fabricants tentent de partir de deux directions : logicielle et matérielle.

Google Pixel, qui a fait fortune dans la photographie informatique, a lancé un algorithme de couleurs appelé "Real Tone" pour restituer les véritables tons chair de différentes races lors du traitement en arrière-plan des photos.

De nombreux fabricants tentent également de changer de cap, sans rechercher une restauration parfaite des couleurs, mais en adoptant des idées stylisées pour donner aux photos un meilleur aspect visuel, plutôt qu'une restauration à 100 %.

Huawei est équipé d'un capteur de température de couleur à 5 canaux depuis ses téléphones mobiles P20 et est progressivement passé à un capteur de température de couleur multispectral à 10 canaux dans la série P50, qui peut capturer des bandes autres que le RVB ordinaire, y compris certaines bandes autres que lumière visible.

Ensuite, grâce à l'algorithme de XD Fusion Pro, la lumière visible et la lumière non visible sont fusionnées pour présenter plus de détails de couleur.

L'utilisation de capteurs multispectraux multicanaux pour tenter de corriger la « faiblesse des couleurs » des caméras est en fait une solution courante dans l'industrie. Vivo et OPPO ont essayé d'équiper leurs produits phares de modules de température de couleur multispectraux similaires.

En termes simples, ce type de capteur peut capturer plus de couleurs dans des bandes de longueurs d'onde spécifiques, mais il ne peut qu'effectuer une perception et un jugement global de la lumière ambiante globale. Il ne peut pas fournir d'informations sur la source de lumière locale et les couleurs, et il n'a pas de capacités d'imagerie.

Le module de caméra couleur primaire en érable rouge de 1,5 mégapixels comprend essentiellement 150 instruments multispectraux indépendants, avec une plus grande sensibilité aux couleurs et aux capacités d'imagerie, c'est-à-dire qu'il peut simultanément acquérir des images bidimensionnelles et des informations chromatographiques, et enregistrer les capacités vont également bien au-delà du RVB. trois couleurs.

En termes humains, l'appareil photo principal, le téléobjectif et l'ultra grand angle du Huawei Mate 70 Pro peuvent normalement prendre des photos haute définition, tandis que l'appareil photo couleur principal enregistre spécifiquement les détails de couleur de chaque zone de la photo, puis le processeur donne la photo les informations de couleur correctes basées sur ces informations de couleur précises.

Mais la limite supérieure de cette caméra multispectrale aux paramètres élevés est bien au-delà.

Les « yeux de feu » des téléphones portables

Différents matériaux absorbent et réfléchissent la lumière différemment et présentent des spectres différents.

En termes simples, différentes substances montreront différentes « couleurs », certaines sont visibles à l'œil nu et d'autres doivent être capturées par des caméras multispectrales.

Grâce à ces spectres, nous pouvons déduire les propriétés et l'état actuels des substances. Par conséquent, les multispectromètres apparaissent souvent dans des domaines professionnels tels que la surveillance environnementale, l'agriculture, la sylviculture et l'élevage, le diagnostic médical, l'analyse chimique et les enquêtes criminelles.

Des initiés concernés de l'industrie ont déclaré à Aifaner que le nombre maximum de pixels du module spectral dans l'industrie peut atteindre 2 millions, tandis que la caméra multispectrale de la série Huawei Mate 70 a atteint 1,5 million de pixels.

De telles qualités ne sont peut-être pas applicables aux domaines professionnels mentionnés ci-dessus, mais si Huawei est disposé à ouvrir des interfaces tierces, cela peut créer davantage de possibilités pour le Mate 70 lancé aux consommateurs.

Par exemple, nous pouvons utiliser le multispectromètre de nos téléphones portables pour scanner les produits agricoles que nous achetons au marché aux légumes. Les résidus de pesticides qui ne sont pas directement visibles à l'œil nu seront également détectés par la caméra multispectrale en raison de différentes caractéristiques spectrales. De la même manière, il peut également être utilisé pour détecter des agents fluorescents dans les serviettes en papier.

Par exemple, l'état de la peau peut également être photographié à l'aide d'un multispectromètre pour détecter à l'avance des problèmes tels que la peau sèche, la luminosité, le teint terne, les taches, etc. pour la gestion de la peau.

Étant donné que les spectres du proche infrarouge et du moyen infrarouge présentés par le sang peuvent théoriquement être reconnus par un spectromètre, il est possible de prendre un « selfie » avec la série Huawei Mate 70 pour surveiller approximativement la glycémie, l'oxygène dans le sang et d'autres indicateurs du corps.

En bref, cette caméra multispectrale ressemble vraiment aux « Fire Eyes » de Sun Wukong, qui peuvent faire en sorte que les objets « révèlent leur forme originale » simplement en « voyant ».

Pour l’IA, il s’agit sans aucun doute d’une capacité convoitée.

La manière actuelle d'interagir entre les assistants IA et le monde extérieur consiste principalement à utiliser des caméras pour capturer des images puis les analyser. Cependant, les informations contenues dans un plan d'étage sont limitées et il est difficile pour l'IA de procéder à des interprétations plus approfondies.

Et si l’IA multimodale peut appeler des caméras multispectrales, elle peut grandement enrichir les informations externes qu’elle peut obtenir. Par exemple, en « regardant » le réfrigérateur, l’IA peut analyser la fraîcheur des ingrédients en fonction de caractéristiques spectrales et fournir des suggestions de recettes de dîner plus appropriées et plus détaillées.

En passant du téléphone mobile à la caméra spectrale de la maison intelligente, il existe également un large espace de développement. Imaginez un four capable de déterminer intelligemment l’état des ingrédients. Les utilisateurs n’ont pas besoin de régler manuellement la température et l’heure. Ils peuvent décider de la méthode de cuisson optimale.

L'utilisation d'un téléphone portable pour prendre des photos de chiots à des fins d'identification intelligente sera critiquée, mais si vous pouvez prendre des photos de chiots pour un test rapide des maladies de la peau, cela changera vraiment votre vie.

Plus d'appareils en route

Pourquoi un multispectromètre aussi utile n’est-il pas arrivé sur nos téléphones portables jusqu’à aujourd’hui ?

La taille et le poids des instruments multispectraux traditionnels sont en réalité loin de pouvoir être compressés au niveau d'un module de caméra de téléphone portable. Le dispositif central utilisé pour la spectrométrie dans un multispectromètre, le réseau, est difficile à réduire et nécessite une certaine plage de transmission. Afin d'élargir la plage spectrale, il est parfois nécessaire de placer plusieurs réseaux dans l'instrument.

Qiushi Spectroscopy, une société nationale d'optique, explore l'utilisation d'algorithmes pour remplacer les composants spectroscopiques physiques, permettant ainsi de réduire avec succès le spectromètre.

Un autre facteur qui freine l'introduction des caméras multispectrales dans les smartphones est la puissance de calcul : lorsque l'on appuie sur le déclencheur du téléphone portable, le processeur doit utiliser des informations spectrales détaillées pour terminer le traitement de la photo. Si les performances ne peuvent pas suivre, le temps de production est réduit. le téléphone portable sera raccourci. Il est très long et affecte sérieusement l'expérience de prise de vue.

Après des avancées continues dans les performances des processeurs de téléphones mobiles intégrant CPU, GPU et NPU (processeur AI), ce problème a été résolu.

En 2022, Huawei Hubble a investi dans Qiushi Spectrum Company. Aujourd'hui, 2 ans plus tard, la série Huawei Mate 70, le premier smartphone équipé d'un multispectromètre de 1,5 mégapixels, est née.

Mais Huawei ne sera pas en tête cette fois-ci. En fait, des pays étrangers explorent déjà des voies similaires pour introduire des puces multispectrales dans les appareils mobiles.

Une société belge appelée Spectricity a lancé le capteur multispectral S1 spécifiquement pour les smartphones en 2023. Le principe et l'effet sont similaires à ceux de la caméra couleur primaire en érable rouge, et il peut également améliorer la précision des couleurs des caméras des téléphones portables.

Cette année, Spectricity a annoncé un partenariat avec Qualcomm dans le but de développer d'excellents produits de capteurs d'images spectrales pour la plateforme Qualcomm Snapdragon.

À l'heure actuelle, aucun produit de téléphonie mobile grand public équipé du S1 n'a été commercialisé, mais Spectricity a déclaré avoir conclu une coopération avec plusieurs fabricants de téléphones mobiles, y compris des marques chinoises, et que des produits associés seront bientôt commercialisés.

Peut-être que l'année prochaine, ce capteur, encore un peu méconnu du grand public, sera fréquemment présenté lors de divers lancements phares de téléphones mobiles et deviendra un autre argument de vente inédit.

Pour les consommateurs, cet appareil photo signifie non seulement que nous pouvons prendre des photos avec des couleurs plus précises, mais il offre également de nouvelles possibilités pour révolutionner l'interaction homme-machine.

Article de référence :
"Caméra Spectrum, "l'œil" le plus brillant de Huawei Mate dans l'histoire"
"Imagerie spectrale, entrée dans une nouvelle ère d'imagerie IA sur téléphone mobile"

# Bienvenue pour suivre le compte public officiel WeChat d'Aifaner : Aifaner (ID WeChat : ifanr). Un contenu plus passionnant vous sera fourni dès que possible.

Ai Faner | Lien original · Voir les commentaires · Sina Weibo