Pourquoi ne pas utiliser un appareil photo pour la photographie informatique qui améliore considérablement les capacités de l’appareil photo de l’iPhone?

Lors du lancement de la série iPhone 11, le vice-président senior d’Apple, Philip W. Schiller, a présenté pour la première fois le concept de la photographie informatique en présentant le système d’imagerie de la série iPhone 11 Pro. Ce concept était également le premier Connu du public.

En fait, le concept de photographie numérique n'est pas nouveau: il est apparu dans un article public en 1994 et il a été déterminé que la synthèse à l'appareil photo du HDR, des photos panoramiques et du bokeh simulé appartiennent à la catégorie de la photographie numérique. Mais à cette époque, le principal support de photos était toujours le film, et les appareils photo numériques ne faisaient que commencer, et il n'y avait pas d'appareils photo sur les téléphones portables.

Des décennies plus tard, le support de l'enregistrement d'images est passé du film au numérique, les téléphones portables sont équipés d'appareils photo et la photographie informatique est sortie de la théorie, devenant progressivement une tendance majeure.

Cependant, cette tendance n'a pas grand-chose à voir avec les appareils photo. Les fabricants d'appareils photo améliorent encore progressivement le pixel, la vitesse de prise de vue en continu et les capacités vidéo. Ils semblent être aveugles à la photographie numérique. Les photos prises (tout droit) sont encore très médiocres et sont progressivement utilisées par les smartphones. "Au-delà".

Au contraire, la puissance de calcul des puces des téléphones intelligents est de plus en plus forte, l'intelligence artificielle, les algorithmes et l'apprentissage automatique sont impliqués dans une gamme plus large. Il existe de plus en plus de méthodes déductives d'images, et enfin de photos traitées par une série d '«algorithmes». Ça va aussi mieux.

De nos jours, de nombreuses personnes sont plus disposées à utiliser les téléphones portables pour enregistrer et partager, et les appareils photo sont de moins en moins courants. Cela se reflète également dans les performances du marché des deux. Le marché des smartphones a connu une croissance rapide et le marché des appareils photo a diminué d'année en année. Même DC (appareil photo à carte ) A progressivement disparu.

À ce stade, certaines personnes peuvent se demander, étant donné que les photos prises par les smartphones ont une si belle apparence, pourquoi les fabricants d'appareils photo traditionnels ne suivent-ils pas la tendance de la photographie informatique et n'envisagent pas d'améliorer l'apparence et la convivialité des photos?

La caméra n'a-t-elle pas assez de puissance de calcul pour compter?

Commençons par le «cœur» de ce problème.

Le cœur d'un téléphone mobile est SoC, qui intègre CPU, GPU, FAI, NPU et bande de base. Il vous permet de passer des appels, de prendre des photos, de regarder des vidéos, de jouer à des jeux et de surfer sur Internet. Il détermine également directement les performances du téléphone mobile.

Le composant principal de l'appareil photo est le capteur d'image (CMOS), qui est similaire à un téléphone portable, à l'exception de la zone des composants, pour l'imagerie et la sensibilité à la lumière. De plus, la puce de traitement centrale qui contrôle l'ensemble du système de caméra s'appelle un processeur d'image.

Prenons l'exemple du processeur d'image BIONZ X de Sony (série α7 royal). Il comprend des puces SoC et ISP. Il n'intègre pas le FAI dans le SoC. L'avantage est que Sony peut augmenter le nombre de puces ISP en fonction des exigences de performances du CMOS. (Le BIONZ X de l'α7RIII est équipé de deux FAI.) L'inconvénient est que le degré d'intégration n'est pas aussi élevé que celui des téléphones mobiles.

Le rôle du SoC dans BIONZ X est similaire à celui d'un téléphone portable, les performances requises pour contrôler l'interface de contrôle et les fonctions de la caméra ne sont pas élevées. La transformation Bayer, le dématriçage, la réduction du bruit, la netteté et d'autres opérations sur les «données» collectées par le capteur d'image reposent principalement sur le FAI pour finalement convertir les données collectées par CMOS en vue en temps réel de la caméra. Dans ce processus, le FAI de l'appareil photo n'implique pas le processus de calcul, mais traite les photos comme des produits sur la chaîne d'assemblage pour un traitement unifié.

Avec l'amélioration continue du nombre de pixels, de la vitesse de prise de vue continue et des performances vidéo de la caméra actuelle, le processeur d'image de la caméra a une forte demande pour la vitesse et le débit du traitement d'image, et le volume de données unique est très important, sans impliquer de «calcul». , La puissance de traitement du processeur d'image de la caméra dépasse de loin la puissance de traitement du FAI actuel du téléphone intelligent.

Mais en ce qui concerne la photographie informatique ou les capacités d'IA, il y a quelque chose de différent. Le processus d'imagerie d'un smartphone est quelque peu similaire à celui d'un appareil photo, mais avant que l'image finale ne soit présentée, il nécessite également des calculs ISP et DSP, un ajustement et une optimisation en temps réel, en particulier après que le système multi-caméras est devenu le courant dominant, le volume de données de calcul du téléphone mobile double.

Après le lancement du système multi-caméras par la série iPhone 11 Pro, derrière la commutation fluide et transparente du système multi-caméras se trouvent les énormes capacités de traitement des données des deux accélérateurs d'apprentissage automatique nouvellement ajoutés dans A13 Bionic, atteignant un billion de fois par seconde. Les capacités de traitement de données à haute fréquence et efficaces peuvent être considérées comme consommant l'énorme quantité de données générées par trois caméras.

Le processeur d'image de la caméra prétraite principalement les données d'origine et il n'y a presque pas de processus de calcul, tandis que le SoC du téléphone mobile comprend le prétraitement de l'acquisition de données et les processus de calcul ultérieurs, et les deux se concentrent sur des directions différentes.

Différents groupes, résultat de la segmentation du marché

La photographie informatique mobile s'est développée rapidement. La cause première est que la taille du capteur d'image (CMOS) du téléphone mobile est trop petite. Avec la technologie actuelle, si vous voulez surpasser ou vous approcher physiquement de l'appareil photo, vous ne pouvez l'optimiser que grâce à des algorithmes pour le rendre simple, par exemple automatique HDR, super scène de nuit, grande ouverture simulée, changement de ciel magique et autres fonctions.

Mais l'interprétation de ces algorithmes reste difficile à réaliser pour une intervention «personnalisée», comme dans quelle mesure le filtre est ajouté, et dans quelle mesure les reflets et ombres HDR sont conservés. Cependant, pour les téléphones mobiles destinés au grand public, dans la mesure du possible, laissez la plupart des gens prendre de bonnes photos, ce qui est plus conforme au positionnement sur le marché et au positionnement des téléphones portables.

Depuis l'invention de la caméra, la caméra possède un attribut absolu d '«outil»: pour être efficace, l'apparence, le contrôle, la fonction, etc. seront tous compromis sur l'efficacité. Face à un groupe professionnel de niche, il sera naturellement plus en phase avec ses besoins. Les caméras enregistreront autant que possible la profondeur de couleur, la couleur, la lumière et d'autres informations, afin que les utilisateurs puissent effectuer un plus large éventail de post-ajustements pour déterminer si c'est bon ou non. Pas dans leurs besoins.

Pour la plupart des gens qui n'ont pas de base en photographie, obtenir une belle photo à portée de main est beaucoup plus important que d'obtenir une photo informative. Pour les fabricants d'appareils photo professionnels, augmenter la profondeur de couleur de l'enregistrement RAW est plus conforme au positionnement sur le marché que d'augmenter l'effet direct du JPG.

Cependant, les choses ne sont pas si absolues et les caméras essaient également de changer. Fuji a toujours été attaché à l'effet direct de l'appareil photo, en introduisant la «simulation de film», à travers différents algorithmes, pour rendre les photos plus élégantes et plus belles. Cependant, ce processus ne passe pas par des calculs de scène, mais oblige les utilisateurs à choisir eux-mêmes. Ceci est similaire à certaines applications de simulation de film sur les téléphones mobiles et n'implique pas ce que l'on appelle la «photographie informatique».

Après l'IA, est la direction générale de la caméra?

Dans le domaine de la photographie, le post-traitement est une étape indispensable. D'une part, le logiciel de post-traitement peut exploiter pleinement la richesse des informations enregistrées au format RAW. D'autre part, il peut également utiliser les hautes performances et la puissance de calcul du PC pour traiter rapidement les photos.

Contrairement aux fabricants d'appareils photo, les logiciels de post-production professionnels presque traditionnels ont commencé à travailler sur l'IA, mettant l'accent sur les capacités de traitement de l'IA.

Adobe Photoshop a ajouté une fonction de reconnaissance automatique aux opérations de découpe, de réparation et de dermabrasion dans les versions récentes de la mise à jour, rendant l'opération de plus en plus insensée et l'effet de plus en plus précis. Le logiciel de retouche Pixelmator Pro sur la plate-forme Mac a commencé à utiliser l'apprentissage automatique Core ML d'Apple pour reconnaître les images dès 2018, afin d'effectuer le réglage des couleurs, le matage, la sélection et même la sortie de compression.L'apprentissage automatique ML a été utilisé. moteur.

Comme mentionné ci-dessus, en raison de la limitation de la puissance de calcul de l'intelligence artificielle et du problème du marché de niche, les fabricants d'appareils photo ont à peine déployé leurs efforts dans la photographie informatique. Cependant, l'explosion des logiciels ultérieurs dans l'IA peut également être considérée comme compensant les lacunes des appareils photo dans la photographie informatique.

Même si l'IA du dernier logiciel est incluse, les caméras ne se sont toujours pas débarrassées du processus traditionnel. Les caméras enregistrent et les processus logiciels. Ce processus est encore lourd pour le public. Pour les photographes professionnels, l'intervention d'une IA logicielle ultérieure peut en effet réduire la charge de travail et rendre les opérations de découpe complexes d'origine beaucoup plus faciles, mais elle ne peut toujours pas inverser le processus de traitement (création) de la photo de l'industrie de la photographie traditionnelle, qui est complètement différente du téléphone mobile. différent.

Selon les données de la CIPA, le marché des appareils photo se rétrécit progressivement, au contraire, le marché de la téléphonie mobile continue de croître. La tendance de la «photographie computationnelle» sur les smartphones ne changera pas la direction des caméras devenant plus professionnelles, ni ne renversera le rétrécissement progressif du marché des appareils photo.

Face à des téléphones portables menaçants, les caméras ne peuvent évoluer que dans une direction plus professionnelle et continuer à subdiviser le marché à la hausse. Ces dernières années, le plein format 40 millions et 60 millions de pixels de haut, le moyen format plus de 100 millions de pixels et le micro-single Les capacités vidéo continuent de s'approcher des caméscopes professionnels, qui sont tous des produits du segment des caméras.

La spécialisation croissante des caméras signifie la nécessité de capteurs d'image (CMOS) plus performants, mais la «photographie computationnelle» repose sur un module d'apprentissage automatique séparé. Comme nous le savons tous, le coût élevé et le risque élevé de développement de puces rendent la tâche difficile pour les fabricants d'appareils photo. Prenez les deux en considération. La photographie numérique et le développement de la spécialisation sont deux voies différentes. Dans le même temps, pour des fonctionnalités telles que la «photographie computationnelle» et «l'intervention de l'IA» qui sont peu utiles aux utilisateurs professionnels, les fabricants d'appareils photo sont susceptibles d'être temporairement abandonnés stratégiquement en raison de l'équilibre entre les coûts de recherche et de développement.

À ce stade ou dans un avenir prévisible, il est encore plus difficile de vouloir que les fabricants d'appareils photo adoptent la «photographie computationnelle» avec un risque élevé, un investissement élevé et des résultats lents, sans oublier qu'il existe encore de nombreux logiciels de post-production professionnels utilisant l'IA pour retoucher les photos. À la fin.

#Bienvenue pour suivre le compte WeChat officiel d'Aifaner: Aifaner (WeChat ID: ifanr), un contenu plus passionnant vous sera fourni dès que possible.

Ai Faner | Lien d'origine · Voir les commentaires · Sina Weibo