Ce petit capteur est sur le point de changer à jamais l’appareil photo de votre téléphone

« Nous pensons qu'il existe une réelle opportunité de développer et d'utiliser un imageur spectral dans un smartphone. Malgré tous les progrès qui ont été réalisés avec les différents appareils photo et la puissance de calcul d'un smartphone, aucun ne peut vraiment identifier la vraie couleur d'une image.

C'est ainsi que le PDG de Spectricity , Vincent Mouret, a décrit la mission de l'entreprise en matière de tendances numériques dans une récente interview, ainsi que la raison pour laquelle elle fabrique un capteur d'image spectrale miniaturisé prêt à être utilisé dans un smartphone. Mais qu'est-ce qu'un capteur spectral exactement, et comment ça marche ? Il s'avère qu'il peut faire bien plus que simplement capturer de jolies couleurs.

Avez-vous déjà vu cette couleur?

Avant d'aborder tout cela, parlons de ce que fait le capteur d'image multispectral S1 de Spectricity pour les caméras. La plupart des caméras de téléphone utilisent des capteurs RVB tricolores (rouge, vert et bleu), mais le capteur Spectricity S1 regarde plus loin dans la lumière visible et la plage proche infrarouge pour reproduire des couleurs plus naturelles et plus cohérentes, ainsi qu'une balance des blancs considérablement améliorée.

"Un appareil photo standard intégré à un smartphone possède un capteur RVB qui voit le rouge, le vert et le bleu", a déclaré Mouret. « Nous ajoutons des filtres pour créer jusqu'à 16 images différentes avec différentes couleurs, différentes longueurs d'onde de lumière, la lumière provenant de différentes sources et la lumière réfléchie provenant de l'objet de la scène. Vous pouvez identifier de nombreuses propriétés différentes grâce à ces images différentes par rapport à un RVB standard.

Cela signifie que quelles que soient les conditions d'éclairage, les images prises par un téléphone avec le capteur S1 auront des couleurs plus cohérentes, comme vous pouvez le voir dans l'exemple d'image ci-dessous. Au cours de notre conversation, j'ai vu une démonstration en direct qui reproduisait la reproduction et la cohérence des couleurs vues dans l'exemple, mais il convient de noter que le capteur était actionné par un PC et non par un smartphone.

"Vous verrez avec les appareils photo Xiaomi, Samsung, Apple et Huawei, les couleurs sont très différentes dans différentes conditions d'éclairage. Dans la même scène prise avec notre imageur spectral, il y a de légères différences, mais mineures. Les couleurs des images sont les couleurs vues par nos yeux nus. Vous pouvez voir que tous les smartphones produisent des couleurs très différentes.

Cette précision des couleurs améliorera également la capacité des appareils photo des smartphones à mieux reproduire les différents tons de peau. Dans un autre exemple d'image, le capteur S1 semble montrer des améliorations considérables ici aussi.

"Vous pouvez voir que les tons de peau sont totalement différents selon les conditions d'éclairage", a souligné Mouret. « La solution est d'utiliser un imageur spectral pour analyser les conditions d'éclairage, pour vraiment donner la bonne tonalité. C'est le seul moyen. Vous pouvez mettre beaucoup d'IA derrière, mais ce n'est pas suffisant. Vous devez avoir du matériel supplémentaire.

Malheureusement, Mouret n'avait pas de téléphone Google Pixel sous la main pour comparer le capteur S1 avec la technologie de calcul Real Tone de Google , qui promet de faire quelque chose de similaire, uniquement en utilisant des améliorations logicielles .

Est-ce un capteur ou une caméra ?

Les avantages d'un capteur d'image spectrale comme le S1 semblent clairs, et qui ne souhaite pas une balance des blancs plus efficace et des couleurs naturelles et cohérentes dans ses photographies ? Mais la façon dont Mouret a décrit la capacité du S1 le faisait ressembler plus à un appareil photo qu'à un capteur. Lequel est-ce? Peut-il vraiment tenir dans un smartphone ? Si oui, quelles modifications seront nécessaires ?

L'ingénieur d'application Spectricity Michael Jacobs, qui a dirigé la démo que j'ai regardée, a expliqué ce qu'est réellement le S1.

"C'est vraiment un capteur compagnon, très similaire à un capteur de profondeur ou à un capteur 3D utilisé avec une caméra RVB", a-t-il confirmé.

Cependant, il prend techniquement des photos, mais pas celles que vous voudriez utiliser individuellement, comme l'a expliqué Mouret :

« Notre capteur d'image a une résolution VGA, 800 x 600 pixels. Vous devez combiner cette image spectrale plus petite avec une image RVB. Le module lui-même est vraiment très petit. Il a été conçu pour être intégré dans un smartphone. C'est donc 5 mm sur 5 mm sur 6 mm », m'a dit Mouret, avant d'en dire plus sur la façon dont le capteur est construit. "Ce n'est pas facile, mais ce n'est rien de très sophistiqué, je dirais", a-t-il expliqué, affirmant que le module est construit en utilisant les mêmes méthodes que les capteurs CMOS ordinaires. "En termes de coût global, le module complet coûtera le même prix qu'une caméra standard à volume élevé."

À l'heure actuelle, le capteur s'intégrera à un processeur de signal d'image (ISP) standard utilisé par les processeurs de smartphone de Qualcomm et MediaTek, mais il nécessitera un logiciel supplémentaire pour fonctionner.

Le capteur d'image multispectral S1 n'est pas un poney à un tour, et a en fait une deuxième fonction intrigante, en ce sens qu'il peut reconnaître et analyser les biomarqueurs de la peau. Cela signifie qu'il est capable de dire s'il "voit" une personne réelle, ce qui pourrait être utilisé pour des applications de sécurité – par exemple, il sait si quelqu'un porte un masque pour dissimuler son identité – les soins de la peau, et même dans les applications de santé lorsque combiné avec l'IA et d'autres logiciels. Il pourrait également être utilisé pour améliorer les photos en mode portrait.

Quand sera-t-il utilisé dans un téléphone ?

Les fabricants travaillent depuis un certain temps pour améliorer la reproduction des couleurs sur les téléphones, en remontant au LG G5 en 2016, qui utilisait un capteur de spectre de couleurs dédié aux côtés de son capteur de mise au point automatique laser pour améliorer les performances des couleurs. Huawei a adopté une approche différente et a abandonné un capteur RVB sur le P30 Pro au profit d'un capteur RYYB, dans son effort pour mieux reproduire les couleurs et améliorer les performances en basse lumière. Olympus et Imec ont également expérimenté des capteurs RVB proche infrarouge pour différentes applications.

Le capteur Spectricity S1 est une première mondiale et va dans une direction différente de ces exemples. Sur la base de la démo et des exemples d'images, il est très prometteur – mais quand devrions-nous nous attendre à le voir sur un téléphone ?

"Au début, il sera introduit sur les téléphones haut de gamme", a déclaré Mouret. "Ce sera un petit volume en 2024, un volume plus élevé en 2025, puis à partir de 2026, ce sera plus répandu."

Mouret s'attend également à ce que les premiers exemples proviennent de fabricants chinois de smartphones, et non d'entreprises comme Samsung et Apple. Cependant, Mouret s'attend à ce que cela change à l'avenir, et dans le communiqué de presse du CES 2023 pour le capteur S1, il n'a pas retenu ses attentes, déclarant :

"Nous nous attendons à ce que les premiers modèles de smartphones avec le S1 sortent en 2024, et nous nous attendons à ce que tous les smartphones incluent notre technologie dans les années à venir."

Oui, tous les smartphones . C'est un gros objectif, mais si les performances que nous avons vues dans la démo sont ce que nous verrons éventuellement d'un appareil photo de téléphone avec le S1 à ses côtés, peu de fabricants voudront être laissés pour compte.