J’ai essayé le suppresseur d’arrière-plan photo d’iOS 16 et cela m’a époustouflé

Apple a déployé un tas de fonctionnalités avec iOS 16 . Celles-ci incluent des améliorations dans les applications système telles que Messages, Maps et Safari, un écran de verrouillage personnalisable, etc. Mais l'une des fonctionnalités les plus divertissantes est la possibilité de supprimer automatiquement l'arrière-plan des images, ce qui vous donne une modification de type Photoshop en quelques clics.

C'est une fonctionnalité intrigante qui combine des années de recherche et de développement sur l'IA. Vous pouvez retirer le sujet de l'arrière-plan d'une image en le tenant simplement et en le collant dans Messages, Telegram, Safari, etc. J'ai essayé la fonctionnalité sur un large éventail de photos. Certains ont été capturés par un reflex numérique , d'autres avec un appareil photo de smartphone avec et sans mode portrait. J'ai également testé des images d'objets, d'animaux domestiques et de nombreuses autres images dans des environnements difficiles. Après avoir essayé la fonctionnalité sur 10 images différentes, les résultats parlent d'eux-mêmes.

Objets

La première image est celle des écouteurs Sony WF-1000XM4 . Elle a été prise sur un DSLR, qui a mis en valeur les écouteurs et leur boîtier tout en estompant l'emballage. J'ai tapoté et maintenu l'emballage et le système était assez intelligent pour reconnaître le sujet mis au point. L'IA a précisément supprimé l'arrière-plan avec des bords clairs où il y avait suffisamment de lumière mais a lutté avec les ombres du boîtier et des écouteurs.

J'ai choisi cette deuxième image parce que je l'ai capturée avec l'effet de mode portrait sur l'iPhone, ce qui donne un aspect artistique à l'image. iOS 16 a intelligemment compris le sujet et a pris le téléphone avec ma main. Bien que j'aurais aimé avoir la possibilité de choisir uniquement le téléphone au lieu de garder également ma main, cela a fait du bon travail avec les bords. Aucune plainte ici.

Animaux domestiques

Notre rédacteur en chef, Joe Maring, m'a envoyé cette image de son chien au point avec l'arrière-plan au loin. J'ai tapoté sur le chien pour le soulever de l'arrière-plan, et cela a fonctionné du premier coup. Il est à noter que le long des bords du chien, les bords de sa ceinture ont été discrètement déplacés de l'arrière-plan. Dans l'ensemble, un travail impressionnant.

Alors que l'IA a fait du bon travail dans des scénarios bien éclairés, Maring et moi avons repoussé les limites avec cette image de son chat assis sur le côté de la fenêtre. L'image est difficile pour deux raisons. Tout d'abord, c'est à l'intérieur, donc il n'y a pas assez de lumière dans certaines zones autour du chat. Deuxièmement, la lumière du soleil tombe sur la tête du chat, ce qui aurait pu confondre les conjectures d'iOS 16. Mais ce n'était pas le cas. La nouvelle fonctionnalité d'Apple a déplacé le chat de l'arrière-plan avec des bords précis même dans les zones peu éclairées comme sa queue.

Ensuite, une autre photo d'un chat à l'intérieur, mais cette fois avec une personne qui le caresse. Nous étions inquiets si iOS 16 sélectionnait les objets en arrière-plan à côté du sujet, mais à la place, il a choisi la main humaine. Cela aurait été bien mieux si nous pouvions avoir une option pour effacer les parties de l'image que nous ne voulions pas – quelque chose sur laquelle nous espérons qu'Apple travaille . Le résultat final n'est certainement pas mauvais, mais c'est un exemple qu'il y a encore place à l'amélioration.

Personnes

J'ai remarqué qu'il était beaucoup plus facile pour iOS 16 de supprimer le sujet d'un arrière-plan lorsque l'image était capturée en mode portrait. Par exemple, la photo ci-dessus a été prise en mode portrait sur l'iPhone 12. Elle a fait un travail décent en conservant les bords – même les cheveux. Mais, pour une raison quelconque, iOS 16 a créé un effet épanouissant sur mes fesses. C'est peut-être parce que le mode portrait a peut-être flouté cette zone, mais c'est néanmoins une étrange anomalie.

Ici, iOS 16 a fait un travail décent en supprimant le reflet du visage d'une personne en arrière-plan. Mais si vous êtes assis avec quelqu'un et que vous êtes tous les deux sur le même axe, cela vous prendra tous les deux. Par exemple, je me suis recadré sur cette image, mais le bras de la personne assise à côté de moi ne pouvait pas être retiré même lorsque je me tapotais pour soulever le sujet de l'arrière-plan. L'image ci-dessus n'a pas été prise en mode portrait, mais iOS 16 a quand même fait un travail décent sur les bords.

Cette image a été capturée sur le Huawei P50 Pro , qui possède l'un des meilleurs modes portrait sur un smartphone. Mais il a été trompé dans la zone près de mes lunettes et de mes cheveux. iOS 16 est allé avec les données du mode portrait pour découper très clairement les bords, mais s'est trompé dans les mêmes zones où l'appareil photo n'a pas bien fonctionné. Les bords autour des cheveux auraient pu être bien meilleurs.

En revanche, cette image a été prise sur un reflex numérique et iOS 16 était suffisamment intelligent pour conserver l'ordinateur portable à mes côtés. Il a bien mieux fonctionné avec les cheveux que dans l'image précédente, coupant les bords sans capter l'arrière-plan indésirable.

Un domaine où le suppresseur d'arrière-plan d'iOS 16 se débat est lorsqu'il y a une foule. La photo ci-dessus en est un excellent exemple. Il a été cliqué sur l' iPhone 12 lors d'un concert dans un environnement peu éclairé. Bien qu'il ait fait un travail décent près du visage, il ne pouvait pas faire la distinction entre le sujet et les différentes mains dans la foule. Encore une fois, ce serait bien qu'Apple nous donne la possibilité d'effacer les objets indésirables pour corriger ces petites erreurs. Mais il n'y a pas grand-chose que vous pouvez faire avec un appui prolongé, ce qui nous fait encore plus manquer 3D Touch .

Un début incroyable

Dans l'ensemble, le suppresseur d'arrière-plan d'iOS 16 fait un travail brillant dans des scénarios bien éclairés. Cela fonctionne bien sur les animaux domestiques et les objets pour effacer l'arrière-plan des bords, mais il semble qu'Apple s'appuie principalement sur les données du mode portrait pour soulever le sujet de l'arrière-plan. Par conséquent, lorsqu'une image n'est pas prise en mode portrait – ou que quelque chose bloque le sujet – iOS 16 devient confus.

Bien qu'il s'agisse de plaintes valables, il est important de replacer tout cela dans son contexte. Il s'agit de la première version disponible du suppresseur d'arrière-plan d'Apple dans la première version bêta du développeur d'iOS 16 . Avec iOS 16 qui ne devrait pas être officiellement lancé avant septembre ou octobre, Apple a des mois devant lui pour peaufiner et affiner la fonctionnalité avant ses débuts publics. Compte tenu de la qualité de la fonctionnalité à un stade aussi précoce, il est excitant de penser où elle en sera dans quelques mois.