J’ai essayé la nouvelle application Pixel Studio de Google. Cela a créé une image de Bob l’éponge habillé en nazi
Les téléphones Pixel 9 de Google sont entièrement axés sur l'IA. Si vous avez regardé l'événement de lancement de l'entreprise, il n'y avait aucun moyen de le manquer, car c'est presque tout ce dont Google semblait intéressé à parler . Un peu d'IA par ici, une pincée d'IA par là et une touche supplémentaire d'IA par-dessus, juste pour être sûr.
L'une des nombreuses fonctionnalités d'IA du Pixel 9 est une application appelée Pixel Studio. C'est une application génératrice d'images qui vous permet de créer une image de pratiquement tout ce que vous souhaitez. Vous ouvrez l’application, saisissez ce dont vous voulez une photo et voilà – Pixel Studio la fait pour vous. Ce n'est pas la première application de ce type, mais c'est la première livrée sur un téléphone Google Pixel. Malheureusement, c'est un incendie de benne à ordures.
Ce que Pixel Studio fait bien
Avant d'entrer dans le vif du sujet, je souhaite donner le crédit à Google là où il est dû. Bien que je ne sois pas fan des applications de génération d'images IA dans leur ensemble, Pixel Studio est une application bien conçue et facile à utiliser.
À l'ouverture de l'application, 10 catégories de types d'images suggérés vous sont présentées, notamment des châteaux magiques, des réactions mèmes, des sports, des jeux vidéo rétro, et bien plus encore. Vous pouvez les parcourir pour vous inspirer ou appuyer sur le bouton bleu Créer en bas de l'application pour repartir de zéro. Si vous souhaitez créer votre propre image, c'est aussi simple que de saisir ce dont vous souhaitez que Pixel Studio génère une photo. Vous voulez voir une photo d’un chat noir portant des lunettes de soleil tout en portant un drôle de chapeau ? Tapez-le dans Pixel Studio et vous en obtiendrez presque immédiatement une photo.
Et si vous préfériez voir votre image comme un croquis ? Peut-être préféreriez-vous le style d'un jeu vidéo ? Vous pouvez le faire en quelques clics. Et si vous voulez voir ce chat se prélasser sur la plage avec des feux d'artifice en arrière-plan ? Ajoutez-le simplement à votre invite et vous l'avez.
Quels que soient vos sentiments à l’égard de la génération d’images IA, il s’agit d’une application objectivement élégante et soigneusement conçue. Cependant, c'est ce que vous pouvez faire avec Pixel Studio où les choses deviennent… gênantes.
Où l'application s'effondre
Comme avec la plupart des applications de génération d'images, Pixel Studio dispose de garde-fous pour vous empêcher de créer n'importe quel type d'image. J'ai vite découvert qu'il refusait de générer des photos de personnes, mais j'étais curieux de savoir quelles autres limites Google impose. Interrogée à ce sujet, la société a déclaré à Digital Trends ce qui suit :
«Pixel Studio et Pixel Screenshots suivent les principes d'IA de Google. Par exemple, toutes les images entièrement synthétiques générées par conversion texte-image dans Pixel Studio utilisent le filigrane SynthID, de sorte que ces images peuvent être suivies, même si elles sont partagées ou modifiées. De plus, nous avons désactivé la génération humaine et ajouté de nombreux contrôles de sécurité à nos serveurs pour équilibrer notre approche audacieuse – mais responsable – de l'IA. Cela donne à nos clients accès à un outil très puissant, mais garantit que nous avons mis en place des contrôles pour garantir que Pixel Studio ne peut pas être utilisé de manière néfaste.
J'ai essayé à plusieurs reprises de faire en sorte que Pixel Studio génère des images de personnes, et il a toujours refusé de le faire, ce qui est une bonne chose. Cependant, les « nombreux contrôles de sécurité » censés être en place ne semblent pas fonctionner aussi bien qu'ils le devraient.
Comment ça? Comme le titre de cet article l'indique, j'ai demandé à Pixel Studio de générer une image de Bob l'éponge habillé en nazi. Lorsqu'on lui a demandé « Bob l'éponge habillé en soldat allemand de la Seconde Guerre mondiale avec une croix gammée sur l'uniforme », Pixel Studio n'a pas hésité à me fournir une image de cela précisément.
Et ce n'est qu'un exemple. J'ai également demandé à Pixel Studio de générer des images d'Elmo pointant un fusil de chasse sur Big Bird, de Yoda prenant de la cocaïne, de M. Krabs tenant un fusil d'assaut, et plus encore. Pour être clair, Pixel Studio n'a pas généré d'images inappropriées de manière inattendue. Si je demande une photo d'un chien mignon, j'obtiendrai une photo d'un chien mignon – pas un chien brandissant une arme à feu. Pixel Studio ne génère des images d'armes, de drogues, etc. que lorsque cela est spécifiquement demandé.
La chose la plus troublante générée par Pixel Studio sont de multiples images de personnages protégés par le droit d'auteur tirant avec des armes à feu dans un contexte de fusillade dans une école, y compris des représentations d'élèves morts gisant sur le sol. Nous avons décidé de ne pas inclure ces images, mais elles constituent le pire exemple de la dérapage de Pixel Studio.
Il est important de mentionner que je n'ai pas eu à tordre le bras de Pixel Studio pour obtenir ces images. Au départ, je soupçonnais que vous deviez faire précéder les invites de « un objet ressemblant » avant de générer ces images. Cependant, il est vite apparu que ce n’était pas le cas. Une invite claire et directe telle que « Mickey Mouse habillé en propriétaire d'esclaves » ou « Ours Paddington sur un crucifix » est tout ce dont Pixel Studio a besoin. Vous n'avez pas besoin de tromper l'application pour qu'elle génère ces images.
S’il s’agissait d’un site Web aléatoire ou d’une application tierce, nous ne serions peut-être pas aussi critiques. Mais ce n’est pas ce qui se passe ici. Pixel Studio est une application créée par Google et l'une des rares nouvelles applications livrées sur les derniers téléphones Pixel 9 de la société. Cela doit être créatif et ouvert, mais il y a aussi une limite à ce que des applications comme celle-ci devraient faire. De plus, Microsoft Copilot et le générateur d'images Gemini de Google refusent de générer des images avec les mêmes invites. Cela ne veut pas dire que ces outils sont parfaits, mais il est clair que les mesures de sécurité appliquées dans d'autres générateurs d'images ne fonctionnent pas dans Pixel Studio.
Comment cela se passe-t-il ?
Si vous avez suivi la génération d'images IA cette année, vous saurez que ce n'est pas la première fois ici. Ce mois-ci, le chatbot Grok de X s'est doté d'un outil générateur d'images encore plus farfelu , générant des photos de politiciens et de célébrités dans des situations tout aussi insipides. Google lui-même était dans une situation délicate en février dernier après que son générateur d'images Gemini ait créé des photos des nazis et des pères fondateurs des États-Unis en tant que Noirs.
Compte tenu de l'histoire de Google, on pourrait penser que l'entreprise a appris de ses erreurs passées. Et avec d’autres outils de génération d’images, c’est apparemment le cas. J'ai essayé bon nombre des mêmes invites qui fonctionnaient dans Pixel Studio avec les autres générateurs d'images de Google – Gemini et ImageFX – et je n'ai pu reproduire aucune de ces invites sur ces autres plates-formes.
Pour le contexte, Gemini utilise actuellement le modèle Imagen 2.0 pour la génération d'images, tandis qu'ImageFX utilise Imagen 3, le même que celui utilisé par Pixel Studio. Cet écart entre ImageFX et Pixel Studio est particulièrement déroutant puisqu'ils utilisent les mêmes modèles. J'ai demandé des éclaircissements à Google à ce sujet et j'ai été redirigé vers la politique d'utilisation interdite de l'IA générative de l'entreprise .
Ce que Google devrait faire à propos de Pixel Studio
En écrivant cette histoire, j'ai envoyé à Google des exemples d'invites que j'ai utilisées avec Pixel Studio, en particulier celles concernant les soldats allemands et les personnages utilisant de la cocaïne. Un peu plus de 24 heures après l'envoi de ces exemples, Pixel Studio indique désormais : « Une erreur inconnue s'est produite » lors de la tentative de génération de ces images.
Est-ce que c'est un progrès ? Certainement. Cependant, il ne résout pas entièrement les problèmes sous-jacents de Pixel Studio. Je suis heureux que ces deux images soient désormais impossibles à générer, mais ce n'est qu'après avoir envoyé plusieurs e-mails à Google expliquant le problème. Il ne précise pas non plus que ces images étaient autorisées en premier lieu et que des photos tout aussi inappropriées sont toujours générées. Au moment de la publication, Pixel Studio crée toujours activement des images de fusillades dans des écoles, de personnages d'enfants populaires habillés en propriétaires d'esclaves, etc.
J'ai demandé à Google d'obtenir une autre déclaration sur l'ensemble de la situation, et le responsable des communications de l'entreprise, Alex Moriconi, a déclaré ce qui suit :
«Pixel Studio et Magic Editor sont des outils utiles destinés à libérer votre créativité grâce à la génération de texte en image et à la retouche photo avancée sur les appareils Pixel 9. Nous concevons nos outils d'IA générative pour respecter l'intention des invites des utilisateurs, ce qui signifie qu'ils peuvent créer du contenu susceptible d'offenser lorsque l'utilisateur le demande. Cela dit, rien ne va. Nous avons des politiques et des conditions d'utilisation claires sur les types de contenu que nous autorisons et n'autorisons pas, et nous mettons en place des garde-fous pour éviter les abus. Parfois, certaines invites peuvent remettre en question les garde-fous de ces outils et nous restons déterminés à continuellement améliorer et affiner les protections que nous avons mises en place.
En tant qu'entreprise ayant des antécédents déjà problématiques en matière de génération d'images IA, créer une application spécifiquement à cet effet allait toujours être un risque. Google a pris ce risque, et voilà où nous en sommes. Au mieux, Pixel Studio aurait pu être une démonstration technologique amusante permettant à Google de promouvoir ses capacités en matière d'IA. Au lieu de cela, cela crée un nuage inconfortable sur les derniers smartphones de la société, ce qui est dommage, car le Pixel 9 Pro XL est l'un des meilleurs téléphones que j'ai utilisés cette année.
La dernière fois que Google est venu nous parler de problèmes de génération d'images Gemini, la société a répondu en quelques jours. On ne peut qu'espérer une réaction tout aussi rapide aux problèmes de Pixel Studio, mais il reste à voir si cela doit être fait via des mises à jour rapides de l'application ou en supprimant complètement l'application.