Contre-attaque Corée N Room 2.0! Lorsque les gens ordinaires sont complètement vaincus par le changement de visage de l’IA, ils utilisent la magie pour vaincre la magie.

Le récent incident « Room N 2.0 » en Corée du Sud a une fois de plus remis au premier plan le sujet banal du Deepfake.

Les auteurs se sont rassemblés sur Telegram et ont utilisé l'IA pour synthétiser des photos féminines en photos nues, ce qui montre que le cercle des deepfakes s'est déjà étendu des stars du divertissement et des politiciens aux gens ordinaires comme vous et moi.

À l’heure où l’IA est devenue une science de premier plan, nous souhaitons comprendre comment cette technologie, qui ne semble pas nouvelle mais qui est devenue de plus en plus populaire ces dernières années, affecte la vie quotidienne.

Dans quelle mesure les deepfakes ont-ils évolué et quels dommages vont-ils causer ? Comment utiliser la technologie pour lutter contre le Deepfake ? Comment les gens ordinaires empêchent-ils les Deepfakes ?

Nous avons discuté de ces problèmes avec le Dr Chen Peng, scientifique chez Ruilai Intelligent Algorithm. Ruilai Wisdom a été fondée en 2018 et a été incubée par l'Institut de recherche sur l'intelligence artificielle de l'Université Tsinghua. Elle est profondément impliquée dans la détection des contrefaçons d'IA depuis de nombreuses années.

Chen Peng nous a dit que les gens ordinaires ont lamentablement échoué à identifier les Deepfakes, et que la lutte contre les Deepfakes dépend toujours de l'IA.

Une image, quelques secondes, Deepfake devient de plus en plus simple

Deepfake est apparu pour la première fois en 2017 sur Reddit, la « version américaine de Tieba ». La principale forme consiste à remplacer les visages de célébrités par les protagonistes de vidéos pornographiques, ou à usurper des personnalités politiques.

Aujourd’hui, répandre des rumeurs et se livrer à la pornographie restent les utilisations principales des Deepfakes, mais elles sont devenues plus faciles.

Chen Peng a expliqué que la collecte d'une seule photo suffit pour changer de visage. Bien sûr, plus de données sont collectées, les détails du visage tels que les grains de beauté et les traits du visage seront mieux modélisés et plus l'effet de changement de visage sera réaliste. .

En avril de cette année, le projet de performance de deux artistes allemands en est un exemple vivant.

Ils ont conçu une caméra AI NUCA. Le corps de la caméra est imprimé en 3D et dispose d'un objectif grand angle de 37 mm intégré. Les photos prises seront transmises au cloud, où l'IA "enlèvera ses vêtements" et la photo sera transmise. être "retiré" en moins de 10 secondes.

NUCA ne sait pas à quoi ressemble votre corps nu. Il analyse uniquement votre sexe, votre visage, votre âge, votre forme corporelle, etc. pour présenter votre corps nu aux yeux de l'IA.

Rugueux? Peut-être que cela n'a pas d'importance. En quelques secondes, vous avez été exposé à l'IA et d'autres peuvent croire que c'est vous.

La « Room N 2.0 » de Corée du Sud a également été exposée avec des détails similaires : un salon de discussion Telegram avec 227 000 personnes, un robot intégré qui synthétise des photos féminines en photos nues et peut ajuster les seins, et génère du contenu deepfake en 5 à 7 secondes.

Changer de visage et enlever ses vêtements ne sont qu’une application de Deepfake.

L’utilisation de modèles d’IA génératifs (GAN, VAE, modèle de diffusion, etc.) pour synthétiser ou forger un contenu réaliste, notamment du texte, des images, de l’audio et de la vidéo, peut être appelé Deepfake.

Parmi eux, les deepfakes audio sont également assez courants.

Début 2023, le journaliste technologique Joseph Cox a appelé la hotline de service automatisée de la banque, a diffusé la voix de l'IA « Ma voix est mon mot de passe » qu'il a clonée avec ElevenLabs et a demandé de vérifier le solde. De façon inattendue, la vérification vocale a réussi.

Chen Peng a déclaré que ce n'était pas surprenant. Dans le passé, il fallait plusieurs minutes ou dizaines de minutes pour capturer nos informations d'empreinte vocale, mais maintenant elles peuvent être capturées approximativement en une demi-minute ou des dizaines de secondes. Si nous recevons encore quelques appels harcelants, nos voix pourraient être divulguées.

Bien sûr, si vous souhaitez cloner avec plus de précision et copier le ton et d'autres styles de parole, comme laisser Guo Degang parler anglais ou laisser Swift parler chinois, vous avez encore besoin de plus de corpus.

Même le texte est un domaine profondément truqué. Le texte généré par l’IA est depuis longtemps présent partout, et il cause des maux de tête aux enseignants lorsque les élèves l’utilisent pour tricher et faire leurs devoirs, mais nous ne sommes peut-être pas conscients des risques qu’il comporte.

Les fausses nouvelles et les rumeurs sont les domaines les plus durement touchés par le deepfake de texte. Chen Peng a déclaré que dans le passé, les humains devaient encore rédiger la copie eux-mêmes, mais que désormais, l'IA peut générer divers commentaires sur un certain événement, puis les publier automatiquement sur les réseaux sociaux. .

Deepfake est plus rapide et plus simple. Selon Chen Peng, il y a trois raisons principales.

Premièrement, des avancées ont été réalisées dans les technologies d’IA générative telles que Vincent Pictures et Vincent Videos. Deuxièmement, la puissance de calcul est devenue de plus en plus populaire et les cartes graphiques grand public peuvent déjà exécuter des modèles d’IA génératives.

Un autre point très important est que la technologie Deepfake a été optimisée dans divers outils avec des seuils plus bas.

Prenons l'exemple du changement de visage. Il existe de nombreux projets open source pour Deepfake, tels que DeepFaceLive et Deep-Live-Cam sur Github. Les utilisateurs peuvent télécharger le code depuis le site Web et configurer l'environnement d'exécution localement.

Si les novices qui ne comprennent pas la technologie ont encore des difficultés, il existe aussi des professionnels qui mettent le riz directement dans leur bouche, encapsulent le modèle et l'écrivent dans un logiciel simple et facile à utiliser que les joueurs peuvent télécharger gratuitement, et gagnez eux-mêmes des frais de publicité, y compris de nombreuses applications de décapage en un clic.

Quant aux deepfakes audio, il existe déjà des sociétés commerciales matures qui permettent aux utilisateurs d'utiliser facilement des services sous forme de SDK (kit de développement) ou d'API (interface de programmation d'application).

Les utilisateurs n'ont même pas besoin d'un appareil doté d'une carte graphique pour déployer le programme, mais téléchargent plutôt du contenu tel que de l'audio sur le site Web, attendent que les résultats soient générés, puis les téléchargent.

Par conséquent, des principes techniques complexes sont cachés dans les coulisses et les utilisateurs se trouvent devant des interfaces « prêtes à l'emploi » Même les adolescents peuvent créer de fausses informations à volonté.

En un mot, la conclusion de Chen Peng est la suivante :

Deepfake a atteint le point où les gens ordinaires peuvent facilement l’obtenir.

Les humains ont peut-être complètement échoué à identifier Deepfake à l’œil nu

Lorsqu’une technologie « pénètre dans les foyers des gens ordinaires », les personnes les plus susceptibles d’être affectées sont les gens ordinaires.

La fraude est l’un des moyens les plus courants utilisés par les Deepfakes pour commettre le mal.

Au début de cette année, la succursale de Hong Kong d’une entreprise multinationale a été victime d’une fraude de 25 millions de dollars à cause d’IA. La victime a participé à une vidéoconférence, et les autres étaient des fraudeurs qui avaient subi un « changement de visage par l'IA » et un « changement de voix par l'IA ».

Maintenant que les choses en sont arrivées là, que pouvons-nous faire pour nous protéger ?

Si quelqu'un utilise Deepfake pour vous tromper, profiter des failles de l'IA est l'un des moyens, mais cela a une durée de vie.

Par exemple, lors d'un appel vidéo, si nous soupçonnons que le visage de l'autre partie a été remplacé par l'IA, nous pouvons guider l'autre partie pour qu'elle effectue des actions spécifiques, comme placer sa main devant son visage et glisser plusieurs fois rapidement, ou tourner la tête de manière significative.

Si le modèle derrière le remplacement du visage par l'IA n'est pas spécifiquement optimisé pour l'occlusion de la main, il sera exposé et le visage peut apparaître sur le dos de la main, ou il peut être soudainement déformé.

Le principe de la rotation de la tête est le même. Si, au cours de la phase de collecte de données, l'autre partie ne collecte pas délibérément de matériel tournant la tête à plus de 45 degrés, l'ajustement du visage ne sera pas naturel.

Mais à l’avenir, ces défauts visibles à l’œil nu diminueront progressivement.

Chen Peng a plaisanté en disant que si les fraudeurs pensent que vous êtes un gros mouton attendant d'être abattu et veulent délibérément vous tromper, supprimer vos informations sur les réseaux sociaux et passer plusieurs jours à optimiser votre modèle, alors ces méthodes ne sont pas garanties d'être efficaces.

Si une vidéo ne présente pas ces défauts, cela signifie-t-il qu’il s’agit d’une vraie vidéo ? Ce n'est pas vrai.
Quant à savoir si c'est efficace ou non, il ne peut certainement pas être complètement efficace ou efficace à 100 %, mais il est efficace dans une certaine mesure.

Pour le dire en termes plus professionnels, la perception visuelle humaine fonctionne très bien au niveau sémantique, par exemple en étant capable de distinguer facilement la signification d'objets ou de scènes, mais lorsqu'il s'agit de traiter des nuances de bas niveau au niveau des pixels, la perception la capacité n’est pas aussi bonne que celle du modèle AI.

De ce point de vue, Chen Peng estime que les gens ordinaires ont lamentablement échoué à distinguer les Deepfakes. Les experts peuvent encore être en mesure de se battre, car ils ont trop vu et ont des capacités d'analyse relativement complètes, et peuvent voir que quelque chose n'est pas conforme aux règles.

Aucun d’entre nous n’est Leeuwenhoek et nous n’avons pas non plus d’yeux perçants, mais la nature humaine reste inchangée. Par conséquent, nous pouvons également relever la ligne de défense psychologique traditionnelle qui n'a rien à voir avec la technologie : soyez prudent lorsque vous naviguez.

Les escroqueries suivent souvent le même schéma : voler la vie privée, utiliser la peur, l'avidité et la valeur émotionnelle pour inventer des histoires, prétendre être des connaissances ou se présenter pour gagner la confiance, le but ultime étant l'argent.

Gardez cela à l'esprit, puis soyez plus vigilant. Ne cliquez pas sur des liens inconnus, ne donnez pas de codes de vérification avec désinvolture, essayez de ne pas trop exposer votre visage, votre voix, vos empreintes digitales et autres informations biométriques personnelles sur Internet, ne recevez pas d'appels téléphoniques suspects, et avoir des esprits multiples lorsqu’il s’agit d’argent. Des moyens de vérifier l’identité de chacun, comme demander des choses que seuls les autres connaissent.

Comme le dit le vieil adage, attaquer le cœur est la meilleure solution. Une fois que nous comprenons que nous pouvons être trompés, nous ne le serons peut-être pas.

Magie contre magie, l'IA bat l'IA

Sensibiliser à la lutte contre la fraude ne suffit pas. L’incident de la « Room N 2.0 » en Corée du Sud montre une autre forme de deepfake mal. Les gens sont assis à la maison et les pots viennent du ciel.

Les victimes de fausses photos de nus peuvent être confrontées à du « porno de vengeance » : les auteurs menacent de diffuser des documents profondément contrefaits pour faire chanter et harceler les victimes, causant ainsi un préjudice secondaire plus grave.

Mais cette faucille peut aussi être brandie au-dessus de nos têtes : imaginez que le gang des fraudeurs récupère vos photos de nulle part, les combine en vidéos vulgaires, vous envoie des SMS pour vous menacer, et si vous ne transférez pas l'argent, il sera exposé. partout sur Internet. Comment faire vos preuves ?

Ruilai Wisdom, où travaille Chen Peng, a en effet rencontré ce genre d'affaires personnelles. L'autre partie a dit que son visage avait été changé dans une vidéo, et pourrait-il être innocenté ?

Bien sûr, il existe des moyens : la magie contre la magie, l'IA battant l'IA.

Chen Peng a expliqué qu'il existe deux principales voies techniques pour la contrefaçon de l'IA : la défense active et la détection passive.

Parlons d’abord de défense active. Lorsque nous publions des photos sur les réseaux sociaux et que nous ne voulons pas qu’elles soient utilisées par d’autres, nous pouvons y intégrer un bruit visuellement imperceptible.

Si quelqu'un d'autre utilise nos photos pour entraîner le modèle, l'IA ne pourra pas bien extraire la représentation visuelle en raison de cette interférence invisible, et le résultat final peut être déformé ou flou. C'est ce qu'on appelle une « attaque d'échantillon contradictoire ». "

Le « filigrane semi-vulnérable » est une autre méthode de défense active. Après avoir ajouté un filigrane, si quelqu'un d'autre modifie notre photo, le filigrane sera détruit et nous saurons que l'image a été traitée et n'est pas digne de confiance.

Les filigranes ne peuvent pas directement empêcher les images d’être deepfake, mais ils peuvent détecter et certifier l’authenticité des images.

Bien entendu, le seuil de défense active est plus élevé, nous devons donc prendre des précautions avant qu’elles ne se produisent et effectuer un traitement sur les images à l’avance.

Une situation plus courante est que nous n'avons aucun moyen de le prédire. Nous recevons des « photos nues » de nous-mêmes, mais c'est aussi la première fois que nous sommes « francs » avec nous-mêmes. À ce stade, la détection passive doit être utilisée.

Realai Intelligence propose une série de produits d'IA chargés de détecter la contrefaçon, notamment la plate-forme générative de détection de contenu d'IA DeepReal, le pare-feu de sécurité Face AI RealGuard, etc.

Pour faire simple, l'utilisation de l'IA pour identifier l'IA est divisée en deux étapes : premièrement, extraire un grand nombre de caractéristiques de contrefaçon, puis modéliser sur la base de ces échantillons pour permettre à l'IA d'apprendre les règles d'identification de la contrefaçon.

Les couleurs déformées, les textures déraisonnables, les expressions non naturelles, l'audio et la vidéo désynchronisés, les formes irrégulières de l'iris et les reflets incohérents des deux élèves sont autant de matériaux d'apprentissage pour l'IA.

Parmi eux, la précision de la contrefaçon vidéo peut être supérieure à celle des images, car la vidéo consiste en une série d'images continues, qui fournissent plus d'informations pouvant être utilisées pour la contrefaçon qu'une seule image, comme l'apparition d'un personnage entre différents cadres. continuité de l’action.

Essentiellement, la contrefaçon de l’IA revient un peu à utiliser les yeux humains pour trouver des défauts, et elle exploite également les défauts du modèle d’IA lui-même.

Mais les défauts vont certainement s'améliorer progressivement, d'où une question très critique qui se pose : y a-t-il d'abord une contrefaçon, puis une authentification ? Si tel est le cas, la contrefaçon n’aurait-elle pas toujours un demi-pas de retard sur la contrefaçon ?

Chen Peng a répondu que la technologie générée est peut-être légèrement en avance sur la technologie de contrefaçon, mais qu'ils disposent d'un laboratoire interne d'attaque et de défense rouge-bleu pour simuler Deepfake tout en se défendant contre Deepfake, et améliorent constamment les capacités de détection de Deepfake.

Si une nouvelle technologie Deepfake apparaît, ils peuvent la reproduire rapidement, puis la vérifier sur le produit de détection. « Lorsqu'une nouvelle technologie apparaît, même si je ne l'ai pas vue, je peux toujours la détecter dans une certaine mesure.

De plus, le modèle lui-même a également une certaine capacité de généralisation. Il a vu de nombreux contenus Deepfake et peut les identifier et les détecter avec précision dans une certaine mesure s'il en rencontre des invisibles.

En bref, la détection de la contrefaçon et de la contrefaçon par l'IA est un « jeu du chat et de la souris » de confrontation à long terme et de concurrence mutuelle.

C’est pourquoi Chen Peng étudie les algorithmes de contrefaçon de l’IA :

L'anti-Deepfake est trop conflictuel et nécessite un investissement à long terme. Contrairement à de nombreux produits d'IA, vous pouvez l'oublier une fois terminé.

Malgré cela, il reste relativement optimiste : « Utilisez les lois et les réglementations pour superviser, les plateformes gèrent les contenus, l'industrie fournit des technologies et des outils, et les médias sensibilisent davantage aux risques. ce sera certainement un assouplissement. »

À l'avenir, en surfant sur Internet, nous pourrions tomber dans un scénario quelque peu absurde : le code de vérification permet de prouver "Je suis un être humain", et Deepfake permet de prouver "Je ne suis pas moi".

La technologie ne peut pas détecter complètement toutes les intentions malveillantes, mais les humains n’ont pas besoin d’être trop inquiets. Le succès de Deepfake n’est que le résultat final, mais la prévention de Deepfake peut commencer à tout moment.

Comme l'a dit Chen Peng, même un produit d'IA très simple est un projet très systématique.

Nous faisons partie d'un système plus vaste. Laissons les blessés s'exprimer, laissons les coupables être punis, laissons intervenir la technologie qui empêche les actes pervers et laissons le concept de la société s'améliorer d'un pouce. utilisation équitable du futur.

# Bienvenue pour suivre le compte public officiel WeChat d'aifaner : aifaner (ID WeChat : ifanr). Un contenu plus passionnant vous sera fourni dès que possible.

Ai Faner | Lien original · Voir les commentaires · Sina Weibo