La malédiction de la voix off de l’IA de Lei Jun est devenue virale sur Douyin. J’étais en colère et attentif à la nouvelle ère de prolifération des Deepfakes.

Excusez-moi, j'ai passé 7 jours de vacances et j'ai été réprimandé par AI avec la voix de Lei Jun pendant 6 jours.

Lei Jun lui-même a été abattu innocemment, et les blogueurs tâtaient le terrain sur le point d'enfreindre la loi ou l'enfreignaient déjà. Les internautes ont brièvement observé l'excitation, puis sont retournés à leur poste de travail, stupéfaits et incapables de reprendre le dessus. Machette de 40 mètres à la main.

Le clonage vocal n’a rien de nouveau, mais les conséquences de sa prolifération commencent tout juste à se faire jour.

Ce n’est pas qu’une blague, cette fois l’IA a un peu dépassé les résultats

Récemment, il y a eu de nombreuses vidéos de « Lei Jun maudissant » sur Douyin et Bilibili. En fait, les internautes ont utilisé l'IA pour cloner la voix de Lei Jun, et les routines de rédaction sont également très similaires.

Au début, il a exprimé directement ses sentiments et a déclaré son identité : « Bonjour à tous, je suis Lei Jun.

Il n'y a pas de sujets tabous, je me sens mal de jouer au basket-ball, au mahjong et aux jeux. Je ne sais pas comment se terminent les vacances. Ils utilisent tous AI Lei Jun pour se plaindre et critiquer. image de marque, comme regarder des films pornographiques sur les téléphones mobiles Xiaomi.

Il a un ton doux mais des jurons constants, ce qui contraste avec Lei Jun lui-même. Il parle de moi comme d'un vieil homme et d'une bête, salue les mères des autres et lance même des rumeurs et des menaces, prétendant contrôler à distance les téléphones portables Xiaomi. pour s'autodétruire et frapper les gens avec Xiaomi Su7.

Il y a aussi des internautes avec des idées étonnantes qui ont utilisé l'IA pour simuler la réponse de Lei Jun. Le style de peinture précédent est normal, clarifiant les faits, louant le talent de l'internaute et demandant à chacun de faire attention à distinguer, tout comme ce que dirait Lei Jun : le rebondissement dans la seconde moitié est difficile à voir sur la photo, continuez Le parfum sort de votre bouche et prend les gens au dépourvu.

Lei Jun lui-même savait déjà qu'il avait été victime d'une farce de l'IA. Interrogé par les internautes dans la zone de commentaires de Weibo sur l'ordre de verrouillage du Xiaomi su7, il a répondu avec trois emojis aux couleurs émotionnelles fortes.

L'image de Lei Jun a toujours été relativement accessible, et cela ne le dérange pas de se moquer de lui-même. Lorsqu'il a rejoint Station B, il a chanté sa célèbre chanson "Are you OK". Xiaomi a même lancé des périphériques avec Are you OK hand, mais la nature. de cette époque est évidemment différent. Trop pareil.

Il n’est pas conseillé de se moquer des blagues, d’être trop vulgaire ou même malveillant.

Ces vidéos non seulement ne soulignent pas qu'il s'agit d'IA, mais déclarent également qu'il s'agit de Lei Jun et utilisent de vraies photos pour les images. Elles sont en effet sur le point de porter atteinte aux droits de réputation et aux droits de portrait par rapport à l'IA, que ce soit Stefanie. Le soleil se lève, c'est plus clair.

Le service juridique de Xiaomi a fait son travail. Actuellement, lors de la recherche de "Doublage Lei Jun AI" sur Douyin, il n'y a plus de gros mots, de rumeurs ou de jurons.

La violation de l’IA est encore une nouveauté, mais il y a des leçons à tirer du passé.

En avril de cette année, le verdict en première instance du premier « cas d'infraction à la voix de l'IA » du pays a été prononcé, identifiant clairement l'étendue de la protection des droits et des intérêts des voix des personnes physiques sous prétexte qu'elles sont identifiables. Accessible aux sons générés par l'IA.

Il y a un concept clé ici, qu'est-ce que la reconnaissabilité ? Outre l'utilisation du son, cette affaire d'infraction mentionnait également un critère terre-à-terre : si les auditeurs ordinaires du domaine concerné peuvent le reconnaître.

Étendu au doublage IA de Lei Jun, cette norme devrait également s'appliquer. Bien que le contenu de nombreuses vidéos ne ressemble pas au style de Lei Jun à première vue, les voix sont en effet similaires à celles de Lei Jun lui-même.

En bref, Internet n’est pas un lieu hors la loi et l’IA ne peut échapper au pouvoir de Skynet. Ne parlez pas de neutralité technologique, ce sont les humains qui utilisent les outils qui devraient en porter la responsabilité.

La contrefaçon est facile, mais avez-vous réfléchi à la manière de résoudre le problème ?

La diffusion à grande échelle de la voix d’AI Lei Jun illustre également le fait que le clonage des voix devient de plus en plus facile. Même si l’équipe de protection des droits a pris des mesures, les réseaux sociaux sont en effervescence depuis un certain temps.

Contrairement à l'époque où l'IA Stefanie Sun était invitée à chanter, le modèle de formation SoVITS était nécessaire, qui était un peu professionnel et testait les performances de l'équipement. Désormais, si vous demandez à quelqu'un de dire quelque chose, il peut être généré directement. sur le site Web en temps quasi réel.

Il y a quelque temps, Three Sheep, la principale société de diffusion en direct, n'était pas encore sortie de la "Mooncake Gate" et est tombée dans la "Recording Gate". Une fois le cercueil finalisé, l'IA était également à blâmer.

Le contenu d'un enregistrement soupçonné d'être un dirigeant de Three Sheep a été révélé. Le contenu a abaissé la limite et a impliqué de nombreux dirigeants et présentateurs. Cependant, selon l'enquête de la police, le contenu audio était faux et a été falsifié à l'aide de l'IA. Pendant un certain temps, les gens ne pouvaient pas croire que l'IA était si puissante qu'elle pouvait faire des remarques ivres et s'envoyer dans la colonne juridique.

Si vous n'y croyez pas, j'ai simplement essayé un site Web de clonage vocal. Vous pouvez l'utiliser en enregistrant votre adresse e-mail. Lei Jun AI Voice est l'une des options les plus populaires.

Bien que l'effet généré présente quelques défauts, notamment le bruit et la déglutition, et que la qualité du son soit similaire à celle provenant de l'autre extrémité du téléphone, il est généré presque en temps réel, gratuitement dans les 500 mots, et le ton et l'intonation sont relativement naturels. . De quoi d'autre avez-vous besoin pour un vélo ?

Le Dr Chen Peng, scientifique en algorithme intelligent de Ruilai, a déclaré à l'APPSO qu'il fallait auparavant plusieurs minutes ou dizaines de minutes pour capturer nos informations d'empreinte vocale, mais qu'aujourd'hui, elles peuvent être capturées grossièrement en une demi-minute ou des dizaines de secondes. Si nous recevons encore quelques appels harcelants, nos voix pourraient être divulguées.

Cependant, si vous souhaitez cloner avec plus de précision et copier le ton et d'autres styles de parole, comme laisser Guo Degang parler anglais et Swift Swift parler chinois, davantage de corpus est encore nécessaire.

Mais quand il s’agit de corpus, les célébrités ne manquent pas. Des incidents de fraude vocale par l’IA se sont également produits à l’étranger, et l’idée a même visé le président.

Plus tôt cette année, les habitants du New Hampshire ont reçu un appel vocal automatisé de Biden et on leur a dit de ne pas voter aux primaires de l'État. En fait, l'audio a été falsifié à l'aide de l'outil d'IA ElevenLabs dans le but d'interférer avec l'élection.

Quelques jours après l'incident, ElevenLabs a bloqué le compte de l'initiateur. L'utilisateur a admis qu'il lui avait fallu moins de 20 minutes et 1 $ pour cloner la voix de Biden.

ElevenLabs a également pris certaines mesures préventives à cet effet, notamment « No-Go Voices », qui interdit aux utilisateurs de télécharger ou de cloner les voix de certaines célébrités et hommes politiques.

Cependant, ce n’est pas monolithique. En mars de cette année, un journaliste du média 404 a découvert qu’il était possible de contourner les règles et de cloner les voix de Trump et de Biden en ajoutant simplement une minute de silence au début du fichier téléchargé.

Vous pouvez également utiliser la magie pour vaincre la magie, mais les logiciels de détection de l’IA ont souvent des problèmes avec l’audio généré par l’IA.

Les journalistes de NPR ont testé trois logiciels de détection, et les résultats n'étaient pas optimistes. 84 échantillons ont été soumis. Le logiciel le plus performant s'est trompé sur 3 questions, le second a eu 20 questions erronées et l'autre avait un taux d'exactitude d'environ 50 % seulement. .

Il existe un autre phénomène très intéressant dans l'incident vocal d'AI ​​Lei Jun : en plus d'appeler le service juridique en ligne, certains internautes ont également demandé : comment se fait-il que la plateforme permette à ce type de contenu de devenir populaire sans le contrôler ?

Les « Mesures d'étiquetage du contenu synthétique généré par l'intelligence artificielle (projet pour commentaires) » publiées par l'Administration chinoise du cyberespace en septembre proposaient que des étiquettes explicites et implicites soient ajoutées au contenu synthétique généré par l'IA. Les premières peuvent être clairement perçues. tandis que ce dernier est ajouté au milieu des métadonnées.

Parmi elles, quelles responsabilités doit assumer la plateforme qui diffuse du contenu ?

La première consiste à vérifier si les métadonnées ont un identifiant implicite, et si c'est le cas, un rappel visible doit être ajouté ; la seconde est que l'identifiant implicite n'est pas vérifié, mais l'utilisateur déclare qu'il s'agit d'un contenu d'IA, un rappel doit également être ajouté ; ajouté ; le troisième est qu'il n'y a pas d'identifiant implicite. L'utilisateur n'a pas non plus déclaré que la plateforme avait détecté des traces d'IA et devait ajouter un rappel.

Cette farce est un exemple. L'utilisateur n'a pas fait d'auto-déclaration et la détection de la plateforme n'était pas en place. Certaines vidéos rappelaient sous le titre que « la technologie de génération d'IA est suspectée d'être utilisée, veuillez vérifier attentivement », mais certains n’ont pas été détectés.

Plus tôt cette année, les images pornographiques falsifiées par AI de Taylor Swift étaient un incident typique de célébrités blessées par AI, ce qui reflétait également le retard dans les mesures correctives.

L’une des images a survécu sur X pendant 17 heures et a été visionnée 47 millions de fois avant d’être supprimée.

Les réseaux sociaux tels que X et Instagram, en plus de supprimer des photos, n'autorisaient autrefois pas les recherches sur Swift ou émettaient des avertissements lors de la recherche. Les fans détestent le fait que le fer ne puisse pas devenir de l'acier, alors ils « massacrent la place » spontanément et utilisent de vraies photos pour protéger leurs idoles.

Plus la technologie de l’IA est largement utilisée, plus il devient difficile d’empêcher les abus.

Le « pape de la mode » qui portait une doudoune et a été généré à l'aide de Midjourney a fait des images et des faits une chose du passé. Il en va de même pour les sons, les vidéos et les scènes.

La chose la plus terrifiante à laquelle il faut penser est qu’à mesure que la technologie progresse, l’IA peut « reproduire » des individus présentant certaines caractéristiques biologiques qui se rapprochent de plus en plus de la réalité.

Nos visages et nos informations personnelles sont divulgués. Dans le même temps, le style de peinture et le son, ces choses et techniques apparemment uniques qui avaient autrefois un seuil, ont également été imités par l'IA, ce qui suffit à tromper les gens ordinaires.

Aujourd’hui, en plus d’utiliser des moyens techniques et juridiques, nous devrons peut-être nous demander s’il ne devrait pas y avoir un certain consensus moral. Un gentleman a quelque chose à faire et quelque chose à ne pas faire. Ne faites pas aux autres ce que vous ne voudriez pas qu’on vous fasse.

Lorsque nous allons en ligne, il est préférable de ne pas supposer que tout est vrai, et encore moins d’être l’initiateur du franchissement de la ligne. Nous ne regardons pas seulement l’eau depuis le rivage, nous sommes aussi un petit bateau au-dessus.

# Bienvenue pour suivre le compte public officiel WeChat d'aifaner : aifaner (ID WeChat : ifanr). Un contenu plus passionnant vous sera fourni dès que possible.

Ai Faner | Lien original · Voir les commentaires · Sina Weibo