Ce générateur vidéo IA est-il l’avenir de l’anime ? Certainement pas

Jusqu'à présent, le Japon a été assez calme pendant le boom de l'IA, mais maintenant, juste après toute la tendance ChatGPTxGhibli , la société japonaise Animon a sorti un générateur vidéo d'IA spécialement pour les anime.

L'outil gratuit prend des images fixes d'anime, de dessin animé ou d'art CG et crée des animations de cinq secondes en fonction de l'invite que vous entrez. La société affirme qu'elle aidera les animateurs professionnels et amateurs à accélérer le processus de création, en ne nécessitant essentiellement qu'une seule image dessinée à la main toutes les cinq secondes de vidéo au lieu de centaines.

Y a-t-il une place pour les outils d’IA dans l’industrie de l’anime ?

Petite confession ici : il se trouve que je suis un véritable nerd d'anime . J'ai regardé des centaines de séries, je visite le Japon presque chaque année, j'y ai travaillé et je parle japonais. Je ne suis pas un expert du processus d'animation, mais je sais à quoi ressemble une bonne et une mauvaise animation.

Même sans l’implication de l’IA, il existe déjà de nombreuses façons de gagner du temps en matière d’animation dans l’industrie de l’anime. Une grande partie du travail est désormais sous-traitée à des studios d'animation coréens, et le temps et l'argent qui y sont consacrés ne cessent de diminuer.

Lorsqu'un studio n'investit pas suffisamment dans son animation, cela affecte les spectacles de deux manières principales : il y a beaucoup moins de mouvement et une baisse notable de la qualité artistique. Les dessins des personnages peuvent être magnifiques sur les affiches promotionnelles, mais les versions dessinées d'une image à l'autre n'ont pas le même niveau de détail ni les bonnes proportions, et dans certains cas, elles semblent même carrément débiles.

J'en ai un malheureux exemple tiré d'une émission que j'aime (un anime de volley-ball populaire appelé Haikyuu ). Les épisodes précédents étaient très bien animés, mais pour une raison quelconque, la qualité a chuté au cours de l'une des saisons suivantes. Voici une image comparant une photo du protagoniste d'un épisode de la première saison à un épisode de la saison quatre.

Pour être clair, certaines émissions ont toujours fière allure, mais une animation de mauvaise qualité peut apparaître à peu près n'importe où, et cela peut certainement être suffisamment mauvais pour faire fuir les téléspectateurs comme moi.

Avec la barre si basse, on pourrait penser que les outils de génération vidéo IA ont réellement une chance dans ce secteur. Cependant, à en juger par le contenu que j'ai reçu d'Animon.ai, je crains que cela ne semble pas être le cas.

À quoi ressemblent les animations générées ?

L'outil fonctionne dans la mesure où il prend l'image que vous lui donnez et la fait bouger pendant cinq secondes, mais c'est à peu près tout ce que vous pouvez garantir. Pour ma première expérience, je lui ai donné un alambic de Jet Black de Cowboy Bebop sur le point de le boire dans un verre de whisky.

Mon message était simplement « Le personnage représenté prend un verre dans le verre de whisky qu'il tient. » La vidéo que j'ai reçue en retour présente quelques défauts.

Premièrement, Jet Black ne boit pas de whisky. Il semble parler et il rapproche le verre de son visage, mais je ne vois rien qui ressemble à une véritable boisson. Cependant, le whisky à l’intérieur du verre semble être très chargé – le verre se remplit et se vide malgré le manque de consommation qui semble se produire. Si vous voulez voir Jet boire en vrai, c'est ici sur YouTube .

Le modèle d'IA a également du mal avec la cicatrice de Jet. L'extrémité inférieure disparaît en quelque sorte, et quand il ouvre les yeux, la cicatrice s'étend directement sur son globe oculaire. Parce que j'ai récupéré l'image d'une vidéo sur la chaîne YouTube de Crunchyroll, elle porte le logo de CR en haut à droite. Dans la vidéo de l’IA, cependant, le texte semble s’être transformé en « Crunchyolo ».

Ensuite, j'ai essayé de lui donner une photo de la scène de danse de Maomao de The Apothecary Diaries , et j'ai obtenu un résultat vraiment bizarre . Contrairement aux mouvements trippants, pâteux et morphing de la vidéo 2D Jet, l’IA m’a donné ce qui ressemblait à un modèle 3D.

Animon.ai est également destiné à fonctionner avec l'art CG, donc je suppose qu'il est logique qu'il puisse générer des modèles 3D , mais j'ai été assez surpris. Même si The Apothecary Diaries utilise beaucoup de modèles 3D pour les bâtiments et les arrière-plans, le personnage a été définitivement dessiné dans le plan que j'ai utilisé.

Quoi qu’il en soit, les vidéos générées semblent nettement plus stables lorsque des modèles 3D sont impliqués. Le mouvement semble moins fluide et le modèle maintient la taille et la forme du personnage plus cohérentes. Je ne voudrais toujours pas le voir dans une série telle quelle, mais c'est sans aucun doute une avancée par rapport au contenu de style 2D qu'il m'a offert.

Cependant, l'argumentaire de vente d'Animon.ai vise à aider les animateurs à gagner du temps en dessinant moins d'images – et cela n'a pas d'importance lorsqu'il s'agit d'animation 3D. C'est déjà rapide et peu coûteux par rapport à la 2D, et cela n'a pas beaucoup de sens de créer un modèle 3D puis d'utiliser un générateur vidéo IA pour l'animer au hasard plutôt que d'utiliser un logiciel d'animation.

Devriez-vous utiliser Animon.ai ?

Si vous ne connaissez rien à l'animation et que vous souhaitez un GIF rapide ou une vidéo à des fins personnelles, cet outil fonctionnera probablement très bien (ou vous fera bien rire sinon). Cependant, il est difficile d’imaginer que des animateurs amateurs ou professionnels y voient une réelle valeur.

Si vous voulez voir de quoi l'outil est capable, la chaîne YouTube Animon a publié une vidéo musicale qui semble être générée à presque 100 % par l'IA – du moins, cela ressemble certainement à cela.

Dans l’ensemble, je pense qu’il y a deux raisons principales pour lesquelles les générateurs vidéo IA ne sont pas prêts pour un vrai travail. L’une est que le mouvement semble trop mauvais, et l’autre est le manque de contrôle que vous avez sur le résultat. En réalité, c’est la même chose que n’importe quel autre outil d’IA générative : ils ne sont tout simplement pas suffisamment cohérents et réactifs pour être fiables. Nous y arriverons probablement un jour, et c'est toujours amusant de jouer avec les premières versions de la technologie, mais ne vous laissez pas tromper par les vendeurs : aucun de ces outils n'est encore prêt pour une utilisation commerciale.