Un programmeur devenu réalisateur de courts métrages en IA a mis trois mois pour remporter la médaille d’or lors d’un festival international du film. Nouveau talent en IA

Comment une œuvre d’IA produite par des professionnels du cinéma et de la télévision peut-elle se démarquer face à la concurrence des courts métrages ordinaires ?

En février 2023, Jim, programmeur dans l’industrie du jeu, est devenu artiste IA.

En décembre 2024, le court métrage d'animation IA de Jim « Ghost Diet » a remporté le Gold Award du meilleur court métrage d'animation aux Independent Shorts Awards.

Il s'agit d'un festival international de courts métrages influent dans l'industrie cinématographique indépendante. Il n'est pas spécifiquement conçu pour les œuvres d'IA, il revêt donc une grande importance pour Jim "Je suis heureux que les juges puissent ignorer le label IA et se concentrer sur l'IA. l'histoire elle-même." .

Jim était responsable de la majeure partie de la création de "Ghost Diet". Le film dure 10 minutes et compte un total de 242 plans. Il a fallu près de trois mois et au moins 200 heures de travail, en moyenne plus de 2 heures. un jour.

Après 90 jours de création, Jim semblait lutter contre l'intelligence et le courage de l'IA, approchant les limites de l'IA et contournant ses limites. Lorsque les internautes ont déploré après avoir regardé "Ghost Diet" que "l'IA a déjà commencé à travailler sur l'animation", Jim a répondu : "L'IA est pilotée par les créateurs pour créer de l'animation".

3 mois, 10 minutes

"Ghost Diet" est un film policier noir, qui était un genre important à Hollywood au siècle dernier. En même temps, son histoire est localisée. Le terme "Ghost Diet" vient de la région du sud-ouest et fait référence à des collations qui existent encore. ouvert dans les rues tôt le matin.

Le protagoniste Xu Xia est un jeune homme qui mange dans la rue tard le soir. Afin de soigner son père, il a dû faire des choix injustes, mais il a également conservé un résultat intouchable. Finalement, il se retrouve impliqué dans la violence et le meurtre, piégé par les mains du destin.

Plutôt que « animation IA », il peut être plus approprié de décrire « régime fantôme » comme « animation produite par des outils d’IA ».

L'IA est responsable de la génération des images, et le reste, y compris les scripts, le montage, le doublage, la musique, les effets sonores, etc., est effectué manuellement. Le texte sur l'image a également été ajouté plus tard.

Rien qu'en termes de graphismes, Jim est un "genre purement généré par l'IA". "Ghost Diet" n'a pas de rendus réels et s'appuie principalement sur des images et des vidéos. Les images sont générées par Midjourney et les vidéos sont générées. par Keling, Pika, Jimeng, PixVerse et Runway.

La génération de l’IA est incertaine, mais son utilisation pour raconter des histoires cohérentes doit être stable. Depuis le début de la conception des personnages, Jim a réfléchi à la manière d'assurer la cohérence des personnages.

Lors de la conception de personnages, Jim a deux principes. Premièrement, l’image globale est concise et l’apparence peut être décrite avec quelques mots-clés. La seconde est qu'il comporte des éléments emblématiques. Même s'il n'est pas complètement cohérent avant et après, il est hautement reconnaissable et peut être reconnu par le public d'un seul coup d'œil.

Les plus représentatives sont Wang Ge et Li Jiajia. Wang Ge est chauve, porte des vêtements de sport et des lunettes de soleil. Li Jiajia ressemble à une fille rétro des années 1990, vêtue d'une robe rouge et de cheveux ondulés.

M. Zhu, apparemment doux, porte des lunettes, un costume et pas de barbe. Il ne semble pas avoir de caractéristiques différentes de celles des gens ordinaires. C'est le personnage que Jim a le plus répété.

Jim a découvert que l'IA peut facilement générer des personnages au tempérament « vieil argent ». Il est difficile pour l'IA de mesurer les entrepreneurs individuels comme M. Zhu, qui sont riches mais pas une élite, dangereux mais pas un gangster.

« Action en direct, mais avec un filtre d'animation », voilà comment Jim décrit son style d'animation. Le public peut imaginer ce que ce serait si le spectacle était joué par une personne réelle.

Une fois chaque personnage déterminé grâce à la méthode de dessin de Vincent, la photo de maquillage finale du film sera créée. Jim a ensuite utilisé ces images comme matériau pour générer davantage d'images en complétant les images et en écrivant des mots d'invite. Les angles et les scènes étaient différents, mais les personnages restaient les mêmes.

Avec suffisamment d'images, il est temps de générer une vidéo. Les vidéos d'IA itèrent rapidement et "Ghost Diet" utilise la version d'août à septembre 2024.

Pour les plans techniquement difficiles, Jim essayait tous les outils vidéo disponibles. Dans le même temps, chaque outil possède également ses propres atouts. Jimeng, Keling et Pika représentent les trois taux d'utilisation les plus élevés.

À cette époque, Ji Meng était doué pour gérer certains plans d'action, Pika était doué pour les plans de scène et les animations parlantes simples, et Ke Ling avait une forte capacité globale. La plupart des plans étaient bons, mais dans certaines circonstances, ils pouvaient être superflus.

Cependant, de nombreux plans de "Ghost Diet" sont encore difficiles à réaliser, même avec les outils d'aujourd'hui. Présentant des résultats relativement naturels, elle est indissociable des méthodes traditionnelles.

Par exemple, pour la synchronisation labiale, lorsque le personnage n'est pas complètement frontal, ni un plan rapproché facile à reconnaître par l'IA, et que les mouvements, les expressions et la caméra sont tous en mouvement, le professeur de doublage doit le doubler. basé sur la synchronisation labiale de la vidéo. Selon Jim, nouvelles fonctionnalités ne signifient pas facilité d'utilisation. L'ancienne méthode « est peut-être un peu lourde, mais elle est fiable ».

niche, diversifié

L'histoire de "Ghost Diet" se déroule dans un comté du sud-ouest et les personnages parlent tous le dialecte du Sichuan avec un accent local. C'est l'intention égoïste de Jim. Le style de peinture de "Ghost Diet" est également très unique. Les internautes qui l'ont regardé ont dit que cela ressemble à un certain épisode de "Love, Death and Robots".

Dans sa propre industrie du jeu vidéo, Jim a vu trop de contenu homogène et éprouvé.

La création basée sur l'IA peut être personnalisée. Les œuvres de haute qualité nécessitent encore que les grandes entreprises investissent beaucoup de ressources, mais Jim voit plus de possibilités dans la production d'une « œuvre de base ».

Depuis qu'il joue à Midjourney, Jim a clairement indiqué qu'il ne voulait pas créer un style « pan-populaire ». Il est un grand utilisateur de Midjourney et connaît le style que l’IA peut facilement générer. En même temps, ce sont aussi ses champs de mines.

Son style préféré est qu’il est difficile de dire de quel genre il s’agit en un coup d’œil, il a un côté rétro, mais ce n’est pas une animation complètement démodée. Bref, c’est « à la fois familier et inédit ».

Pour le style de peinture de "Ghost Diet", Jim s'est inspiré du réalisateur d'animation Masaaki Yuasa et du mangaka Yoshiharu Takushie.

Il a d'abord utilisé la fonction Describe de Midjourney pour comprendre les mots-clés de leur style, puis a continué à écrire des mots rapides et à répéter à plusieurs reprises, essayant de générer des images répondant aux exigences.

La vision du monde de « Ghost Diet » est principalement dérivée des régions et des éléments que Jim connaît bien.

En 2019, Jim a regardé "The Party at Southern Station" réalisé par Diao Yinan et mettant en vedette Hu Ge, et a été profondément choqué "Il a un décor très terre-à-terre, mais l'esthétique et le noyau sont très noirs." Il s’est rendu compte que les films de genre traditionnels n’étaient pas finalisés et qu’il existait encore une nouvelle vitalité basée sur les récits locaux.

En 2021, Jim a commencé à écrire un scénario, et le scénario contenait essentiellement le prototype de "Ghost Diet", comprenant un petit comté, un jeune homme désespéré et un dilemme dans la vie.

En 2023, Jim a commencé à utiliser Midjourney pour apprendre l'art conceptuel de l'IA.

Cependant, avant 2024, Jim n’avait jamais pensé à réaliser un film sur l’IA. Il a appris lui-même la photographie, les scénarios et le langage des objectifs, mais il s'est arrêté là. Video utilise des objectifs pour raconter des histoires, mais il n'a pas encore réussi à créer ses propres plans.

Début 2024, Jim a utilisé un lot des premières vidéos d'IA telles que Pika. Il a soudainement découvert qu'il pouvait enfin piloter l'image pour terminer l'action, ajuster et modifier l'image, et relier les images entre elles pour réaliser un court métrage. . L’envie de créer est devenue plus forte que jamais.

Le matériel est là, puis viennent le montage, les effets sonores, le doublage et la composition. Jim s'enfonce de plus en plus dans le processus de production traditionnel d'un film. Il a essayé et appris en même temps, et a progressivement mis en ligne des œuvres stylisées aux caractéristiques personnelles exceptionnelles sur Station B.

L'autre court métrage de Jim sur l'IA, "Hard Pop Gunner", fait référence au style des bandes dessinées américaines à l'ancienne et à la forme des films muets. Il a ensuite remporté le concours créatif du concours de sollicitation d'images AI lancé par 1905 Movie Network, Bilibili et d'autres. plates-formes Tao's Excellence Award.

L’IA ne peut pas encore renverser le statu quo de nombreux secteurs, riche en actifs, mais pour les petites équipes et les créateurs individuels, le coût de création est devenu acceptable et un contenu diversifié a la possibilité d’être vu par le public.

Jim a déclaré qu'il avait défini le contexte du Sichuan et de Chongqing pour "Ghost Diet" de manière quelque peu "délibérée". Il a prouvé que lors de la création de contenu de niche, il n'est plus nécessaire de trop se soucier de la voix traditionnelle du « trop risqué ».

Restreint, peut également être unique

Le "Ghost Diet" de 10 minutes ne peut pas être considéré comme une longue vidéo sur Bilibili. Mais dans le cercle de l'IA, 10 minutes est une durée rare, sans compter que "Ghost Diet" raconte une histoire complète.

Afin de terminer ces 10 minutes, Jim a presque poussé lui-même et l'IA jusqu'à la limite.

La scène d'action dans le restaurant hot pot dans "Ghost Diet" a coûté beaucoup de réflexion à Jim. Chaque plan a été conçu, mais l'effet final n'était que de moins de 40 %.

Jim a admis que les scènes de combat de l'IA n'étaient vraiment pas bonnes, il n'y avait aucune sensation de frappe et cela ne suivait pas la logique de la physique. C'était comme frapper dans les airs. Non seulement les scènes de combat, mais aussi les scènes avec des mouvements légèrement plus importants, comme se pincer le cou, lancer des marteaux et frapper avec des pierres, sont toutes difficiles à réaliser avec l'IA.

D'après l'expérience de Jim, si vous devez concevoir une scène d'action pour l'IA, n'utilisez pas d'armes blanches, mais utilisez des armes à feu. Au moins, l'IA peut tirer. Il a également utilisé cette technique "Je voudrais remercier. les vieux films de Hong Kong pour m'avoir sauvé."

Si les vrais acteurs ne sont pas doués pour jouer, ils peuvent également utiliser des substituts, mais les expressions vives sont la compétence de base d'un acteur. Cependant, c’est aussi un point faible de l’IA, soit en utilisant trop de force, soit en ne montrant aucune expression.

En octobre 2024, Runway a lancé la fonction Act-One, qui permet aux personnages IA de créer les mêmes expressions à partir de vidéos de performances réelles. Jim pense que c'est le signe que si de plus en plus de produits lancent des fonctions similaires, cela signifie que l'IA a effectivement un goulot d'étranglement en termes de performances.

Les personnages de "Ghost Diet" apparaissent souvent en gros plans et en demi-métrages, cachant une autre faiblesse de l'IA : les plans multi-sujets. Lorsque Jim concevait les plans, il essayait d'éviter les plans à plusieurs personnes car il n'avait pas encore trouvé de bonne solution.

Même si vous générez simplement des images dans Midjourney, si plus de 2 caractères sont générés, il y aura probablement des problèmes avec les visages. Si vous le mettez dans une vidéo IA pour interagir, la scène deviendra encore plus chaotique.

Les images générées par l'IA sont très restrictives, donc dans un stade ultérieur, Jim utilisera des gros plans, des prises de vue symboliques, un montage rapide et d'autres techniques pour compenser les déficiences visuelles. Les images d'animaux récurrentes dans "Ghost Diet" en sont un exemple. .

Les métaphores et les techniques symboliques sont également couramment utilisées dans certains films noirs américains à l'ancienne. Dans les années 1940 et 1950, la technologie était insuffisante et des réglementations telles que le Code Hays limitaient l'expression d'images violentes. La situation est quelque peu similaire à celle des vidéos IA. 2024.

Les échos après des décennies ont rendu Jim très intéressant : "C'est peut-être une méthode un peu dépassée, mais elle fonctionne très bien lorsqu'elle est intégrée dans des films d'IA."

Mais le public est honnête et fera des commentaires tels que « PPT fluide lié entre eux » et « animation dynamique améliorée ». Jim l'a accepté, c'est pourquoi il a choisi de réaliser des animations IA.

Comparée au style d'action en direct avec une peau lisse et des mouvements étranges, l'animation au moins "ne fera pas penser au public, wow, votre truc est trop faux". Les mouvements des personnages sont un peu ternes et raides, et sont plus acceptables dans des animations qui ne sont pas basées sur la réalité.

Ne recherchez pas aveuglément la longueur, mais veillez d’abord à la qualité. Dans une certaine mesure, c’est parce que la cible de Jim, ce sont les films ordinaires. Il s'est inscrit aux Independent Shorts Awards, un concours non-IA, pour que les juges ignorent le label IA et se concentrent sur l'histoire elle-même.

Jim espère qu'en regardant ses œuvres, le public pourra se rendre compte de l'existence de l'IA, mais pas de l'IA, et ne pas faire preuve de tolérance dans le système d'évaluation des films sur l'IA. "La communauté de l'IA est trop amicale. C'est très inconfortable. entendre des mots durs. "C'est nécessaire."

Continuez à créer et à vaincre l'anxiété

Il est toujours écrit dans l'actualité d'IA que "le ciel change du jour au lendemain". Il a fallu 3 mois pour créer un court métrage, ce qui est déjà long.

L'IA s'améliore chaque jour. En 2023, Jim peut encore suivre les informations quotidiennes de l'IA, mais à partir de début 2024, il ne sera plus possible d'appréhender les points chauds. Il peut aussi être anxieux, mais pas aveuglément comme beaucoup de gens.

Même si la technologie est puissante, il reste encore beaucoup de travail à accomplir par les humains eux-mêmes. Ce qui est difficile et intéressant dans la création, c’est que certains problèmes doivent être résolus par le créateur lui-même.

Dans "The Party at Southern Station", il y avait une scène de fusillade qui a profondément impressionné Jim : tout le monde dansait sur la place, les policiers en civil portaient des chaussures lumineuses, les criminels tiraient et les policiers les poursuivaient en marchant sur des chaussures lumineuses. du sang, et puis ils tiraient aussi avec une arme à feu.

Le contraste entre nervosité et enjouement a ému Jim. Sans cette scène, quand tout le monde pense à la danse carrée, leur première réaction serait « ringarde ».

Il estime que dans de nombreux cas, les éléments familiers au public ne sont pas dépassés, mais manquent d'une exploration approfondie de la part des créateurs.

Au contraire, les choses qui ont été soigneusement exprimées par les anciens outils ne peuvent pas être éliminées par les nouvelles technologies.

Les vidéos d'IA ont été mises à jour dans de nombreuses versions, mais Jim n'a pas l'intention de refaire les courts métrages d'IA précédents.

La conception et les compromis de l’ensemble du court métrage étaient basés sur les limites de l’IA de l’époque et étaient autonomes. Avec le recul, après quelques années, il y a encore des aspects intéressants, c'est la valeur de l'œuvre.

L'IA peut aider Jim à réaliser davantage d'expériences similaires et à repenser certaines choses intéressantes. Il n'aime pas laisser l'IA lui donner directement la réponse. Il aime résoudre les problèmes par lui-même et utiliser l'IA comme un outil similaire à une calculatrice.

Plutôt que d'utiliser l'IA pour générer des publicités et des MV, Jim souhaite toujours utiliser l'IA pour raconter des histoires. Pour lui, « l'accent mis sur la narration est l'intention originale de la création cinématographique ».

Il y a quelques années, lorsque Jim a appris lui-même à écrire des scénarios, en plus de lire des livres, il a également insisté pour s'entraîner, écrire les scénarios et les écrire complètement : « Si vous ne le terminez pas, cela ne signifiera rien. beaucoup."

En même temps, il regarde beaucoup de films, regarde constamment de nouveaux films, trie des scènes intéressantes, et regarde aussi les explications et les dessins des autres. Il a dit qu'il "n'a pas de bases solides", mais il a une base relativement solide. grande sensibilité aux images. Il sait relier des objets similaires et sait utiliser le langage de l'objectif pour transmettre avec précision les émotions et les sentiments.

Maintenant, Jim prend une pause, prévoit de partager quelques créations d'IA, de préparer le prochain projet d'IA et de rattraper son retard en cours pour suivre le dernier statut de chaque outil vidéo d'IA. Selon lui, quel que soit le nombre d’outils d’IA, les ressources que chacun peut investir sont égales et ne peuvent être omises. La quantité n’a pas de sens, le plus important est de trouver le chemin qui vous convient.

Dans la zone de commentaires de la station Jim's B, un internaute a décrit ainsi son expérience de visionnage : "Un outil sans âme, une création pleine d'âme". Il a répondu : "Cette phrase est trop lourde."

La meilleure façon de lutter contre l’anxiété est de créer. À l'avenir, Jim ne veut pas supposer ce que l'IA peut faire d'autre et qui elle remplacera. Il préfère croire que la naissance constante de nouvelles œuvres entre ses propres mains constitue un obstacle important pour l'homme.

# Bienvenue pour suivre le compte public officiel WeChat d'Aifaner : Aifaner (ID WeChat : ifanr). Un contenu plus passionnant vous sera fourni dès que possible.

Ai Faner | Lien original · Voir les commentaires · Sina Weibo