Défier Sora ! Adobe lance un artefact vidéo AI, une vidéo P en une phrase

Hibou Gourou

Le domaine de la vidéo IA a été extrêmement animé ces derniers temps, et Adobe vient de rejoindre la mêlée.

Lors de la conférence Adobe Max de cette année, Adobe a officiellement lancé son propre modèle vidéo d'IA, Firefly Video Model, entrant ainsi dans le domaine de l'intelligence artificielle générative.

Meagan Keane, responsable du marketing produit chez Adobe, a déclaré que le lancement de Firefly Video Model est conçu pour simplifier et accélérer la création vidéo et augmenter les capacités de narration de la vidéo. En résumé, ce modèle contient trois fonctionnalités intéressantes et pratiques :

  • Extension générative
  • Texte vers vidéo (Vidéo Wensheng)
  • Image vers vidéo (图生视频)

Parmi eux, Generative Extend a été intégré à Premiere Pro, un logiciel de montage vidéo professionnel développé par Adobe ; Text-to-Video et Image-to-Video viennent de lancer des versions bêta dans l'application Web Firefly.

Comme son nom l'indique, si le clip vidéo que vous avez tourné est trop court ou s'il manque certaines parties, Generative Extend peut vous aider à effectuer une « extension générative » au début ou à la fin du clip vidéo.

Autrement dit, si le plan requis n'est pas disponible ou si un plan est coupé trop tôt ou trop tard, l'éditeur n'a qu'à faire glisser le début ou la fin du clip vidéo, et Generative Extend peut automatiquement remplir le contenu génératif pour conserver le contenu génératif. vidéo cohérente et fluide.

▲Démonstration de la fonction d'extension vidéo générative de Generative Extend (Source image : Adobe)

Cela signifie que si le créateur de la vidéo obtient un « plan perdu » pendant le processus de tournage, il n'aura peut-être plus besoin de revenir à l'emplacement d'origine pour filmer à nouveau, mais pourra utiliser Generative Extend pour agrandir et réparer directement le clip d'origine.

Dans une certaine mesure, cela contribue à améliorer l'efficacité de la création vidéo, bien sûr, lorsque la qualité des clips étendus par Generative Extend est excellente.

Malheureusement, la fonctionnalité est actuellement limitée à une résolution maximale de 1080p et les clips ne peuvent être prolongés que de deux secondes maximum.

Par conséquent, Generative Extend ne convient que pour apporter des ajustements mineurs aux clips vidéo, c'est-à-dire qu'il ne peut aider les utilisateurs qu'à réparer certains détails, mais il ne peut pas remplacer les créateurs eux-mêmes pour des créations à grande échelle.

Generative Extend peut également aider les utilisateurs à effectuer des ajustements pendant la prise de vue, en corrigeant les déplacements de vue ou d'autres mouvements inattendus pendant la prise de vue.

En plus de la vidéo, Generative Extend peut également être utilisé pour un montage audio fluide. Il peut prolonger les sons de fond ambiants d'une vidéo jusqu'à dix secondes, mais pas les dialogues ou la musique.

▲Illustration de la fonction d'extension audio de Generative Extend (Source image : Adobe)

Si vous souhaitez économiser des efforts lors du processus de création vidéo, vous pouvez utiliser la fonction Text-to-Video pour la générer directement. Comme ses "anciens prédécesseurs" Runway et Sora d'OpenAI, les utilisateurs n'ont qu'à saisir une description textuelle de la vidéo qu'ils souhaitent générer, et il peut simuler différents styles tels que "film réel", "animation 3D" et "animation stop motion". Générez les clips vidéo correspondants.

Voici quelques clips vidéo générés à l’aide de la fonction Text-to-Video pour vous donner une idée :

▲Texte de l'astuce : le drone du film survole le vaste paysage martien rouge lorsqu'il vole au-dessous de nous et l'horizon est rouge lorsque le soleil se lève. A la fin du plan, le soleil se lève au-dessus de l'horizon. (Source de l'image : Adobe)

▲Texte rapide : Gros plan du film et détails du portrait d'un vieil homme au milieu de la rue la nuit. L'atmosphère lumineuse est terne et dramatique. La qualité de couleur est constituée d'ombres bleues et de reflets orange. L’homme a des textures de peau extrêmement réalistes et des pores visibles. Les mouvements sont subtils et doux. La caméra ne bouge pas. Grains de film. Ancien objectif anamorphique. (Source de l'image : Adobe)

▲Texte de l'astuce : Une perspective prise à l'intérieur d'un magnifique patio pastel au Mexique. L'eau est claire et bleue, scintillante sous le soleil du soir. Les couleurs sont chaudes et féériques dans un style féérique. Sensation cinématographique de haute qualité. (Source de l'image : Adobe)

En plus des images visuelles réalistes, semblables à celles d'un film, Text-to-Video prend également en charge la génération de certaines images « abstraites ». Par exemple, il peut être utilisé pour générer des vidéos incluant des éléments tels que le feu, l'eau, les fuites de lumière et la fumée, et les superposer sur des vidéos existantes pour ajouter de la profondeur visuelle et de l'intérêt au contenu existant.

▲ Texte de l'astuce : fuite de lumière de film sur fond noir, texture organique, réaliste. (Source de l'image : Adobe)

▲Clips vidéo générés en combinant la vidéo ci-dessus avec des vidéos existantes (Source image : Adobe)

Il convient de mentionner que les clips vidéo générés avec Text-to-Video peuvent également être affinés à l'aide d'une série de « commandes de caméra » qui peuvent simuler des angles de caméra réels, des mouvements, une distance de prise de vue, etc.

▲Options de contrôle de la caméra (Source de l'image : Adobe)

La fonction Image-to-Video va encore plus loin, permettant aux utilisateurs d'ajouter des « images de référence » pendant le processus de création vidéo pour générer des vidéos plus proches de l'imagination de l'utilisateur.

Les créateurs de vidéos peuvent partir d'une image et d'une photo et utiliser la fonction Image-to-Video pour créer directement un « B-roll » (un terme de production cinématographique et vidéo qui fait référence à la vidéo auxiliaire en plus du contenu principal du tournage (A- rouleau) matériau).

Les utilisateurs peuvent également créer des gros plans complets en téléchargeant des images individuelles de vidéo et en demandant à Image-to-Video de remplir automatiquement les images manquantes.

▲Texte d'invite : les fleurs se balançaient dans le vent et un magnifique papillon s'est posé sur l'une des fleurs. (Source de l'image : Adobe)

"Comme nous le savons tous, les vidéos ne peuvent pas être éditées, elles doivent donc être vraies."

Cependant, la fonction « cyber-remake » d’Image-to-Video fait directement de cette phrase une chose du passé. C'est comme une « main de Dieu » qui permet aux utilisateurs d'opérer et de modifier directement le contenu vidéo (mouvements des personnages dans la vidéo, etc.). Prenons l'exemple suivant :

▲ Clip vidéo original (Source photo : Adobe)

▲Clip vidéo modifié, texte d'invite : la main gantée d'un astronaute entre dans le cadre et débranche l'un des câbles jaunes, donnant une sensation cinématographique. (Source de l'image : Adobe)

Actuellement, les fonctions Text-to-Video et Image-to-Video génèrent des clips vidéo d'une durée maximale de seulement cinq secondes et d'une qualité allant jusqu'à 720p et 24 images par seconde. Le temps de génération vidéo est d'environ 90 secondes et Adobe développe le « Mode Turbo » pour raccourcir ce temps.

Le manque de qualité de génération vidéo montre que les utilisateurs ne peuvent pas encore utiliser Firefly Video Model pour générer un film complet et qu'il ne peut être utilisé que comme outil auxiliaire de création pour le moment.

Adobe souligne que Firefly Video Model entraînera le modèle uniquement sur le contenu sous licence (tel qu'Adobe Stock) et le contenu du domaine public, et non sur le contenu fourni par le client.

De plus, les vidéos créées ou éditées à l'aide de Firefly Video Model peuvent intégrer des certificats de contenu, conçus pour fournir une preuve d'attribution aux créateurs et aux sources de contenu, et aider à déclarer l'utilisation de l'IA et les droits de propriété pour garantir la « sécurité commerciale ».

Les lecteurs intéressés peuvent rejoindre la liste d’attente de l’expérience Adobe Firefly Video Model en cliquant sur le lien suivant :
https://www.adobe.com/products/firefly/features/ai-video-generator.html

# Bienvenue pour suivre le compte public officiel WeChat d'Aifaner : Aifaner (ID WeChat : ifanr). Un contenu plus passionnant vous sera fourni dès que possible.

Ai Faner | Lien original · Voir les commentaires · Sina Weibo