Qui a besoin de Sora quand on a Meta Movie Gen ?

Meta a dévoilé vendredi Movie Gen , son IA vidéo multimodale de troisième vague. Il promet de « produire des vidéos et des sons personnalisés, d'éditer des vidéos existantes et de transformer votre image personnelle en une vidéo unique », tout en surpassant des modèles similaires comme le Gen-3 de Runway, le Kling 1.5 de Kuaishou Technology oule Sora d'OpenAI.

Meta Movie Gen s'appuie sur les travaux antérieurs de la société, d'abord avec ses modèles multimodaux Make-A-Scene , puis avec les modèles de base d'image de Llama. Movie Gen est une collection de tous ces modèles – en particulier la génération vidéo, la génération vidéo personnalisée, le montage vidéo précis et la génération audio – qui améliore le contrôle précis du créateur. "Nous prévoyons que ces modèles permettront divers nouveaux produits susceptibles d'accélérer la créativité", a écrit la société dans son communiqué .

Pour la génération vidéo, Movie Gen s'appuie sur un modèle à paramètres 30B qui produit des clips jusqu'à 16 secondes, mais à une vitesse limitée de 16 images par seconde (fps). "Ces modèles peuvent raisonner sur le mouvement des objets, les interactions sujet-objet et le mouvement de la caméra, et ils peuvent apprendre des mouvements plausibles pour une grande variété de concepts", a déclaré Meta, "ce qui en fait des modèles de pointe dans leur catégorie. » En utilisant ce même modèle, Movie Gen peut créer des vidéos personnalisées pour les créateurs à partir d'images fixes.

Meta utilise une variante de ce modèle de génération vidéo qui utilise à la fois des entrées vidéo et textuelles pour éditer avec précision le contenu qu'il génère. Cela peut affecter à la fois les modifications localisées, telles que l'ajout, la suppression ou le remplacement d'éléments, et les modifications globales, telles que l'application d'un nouveau style cinématographique. Pour générer de l'audio, Movie Gen s'appuie sur un modèle de paramètres 13B distinct qui peut créer jusqu'à 45 secondes d'audio (qu'il s'agisse de bruit de fond ambiant, d'effets sonores ou de partitions instrumentales) tout en synchronisant automatiquement ce contenu avec la vidéo.

Selon le livre blanc de Meta , Movie Gen a systématiquement remporté les tests A/B contre d'autres IA vidéo de pointe, notamment Gen3, Sora et Kling 1.5 dans la catégorie de génération vidéo. Il a également dominé ID-animator pour la génération vidéo personnalisée et Pika Labs Sound Gen pour la génération audio. Il a également battu Gen3 une deuxième fois, en termes de capacités de montage vidéo. Sur la base des vidéos de démonstration que nous avons vues jusqu'à présent, Movie Gen surclasse également de loin le lot actuel de générateurs vidéo gratuits .

La société affirme qu’elle prévoit de « travailler en étroite collaboration avec les cinéastes et les créateurs pour intégrer leurs commentaires » tout en continuant à développer ces modèles, mais n’a pas tardé à souligner qu’elle n’avait pas l’intention de remplacer les créateurs humains par l’IA. "Nous partageons cette recherche parce que nous croyons au pouvoir de cette technologie pour aider les gens à s'exprimer de nouvelles manières et à offrir des opportunités à des personnes qui ne les auraient pas autrement", a écrit la société. "Nous espérons qu'un jour peut-être, chacun aura l'opportunité de donner vie à ses visions artistiques et de créer des vidéos et des fichiers audio haute définition à l'aide de Movie Gen."