Oubliez le text-to-image ; cette IA crée des vidéos à partir de vos invites

Hibou Gourou

Vous avez probablement entendu parler des résultats étonnants obtenus par l'IA text-to-image telles que Dall-E , Stable Diffusion et Midjourney . Comme vous vous en doutez, la révolution est en marche, la prochaine cible étant les outils d'IA texte-vidéo.

Google et Meta ont taquiné leurs capacités de texte en vidéo dans les rapports de recherche de leurs laboratoires d'IA, mais cette technologie de pointe n'a pas été accessible au public. Si vous attendiez avec impatience la chance d'essayer de créer des vidéos entières avec une simple invite d'IA, c'est maintenant votre chance, grâce à QuickVid .

Avant que vos attentes ne montent trop haut, il est important de réaliser que cela n'équivaut pas à générer des milliers d'images fixes à diffusion stable et à les assembler pour créer une vidéo ou à accéder aux systèmes d'IA les plus avancés au monde pour une véritable génération de vidéo. Il s'agit d'une entrée très précoce dans la course à une solution texte-vidéo.

La première étape du processus pour l'IA consiste à générer un script basé sur votre invite. J'ai testé le système en créant un court métrage YouTube à partir de ces mots : "Une vidéo d'un drone DJI survolant un astronaute sur Mars, se terminant par une photo de réaction de l'astronaute surpris."

L'IA a écrit un récit complet de 79 mots à partir de mon invite, puis a synthétisé le discours avec le choix d'une voix masculine ou féminine. TechCrunch a souligné que la vidéo d'arrière-plan choisie pour la vidéo générée est tirée d'une bibliothèque de stock et qu'il y avait apparemment beaucoup de séquences d '«astronautes sur Mars».

Comme touche finale douteuse, QuickVid superpose le script sous forme de titres et ajoute des images miniatures générées par l'API Dall-E. Le court métrage YouTube qui en résulte vu ci-dessus est… intéressant. Peut-être qu'il gérerait mieux les vidéos plus terrestres.

Dans une interview TechCrunch, le développeur de QuickVid a déclaré que des améliorations sont à venir, avec plus d'options de personnalisation arrivant en janvier. Finalement, QuickVid inclura également des légendes et des avatars de support.

L'année prochaine, de nombreuses autres solutions texte-vidéo pourraient arriver, ainsi que d'autres merveilles visuelles telles que des lunettes AR et des casques VR plus avancés. Ça devrait être excitant.