Ce modèle vidéo unique en son genre d’une société chinoise d’IA capable de contrôler avec précision les caractères à la minute près est ici

SenseTime a encore fait quelque chose de génial : il peut générer une vidéo d’une minute avec juste une photo.

Le 4 juillet, Vimi, le premier modèle de génération vidéo de grands personnages contrôlables pour les utilisateurs finaux C créé par SenseTime, a été sélectionné comme « Trésor de la salle », la plus haute distinction pour l'exposition de la Conférence mondiale sur l'intelligence artificielle (WAIC). l'exposition la plus innovante de la conférence.

Basé sur le nouveau grand modèle de SenseTime, Vimi peut générer une vidéo de personnage cohérente avec l'action cible via simplement une photo de n'importe quel style, et prend en charge une variété de méthodes de conduite, qui peuvent utiliser des vidéos de personnages, des animations, des sons, du texte, etc. . Animé par plusieurs éléments.

Avec le développement rapide des grands modèles et de la technologie d’IA générative, il n’est plus difficile de rendre des photos « vivantes ».

Cependant, les produits existants sur le marché présentent encore de nombreux problèmes dans leurs applications pratiques, tels qu'un contrôle imprécis des mouvements et des expressions, une mauvaise stabilité des effets et une durée vidéo limitée, qui limitent l'espace créatif des créateurs vidéo.

Afin de surmonter ces goulots d'étranglement, SenseTime a lancé un grand modèle de génération vidéo de personnages contrôlables : Vimi.

Contrairement à la technologie de contrôle de l'expression des images qui ne peut contrôler que les mouvements d'expression de la tête, Vimi peut non seulement obtenir un contrôle précis de l'expression des personnages, mais également contrôler les changements naturels du corps des personnages dans les photos dans la zone de la moitié du corps et générer automatiquement des cheveux, des cheveux. , et des cheveux qui correspondent aux personnages. Changements de costume et d'arrière-plan.

Dans le même temps, Vimi peut également générer raisonnablement des changements de lumière et d'ombre, rendant les mouvements des personnages et les effets visuels fluides et naturels, et l'image harmonieuse et belle.

Plus important encore, Vimi peut générer de manière stable des vidéos de personnages uniques d'une durée maximale d'une minute sans détérioration ni distorsion au fil du temps, répondant ainsi pleinement à la demande de vidéos stables à long terme dans les scénarios de divertissement et d'interaction.

Ririxin a officiellement déclaré que Vimi serait entièrement ouvert aux utilisateurs finaux C, notamment pour répondre aux besoins de divertissement et de création des utilisatrices.

Les utilisateurs doivent uniquement télécharger des photos haute définition de personnes sous différents angles, et des avatars numériques et des photos vidéo de différents styles peuvent être automatiquement générés.

Les personnages vidéo générés par Vimi ne sont plus simplement des mouvements faciaux ennuyeux, mais sont associés à des gestes, des membres, des cheveux, etc. pour former des mouvements de personnage plus complets et unifiés, permettant aux créateurs d'éditer et de recréer sur la base du matériel vidéo généré.

Pour les utilisateurs qui aiment prendre des selfies, Vimi prend en charge une variété de scénarios de divertissement et interactifs tels que discuter, chanter, danser, etc. ; pour les utilisateurs qui aiment les émoticônes, Vimi peut générer une variété d'émoticônes de personnages intéressantes à travers une seule photo, avec différentes manières de jouer et d'atteindre la liberté créative.

En outre, Vimi propose également une variété de styles de génération tels que le style photo esthétique et le style fantastique, permettant aux utilisateurs de voyager à travers différentes dimensions et de profiter d'effets visuels immersifs de type blockbuster.

À l'heure actuelle, 80 % des vidéos de l'industrie ont des personnages comme contenu principal. Dans le même temps, avec l'explosion des courtes vidéos et des plateformes de diffusion en direct, la demande de vidéos avec des personnages comme contenu principal a augmenté de façon exponentielle.

Cependant, il existe un manque de produits AIGC sur le marché capables de contrôler la génération de vidéos de personnages, ce qui conduit à un besoin urgent d'améliorer l'efficacité des créateurs de contenu.

On peut dire que l'avènement de Vimi vient de combler cette lacune, en fournissant un outil de création simple et facile à utiliser pour la majorité des créateurs de vidéos côté C, qui peut être largement utilisé dans la création de courtes vidéos de personnages.

Plus de détails sur Vimi seront dévoilés lors du forum d'intelligence artificielle « Love Without Boundaries·Xiang Xinli » organisé par SenseTime le 5 juillet. L'APPSO assurera également le suivi en envoyant des rapports.

Actuellement, Vimi a ouvert les réservations sur le site officiel de SenseTime, et vous êtes invités à en faire l'expérience.

Ci-joint le portail d'adresses de réservation : https://vme-int.softsugar.com/questionnaire/

# Bienvenue pour suivre le compte public officiel WeChat d'Aifaner : Aifaner (ID WeChat : ifanr). Un contenu plus passionnant vous sera fourni dès que possible.

Ai Faner | Lien original · Voir les commentaires · Sina Weibo