La dernière technologie de Byte « migre » les expressions et expressions en un clic, chacun est acteur

Récemment, ByteDance et l'Université Tsinghua ont lancé conjointement la dernière technologie d'animation de portraits " X-Portrait 2 " sur GitHub.

Plus précisément, X-Portrait 2 est un « modèle de transfert de portrait génératif » très intuitif et simple à utiliser : les utilisateurs n'ont qu'à fournir un portrait statique et une vidéo de « performance » avec des changements d'expression, et cette technologie vous permet de « transférer » des expressions aux portraits en un seul clic, faisant ainsi " bouger " le premier.

Comme ça:

Comme vous pouvez le voir, le coin inférieur gauche est un "portrait statique" et le coin inférieur droit est une "vidéo de performance". La fonction de X-Portrait 2 est de faire en sorte que le personnage de gauche ait presque la même expression que le personnage. sur la droite .

En plus de « l' expression », même le « comportement » est presque une réplique au niveau du pixel :

Le « rusé » et le « méchant » contenus dans les sourcils et le sourire sont tous présentés avec précision.

Même lorsque la tête est fortement tordue, X-Portrait 2 est pleinement capable et l'expression n'est pas déformée :

Un scénario d'utilisation plus "pragmatique" est qu'il peut être utilisé pour " la synchronisation labiale ", parfois pour répondre aux besoins de modifications ultérieures de lignes :

Non seulement la reproduction est précise, mais elle est également suffisamment fluide et naturelle. L'éditeur le qualifie également de « portrait animé hautement expressif ».

De toute évidence, ce modèle peut réaliser un transfert d'expression entre styles et domaines, couvrant des portraits réalistes et des images de dessins animés ; il est hautement adaptable et peut être utilisé pour la narration du monde réel, la présentation de personnages animés, les agents virtuels et d'autres effets visuels.

En termes d'effets spéciaux de post-production pour films ou animations, X-Portrait 2 simplifie sans aucun doute grandement les processus existants de capture de mouvement, d'animation de personnages et de création de contenu.

Par rapport à son prototype X-Portrait, les améliorations et innovations de X-Portrait 2 ne peuvent être surestimées.

X-Portrait 2 utilise un encodeur d'expression plus avancé , qui est formé sur un ensemble de données à grande échelle. Il peut capturer et reproduire avec plus de précision les expressions subtiles des personnages, y compris des détails tels que la moue, les joues bombées et les sourcils froncés. expressions et améliore leur réalisme.

Dans le même temps, X-Portrait 2 réalise une séparation efficace de l'apparence et de l'action , ce qui signifie que lors de la migration des expressions, les caractéristiques d'apparence de l'image d'origine sont conservées et les changements d'expression n'affecteront pas l'apparence de base du personnage, améliorant ainsi le naturel. et la cohérence de l'animation.

Il convient de mentionner que X-Portrait 2 introduit également de manière innovante un modèle de diffusion générative , qui peut gérer les changements d'expression sous différents angles de vue, générer des effets d'animation plus fluides et plus réalistes et résoudre le problème que les méthodes traditionnelles peuvent rencontrer lorsque l'angle de vue change. Le problème de l’incoordination des expressions faciales se pose.

De plus, X-Portrait 2 améliore également les capacités de transfert d'expression inter-domaines ainsi que le réalisme de l'animation et l'expression dynamique.

Comparé à son concurrent similaire publié précédemment, l'Act-One de Runway, X-Portrait 2 n'est pas inférieur. C'est aussi l'heureuse expression de « Nice Grandpa ». L'effet généré par Act-One est le suivant :

Il semble que seule la « migration » ait été réalisée, et l'exagération de l'expression est évidemment atténuée, et elle est aussi légèrement raide. Si vous couvrez la vidéo originale, vous ne pourrez peut-être pas savoir qui elle imite.

Pour la même expression, voici l'effet généré par X-Portrait 2 :

En plus de la reproduction plus précise et délicate des expressions, nous semblons pouvoir ressentir la « joie » naturelle. C'est la puissance de X-Portrait 2.

Concernant les avantages de X-Portrait 2, les développeurs ont dit ceci :

Comparé aux méthodes de pointe telles que X-Portrait et Runway Act-One récemment publié, notre modèle peut fidèlement transmettre des mouvements de tête rapides, de petits changements d'expression et de fortes émotions personnelles. Ces aspects sont cruciaux pour la création de contenu animé de haute qualité, comme ceux que l’on trouve dans l’animation et la production cinématographique.

Regardons une comparaison plus intuitive :

Évidemment, par rapport au X-Portrait original, l'amélioration du X-Portrait 2 est qu'il est plus « naturel et fluide » et par rapport à Act-One, le X-Portrait 2 est plus « précis et délicat ».

Quoi qu'il en soit, le lancement de X-Portrait 2 continue de promouvoir le concept possible de « remplacement de la capture de mouvement par l'IA générative » et le rend plus mature, un pas de plus vers la commercialisation.

# Bienvenue pour suivre le compte public officiel WeChat d'aifaner : aifaner (ID WeChat : ifanr). Un contenu plus passionnant vous sera fourni dès que possible.

Ai Faner | Lien original · Voir les commentaires · Sina Weibo