Meta lance le modèle 3D Vincent « Blockbuster », générant des matériaux 3D en une seconde

Meta Company a officiellement publié un document de recherche, introduisant un système de modèle 3D Vincent appelé Meta 3D Gen, qui peut générer des ressources 3D de meilleure qualité à partir de texte en moins d'une minute.

Points forts techniques :

• Génération à grande vitesse : 3DGen peut générer des ressources 3D préliminaires en seulement 30 secondes, et l'étape ultérieure de raffinement de la texture ne prend que 20 secondes, améliorant considérablement l'efficacité de la génération des ressources 3D.

• Prise en charge du rendu physique (PBR) : 3DGen prend en charge le PBR, qui est essentiel pour reproduire les effets d'éclairage des ressources 3D dans les applications du monde réel.

• Haute fidélité : évalués par des artistes 3D professionnels, les modèles 3D générés par 3DGen surpassent les méthodes commerciales et non commerciales existantes en termes de fidélité et de qualité visuelle sous des invites de texte complexes.

Générez des modèles 3D réalistes en seulement deux étapes

L'article introduit que Meta 3D AssetGen adopte une conception en deux étapes pour générer des modèles 3D par rapport aux méthodes traditionnelles de génération d'objets 3D :

en particulier:

La première étape : étape texte à image (partie bleue dans l'image ci-dessous) : générer un maillage 3D et une texture basés sur des invites de texte, prédire une image à 6 canaux qui représente 4 vues de l'objet avec des couleurs d'ombre et d'albédo.

La deuxième étape : l'étape de l'image vers la 3D se compose de deux étapes.
Tout d'abord, le reconstructeur 3D (appelé MetaILRM) génère un champ SDF tridimensionnel, qui est converti en un maillage avec un matériau PBR texturé (la partie orange dans la figure ci-dessous).

Ces matériaux sont ensuite améliorés avec un affineur de texture pour restaurer les détails qui peuvent avoir été perdus dans la vue d'entrée (vert dans l'image ci-dessous), améliorant ainsi la qualité visuelle et les détails du modèle.

De multiples indices pour quantifier les matériaux et la lumière

En termes de mise en œuvre technique, Meta 3D AssetGen utilise des formules VolSDF avec différents hyperparamètres pour restituer les valeurs SDF et obtenir l'opacité des points 3D.

Pendant la formation, le modèle est optimisé en minimisant les pertes de rendu multi-vues, mais comme un rendu physiquement précis est très coûteux, nous contournons l'équation de rendu complexe en utilisant directement les champs PBR d'origine pour superviser les contreparties prédites.

Ce type de PBR fait référence au « rendu basé sur la physique », qui est un rendu basé sur la physique.

Il simule le comportement physique de la lumière sur la surface d'un objet, en tenant compte de l'impact de l'éclairage, des propriétés des matériaux et des facteurs environnementaux sur l'apparence de l'objet. Il peut calculer la réflexion, la diffusion et la diffusion de la lumière en fonction de différentes caractéristiques de l'objet. la surface de l'objet, telle que la rugosité, la sensation métallique, etc. Pour obtenir des effets de rendu plus réalistes et précis.

Dans Meta 3D AssetGen, les matériaux PBR sont utilisés pour améliorer le réalisme des modèles 3D. Plus précisément, le matériau PBR comprend les propriétés clés suivantes :

• Albédo : fait référence à la couleur et à la luminosité de la surface d'un objet, qui déterminent l'apparence de l'objet dans différentes conditions d'éclairage.
• Métallité : indique le degré de métal sur la surface d'un objet. Les objets ayant une sensation métallique élevée auront un éclat métallique plus évident.
• Rugosité (Roughness) : décrit la douceur de la surface d'un objet et affecte la plage de diffusion de la lumière sur la surface. Plus la rugosité est élevée, plus la diffusion de la lumière est large et plus la lumière est douce.

Les matériaux PBR intègrent et représentent en fait une avancée majeure dans le contenu 3D généré par l'IA. Il est considéré comme possible de résoudre le problème de longue date entre le contenu généré par l'IA et les flux de travail 3D professionnels, en intégrant de manière transparente les matériaux créés par l'IA dans les flux de travail existants. Il est possible d’accélérer la création d’environnements virtuels et de jumeaux numériques dans tous les secteurs.

Les chercheurs ont également introduit une technologie Meta 3D TextureGen consistant en un réseau continu, qui combine des modèles de génération de texte avec des conditions sémantiques 3D dans l'espace 2D pour les fusionner en une carte de texture UV complète et haute résolution en peu de temps. pour les géométries complexes.

Dans la partie expérimentale, les chercheurs ont utilisé un ensemble de données de 140 000 maillages de diverses catégories sémantiques créées par des artistes 3D à des fins de formation. Des recherches approfondies auprès des utilisateurs ont également été menées pour comparer Meta 3D AssetGen à d'autres méthodes de conversion texte-3D compatibles PBR du secteur, montrant que Meta 3D AssetGen offre des avantages significatifs en termes de qualité visuelle et de contrôle des matériaux :

AssetGen atteint une amélioration de 17 % de la distance de chanfrein, une amélioration de 40 % du LPIPS et est très convivial par rapport aux meilleurs concurrents du secteur à des vitesses comparables, y compris ceux prenant en charge le PBR sur 72 %.

Chris McKay, fondateur et rédacteur en chef de Maginative, a commenté :

Les applications potentielles de cette technologie sont vastes. Les développeurs de jeux peuvent utiliser 3D Gen pour prototyper rapidement des environnements et des personnages, accélérant ainsi considérablement le processus de développement. Les entreprises de visualisation architecturale peuvent générer des modèles 3D détaillés de bâtiments et d’intérieurs à partir de descriptions textuelles, rationalisant ainsi le processus de conception. Dans le domaine de la réalité virtuelle et augmentée, 3D Gen permet la création rapide d’environnements et d’objets immersifs, accélérant potentiellement le développement d’applications Metaverse.

De toute évidence, la nouvelle technologie de Meta offre la possibilité d'une présentation réaliste de modèles 3D dans différents environnements d'éclairage. Elle présente un grand potentiel dans les domaines du graphisme 3D, de l'animation, des jeux et de l'AR/VR, et aura un grand impact sur les jeux, le cinéma et la télévision. même une aide au développement de produits.

Cela pourrait être le premier pas vers un autre niveau de modélisation mondiale.

# Bienvenue pour suivre le compte public officiel WeChat d'Aifaner : Aifaner (ID WeChat : ifanr). Un contenu plus passionnant vous sera fourni dès que possible.

Ai Faner | Lien original · Voir les commentaires · Sina Weibo