Nvidia transforme de simples invites de texte en modèles 3D prêts pour le jeu
Nvidia vient de dévoiler son nouveau modèle d'IA générative, baptisé Latte3D, lors du GTC 2024. Latte3D semble être ChatGPT sous stéroïdes extrêmes. Il s'agit d'un modèle texte-3D qui accepte des invites de texte simples et courtes et les transforme en objets et animaux 3D en une seconde. Beaucoup plus rapide que ses homologues plus anciens, Latte3D fonctionne comme une impression 3D virtuelle qui pourrait être utile aux créateurs de nombreux secteurs.
Latte3D a été conçu pour simplifier la création de modèles 3D pour de nombreux types de créateurs, tels que ceux travaillant sur des jeux vidéo, des projets de conception, du marketing ou même de l'apprentissage automatique et de la formation en robotique. Dans la démo du modèle par Nvidia, il semble super simple à utiliser. Suite à une invite de texte rapide, l'IA génère un modèle 3D et le termine peu de temps après avec beaucoup plus de détails. Bien que le résultat final soit loin d'être aussi réaliste que celui de Sora d'OpenAI , ce n'est pas censé l'être : c'est un moyen d'accélérer la création d'actifs au lieu d'avoir à les créer à partir de zéro.
Le modèle génère plusieurs options différentes parmi lesquelles l'utilisateur peut choisir, et Nvidia affirme que ces formes peuvent être « optimisées pour une qualité supérieure en quelques minutes ». Les conceptions peuvent ensuite être exportées vers différentes plates-formes, telles que Omniverse de Nvidia, et peuvent être modifiées pour correspondre au résultat final souhaité. Nvidia a formé Latte3D à l'aide de ses GPU Ada A100 Tensor Core et a pris en charge la formation avec des invites ChatGPT pour le préparer à interagir avec de vrais utilisateurs.
Pour le moment, Latte3D ne peut générer que des objets et des animaux. À cette fin, il semble faire un travail solide en discernant différents animaux, textures et types d’objets. Nvidia a montré ces capacités en présentant des objets tels qu'une grue cendrée en amigurumi (crochet) ou un chat sphynx en origami. Le modèle a appris à reconnaître diverses espèces et peut ainsi faire la différence entre un lévrier italien et un Shiba Inu.
Les créateurs qui souhaitent utiliser Latte3D pour en faire plus peuvent l'entraîner sur un ensemble de données différent, qu'il s'agisse de plantes ou d'objets ménagers, et de l'utiliser plus tard à leurs propres fins. Nvidia évoque ici quelques cas d'utilisation intéressants, comme la formation de robots assistants personnels avant de les déployer. Il est facile d'imaginer que Latte3D sera utile aux développeurs de jeux, mais le potentiel va bien au-delà des simples scénarios de jeu.
Sanja Fidler, vice-présidente de la recherche sur l'IA chez Nvidia, a souligné à quel point Latte3D est beaucoup plus rapide que ses prédécesseurs : « Il y a un an, il fallait une heure aux modèles d'IA pour générer des visuels 3D de cette qualité — et l'état actuel de la technique. est maintenant d'environ 10 à 12 secondes. Nous pouvons désormais produire des résultats beaucoup plus rapidement », a déclaré Fidler.
Les annonces récentes liées à l'utilisation de l'IA dans le développement de jeux sont toutes assez révolutionnaires, et Latte3D de Nvidia rejoint une liste croissante d'outils qui pourraient un jour changer complètement le processus de création d'un jeu. Par exemple, Nvidia a récemment dévoilé des personnages non-joueurs (PNJ) avec des dialogues entièrement générés par l'IA . Pendant ce temps, la dernière mise à jour d'Unreal Engine peut générer des visuels de qualité cinématographique dans les jeux en temps réel, le tout avec l'aide de l'apprentissage automatique.