Le nouvel outil Shap-E d’OpenAI est Dall-E pour les objets 3D
La dernière tentative d'OpenAI, Shap-E, est un modèle qui vous permet de générer des objets 3D à partir de texte, un peu comme Dall-E peut créer des images 2D.
Selon OpenAI, Shap-E est « un modèle génératif conditionnel pour les actifs 3D. Contrairement aux travaux récents sur les modèles génératifs 3D qui produisent une seule représentation de sortie, Shap-E génère directement les paramètres des fonctions implicites qui peuvent être rendues à la fois sous forme de maillages texturés et de champs de rayonnement neuronal.
La publication GitHub de la société explique ensuite comment Shap-E est formé sur une combinaison d'actifs 3D de cartographie et d'un modèle de diffusion conditionnelle.
Cependant, ce programme gratuit est un peu plus difficile à installer et à configurer que le très populaire ChatGPT de la société, comme cela a été exploré par Tom's Hardware .
Vous pouvez télécharger gratuitement le modèle Shap-E sur GitHub et y accéder sur Microsoft Paint 3D. Il fonctionne également lorsqu'il est converti en fichier STL, ce qui permet de donner vie aux rendus que vous créez via des imprimantes 3D.
Bien que cette connaissance de base du modèle Shap-E puisse sembler assez simple, une certaine maîtrise de la technologie peut être nécessaire pour installer et faire fonctionner le modèle.
Le rédacteur en chef de la publication, Avram Piltch, a testé Shap-E, qui, selon lui, lui a pris huit heures pour comprendre. Il a ajouté qu'OpenAI offre peu d'instructions en dehors d'expliquer que vous devez utiliser une commande Python pip pour l'installation.
Une fois installé, Piltch dit qu'il a pu tester les invites avec des fichiers GIF animés en couleur et des fichiers PLY monochromes, les GIF animés étant favorables, a-t-il noté.
Certaines invites comprenaient un requin, une plante grimpante Minecraft et "un avion qui ressemble à une banane", qui avaient tous des niveaux de qualité variables en fonction de leur type de fichier. Piltch a également utilisé la fonction du modèle, qui permet aux utilisateurs de télécharger une image 2D pour la convertir en un objet 3D.
L'éditeur a noté que ceux qui tentent d'installer Shap-E et de rendre des objets 3D doivent garder à l'esprit que le modèle nécessite beaucoup de ressources système d'un PC.
En particulier, Shap-E n'est compatible qu'avec les GPU Nvidia et nécessite des processeurs hautes performances pour un rendu en quelques minutes au lieu d'heures.