J’ai utilisé une application pour créer des modèles 3D avec mon iPhone, et c’est incroyablement génial

Le rythme de l'innovation dans la génération d'images d'intelligence artificielle est phénoménal. Une entreprise – Luma Labs – fournit un excellent exemple d'utilisation pratique, mais extrêmement divertissante, des dernières technologies appliquées aux images 3D.

Luma AI est en test bêta sur l'iPhone et sera éventuellement disponible sur Android également. Je suis entré dans le groupe de test bêta et je peux partager des informations sur ce que fait cette application incroyable et sur la facilité avec laquelle il est possible d'obtenir des résultats incroyables.

Qu'est-ce que Luma AI ?

Luma AI est une application et un service développés par Luma Labs. Il capture des images tridimensionnelles à l'aide d'une technique connue sous le nom de Neural Radiance Fields (NeRF). C'est similaire à la technique de lancer de rayons qui rend les graphismes des jeux haut de gamme si réalistes.

Les NeRF existent depuis quelques années maintenant, mais existaient principalement dans les installations de recherche jusqu'à très récemment. Avec l'explosion de la génération d'images IA, illustrée par des rendus Dall-E photoréalistes , les NeRF commencent à être explorés par un public beaucoup plus large. La première vague de nouveaux logiciels NeRF nécessitait certaines compétences de développeur et l'installation de packages logiciels à partir de GitHub , puis la formation de l'IA sur un ensemble de photos. C'était un peu trop pour la personne moyenne.

Luma Labs est sur le point de simplifier considérablement le processus avec son application Luma AI. Du début à la fin, l'ensemble du processus peut être géré depuis un iPhone, et le résultat final est également plus accessible.

Compatibilité iPhone Luma AI

Étant donné qu'Apple a tenu à démontrer les capacités de mesure de profondeur 3D des capteurs LiDAR, vous pouvez vous attendre à ce que Luma AI nécessite l' iPhone 14 Pro ou l' iPhone 14 Pro Max plus cher pour capturer des modèles 3D. Cependant, les développeurs intelligents de Luma Labs utilisent à la place la photogrammétrie. Cela rend cette technologie compatible avec des iPhones aussi anciens que l'iPhone 11.

À l'avenir, l'application sera disponible sur Android et il existe déjà une version Web en test bêta également. Dans une interview, le PDG de Luma Labs, Amit Jain, a déclaré que l'application iPhone devrait être prête à être publiée dans quelques semaines.

Comment utiliser Luma AI

Pour utiliser Luma AI, il vous suffit de tourner lentement autour d'un objet à trois hauteurs différentes. Une superposition AR vous guide tout au long du processus, qui prend quelques minutes et devient plus facile après quelques essais à mesure que vous vous familiarisez avec le processus. D'ici peu, vous pourrez capturer un objet de taille moyenne comme une chaise en quelques minutes.

N'importe quel objet de taille peut être manipulé car, pour Luma AI, il ne s'agit que d'une série d'images, quelle que soit la taille du sujet. Si vous entourez une tasse, une statue ou un bâtiment, l'idée générale reste la même.

L'application vous indiquera quand elle aura suffisamment d'images, et lorsque cela se produira, un bouton Terminer apparaîtra. Vous pouvez également continuer à tourner et à combler les lacunes dans le nuage AR d'anneaux et de rectangles qui représentent les photos prises jusqu'à présent. L'application arrêtera automatiquement la capture lorsqu'une quantité idéale de photos aura été collectée. Il existe également un mode forme libre qui vous permet de capturer encore plus de photos, sous différents angles et distances. Vous pouvez voir le processus dans la vidéo YouTube que j'ai créée ci-dessous. C'est une application iPhone, donc c'est une vidéo portrait.

Le traitement est la prochaine étape, qui se déroule sur les serveurs de Luma Labs. Après environ une heure, le NeRF fini sera disponible dans l'application sous plusieurs formes différentes. La première vue donnée est une vidéo générée, montrant un survol de l'objet dans son environnement naturel. Une version interactive est la suivante et vous permet de faire tourner la vue en faisant glisser un doigt ou une souris sur l'image.

Le plus impressionnant de tous, le sujet de la capture, extrait de l'arrière-plan, est également disponible. Avec cette représentation, vous pouvez faire pivoter l'objet 3D sur n'importe quel axe et zoomer pour le voir de plus près. La netteté dépend du nombre d'images collectées et de la lenteur et de la stabilité de votre processus de capture.

De mieux en mieux tout le temps

Luma Labs met à jour l'application et le service à un rythme remarquable. Moins d'une semaine après avoir reçu l'invitation au test bêta, deux nouvelles fonctionnalités puissantes ont été ajoutées qui élargissent considérablement les possibilités. La première est une option de téléchargement Web qui vous permet de capturer une vidéo sans l'application, puis de la télécharger sur le site Web de Luma Labs pour traitement. Les résultats apparaissent en ligne et dans l'application.

Cela signifie qu'il est possible d'utiliser n'importe quel mode de caméra de l'iPhone, de capturer des vidéos avec une caméra dédiée ou même d'enregistrer des vidéos avec des lunettes AR comme Ray-Ban Stories. Par exemple, une vidéo de drone devient encore plus épique lorsque vous pouvez lisser le mouvement et changer de direction après avoir déjà atterri. Luma Labs a partagé un bon exemple montrant une vue aérienne des feuilles d'automne dans ce tweet.

L'automne à Palo Alto est magnifique ! https://t.co/EwNkiv0DQV pic.twitter.com/hdd7iBLYgV

— Luma AI (@LumaLabsAI) 22 octobre 2022

L'autre nouvelle fonctionnalité ouvre des possibilités d'édition 3D, de peinture et d'impression 3D. Les maillages 3D peuvent être exportés avec des textures au format OBJ ou GLTF. Ils ne sont pas optimisés mais peuvent être visualisés avec des textures intactes même avec une visionneuse en ligne telle que le site Web gratuit et open source Online3DViewer .

Il est également possible d'ouvrir les fichiers 3D dans un éditeur de maillage comme le MeshLab gratuit et open source pour supprimer tous les artefacts parasites qui apparaissent sous forme de gouttes flottantes, ainsi que nettoyer et simplifier le modèle avant de l'exporter dans une variété de formats. La figurine ci-dessus mesure environ trois pouces de haut et a été sculptée par ma femme, Tracey, pour son entreprise, ALittleCharacter . Luma AI a capturé une quantité remarquable de détails dans la sculpture et la bûche sur laquelle elle reposait. Le journal aurait également pu être sélectionné et supprimé par MeshLab.

Les hauts et les bas du scan 3D

Kyle Brussell a partagé un étalage de desserts lors d'une fête, mentionnant qu'il avait demandé aux adultes d'attendre leurs friandises afin de pouvoir les capturer sous forme de diorama numérique.

J'ai utilisé @LumaLabsAI lors d'une fête d'anniversaire hier soir, j'ai fait en sorte qu'un groupe d'adultes ne mange pas de dessert pour que je puisse faire le tour de la table avec mon téléphone pour faire un rêve d'IA 3D de la configuration comme une personne très cool pic.twitter.com/sP0vVPB3yx

— Kyle Russell (@kylebrussell) 30 octobre 2022

Bien que Luma AI puisse traiter la vidéo, il s'appuie sur des images fixes pour construire une scène en trois dimensions. Cela signifie que si le sujet bouge, cela peut réduire la qualité ou la clarté de la capture. Une image 3D d'une personne assise, comme le montre le Tweet d'Albert Bozesan, sera bien. Dans le même tweet, la deuxième capture d'une sculpture montre ce qui se passe lorsqu'il y a du mouvement dans la scène. L'arrière-plan montre les personnes qui marchaient près du sujet sous forme de formes déformées.

J'ai pris deux @LumaLabsAI #NeRF au bord d'un lac bavarois aujourd'hui. Excellent moyen de capturer des souvenirs, ressemble à Minority Report. #Tegernsee pic.twitter.com/HLC0ekF7uD

— Albert Bozesan (@AlbertBozesan) 30 octobre 2022

Prix ​​et disponibilité de Luma AI

Luma AI est actuellement en phase de test bêta et des invitations sont régulièrement envoyées via le compte Twitter de l'entreprise. Si vous avez un iPhone compatible et que vous vous intéressez à cette technologie, vous pourrez peut-être obtenir un accès anticipé. Il y a aussi une liste d'attente sur le site Web de Luma Labs .

Le PDG de Luma Labs, Jain, a indiqué que les prix restent à déterminer et dépendent de l'étendue de la base d'utilisateurs et de la manière dont les résultats des analyses sont utilisés. Sur la base de ces déclarations, il pourrait y avoir un abonnement professionnel avec des fonctionnalités plus avancées et un abonnement personnel moins cher. Pour le moment, il restera libre d'utilisation.