Comment l’IA générative créera des jeux avec des « mondes plus larges, plus grands et plus profonds »

De tous les cas d'utilisation de l'IA générative, je ne peux pas penser à un plus important que les jeux vidéo. Bien sûr, nous avons vu des gens créer des jeux simples à partir de GPT-4 – mais j'ai sûrement supposé qu'une technologie aussi puissante était également en cours de discussion aux niveaux supérieurs du développement de jeux .

Pour avoir une idée de l'ampleur du changement, je voulais parler à quelqu'un qui comprend réellement comment les jeux sont créés au niveau technique. Marc Whitten, vice-président senior et directeur général de Unity Create, est certainement l'une de ces personnes. Il est particulièrement enthousiasmé par la façon dont l'IA pourrait transformer le développement de jeux, et nous avons expliqué comment les outils qui pourraient permettre cette révolution font déjà leur chemin vers les créateurs.

Temps de création plus rapide

Les jeux prennent énormément de temps et d'efforts à développer, mais la majeure partie de ce temps est consacrée à la création de tout le contenu du jeu. Whitton dit que si vous regardez un studio AAA commun de 300 personnes, environ 80% d'entre eux se consacrent à la création de contenu. L'IA peut considérablement accélérer ce processus.

Whitton en a fourni un exemple clair : Ziva Face Trainer. Ziva est une société acquise par Unity début 2022, et elle travaille sur son outil Face Trainer depuis un peu plus de deux ans. Il prend un modèle, l'entraîne sur un large éventail d'émotions et de mouvements, et génère quelque chose d'utilisable.

Combien de temps cela fait-il gagner ? Whitton dit que le gréement haut de gamme d'un personnage peut prendre une équipe de quatre à six artistes de quatre à six mois : une dizaine d'années. »

Avec Ziva Face Trainer, les développeurs "lui donnent un maillage et nous formons ce maillage par rapport à un grand ensemble de données… vous récupérez donc en cinq minutes un modèle de plate-forme qui vous permet ensuite de l'exécuter en temps réel". La technologie Ziva est également beaucoup utilisée. C'est derrière la déformation de la combinaison dans Spider-Man : Miles Morales, ainsi que le Troll dans la bande-annonce de Senua's Saga : Hellblade 2 . Vous l'avez probablement déjà vu dans quelques films et émissions de télévision – Captain Marvel, John Wick 3 et Game of Thrones sont sur la liste.

Cela ne devrait pas être une surprise. L'apprentissage automatique et les techniques procédurales (telles que des outils comme SpeedTree) ne sont pas vraiment nouveaux dans le monde du développement de jeux. Il est vrai que davantage de recherches sur les modèles d'IA peuvent conduire à des pipelines de création encore plus efficaces, mais nous assistons à un changement avec l'IA générative. Nous parlons de grands modèles de langage (LLM) comme GPT-4 et de modèles de diffusion comme Midjourney , et ils peuvent radicalement changer les jeux que nous voyons.

Changer le jeu

Whitton dit que l'espoir avec l'IA est de rendre les jeux "dix fois meilleurs", ce qui signifie des jeux dix fois plus rapides, dix fois plus faciles et dix fois moins chers à développer. Le résultat de cela n'est pas un flot des mêmes jeux que nous avons, cependant. Whitton pense que les résultats de cela sont «des mondes plus larges, plus grands et plus profonds».

J'ai demandé un exemple, et Whitton s'est demandé à quoi ressemblerait Skyrim s'il avait un modèle d'IA génératif derrière lui. Nous avons tous entendu le mème "flèche vers le genou" du jeu, mais Whitton a imaginé un jeu où cette ligne jetable signifiait quelque chose de plus.

«Eh bien, et si chacun de ces gardes avait en fait un tableau de type Myers-Briggs? Un peu de trame de fond et franchement, une trame de fond qui aurait pu être impactée par cela. Que s'est-il passé avec le personnage en cours de route? Et puis un modèle d'IA pour générer ce qui serait une réponse rationnelle à partir de cela, compte tenu de tous ces événements particuliers.

Nous constatons des efforts là-bas avec des jeux comme The Portopia Serial Murder Case, qui, franchement, n'ont pas fait le meilleur cas pour l'IA dans les jeux . Il n'est pas difficile de voir le potentiel, cependant, en particulier dans les grands jeux avec des PNJ qui n'ont pas de quêtes définies ou de dialogue exhaustif.

Il y a aussi beaucoup de potentiel dans les jeux de style bac à sable. Whitton a imaginé un jeu de style GTA où vous "allez dans le prêteur sur gages et recrutez la personne derrière le bureau et, vous savez, avec peut-être que le créateur du jeu n'y a même jamais pensé comme une possibilité à cause de quelque chose d'autre qui s'est passé dans le jeu." Whitton a également pensé aux Scribblenauts, sauf dans un monde où vous pourriez vraiment créer n'importe quoi et lui attribuer n'importe quelle propriété.

Le problème en ce moment est de faire en sorte que cela fonctionne réellement, comme en témoigne The Portopia Serial Murder Case. Whitten était l'un des membres fondateurs de l'équipe Xbox de Microsoft et il a aidé à diriger la campagne Kinect. À propos de Kinect, Whitten a déclaré : "Je dirais à tout le monde que cela fonctionne à merveille si je suis assis à côté de vous." Vous deviez l'inviter d'une manière spécifique, et si vous déviiez, cela ne fonctionnerait pas.

C'est le gros problème auquel l'IA est confrontée dans son ensemble, avec des assistants intelligents comme Alexa qui ne fonctionnent que dans une plage étroite. Les LLM modifient cette dynamique et permettent n'importe quelle invite, et c'est ce qui est excitant dans la création de mondes de jeu plus profonds. Il y a encore une route pour y arriver, cependant.

"Si vous mettez l'outil là-bas … [les créateurs] atteindront toutes les limites et diront:" Eh bien, ce n'est pas amusant. Mais ensuite, ils vont réellement trouver l'espace auquel personne ne pense même », a déclaré Whitten.

Avec le déploiement de plus d'outils, nous pourrions voir quelques premières expériences avec l'IA au cours de la prochaine année. Nous avons déjà dans certains cas, comme le très populaire AI Dungeon 2. Mais pour rendre ce genre de monde immersif possible à grande échelle, vous avez besoin d'un intermédiaire. Et pour Unity, cet intermédiaire est Barracuda.

Le Barracuda

Unity comprend une bibliothèque d'inférence de réseau neuronal appelée Barracuda. Comme l'explique Whitten, "il s'agit d'un moteur d'inférence qui vous permet de piloter la diffusion ou d'autres formes de contenu génératif au moment de l'exécution sur l'appareil sans toucher le cloud et à un rythme très performant."

Oh oui, les performances. Même si nous aimons parler de l'IA qui peut changer le contenu pour toujours, il y a un coût de calcul énorme (il y a une raison pour laquelle il a fallu des dizaines de milliers de GPU pour construire ChatGPT ). Barracuda permet à ces modèles de fonctionner sur votre CPU ou GPU afin que vous n'ayez pas à vous rendre dans le cloud, ce qui, pour mémoire, serait un énorme gouffre financier pour les développeurs.

Unity travaille sur plus de fonctionnalités pour Barracuda, et Whitten dit que "l'intérêt de la communauté des créateurs de jeux a été extraordinairement élevé". C'est la clé qui rend possible l'IA générative dans le développement et la conception de jeux, en particulier sans nécessiter de matériel spécifique.

Whitten dit que l'équipe veut commencer à "créer des techniques qui permettent aux créateurs de commencer à vraiment cibler une partie importante et essentielle de leur conception de jeu, et non 'Oh, cela va vraiment diminuer mon public si je conçois pour cela.'" Unreal Engine, dispose pour sa part d'un outil similaire (le bien nommé NeuralNetworkInference tool, ou NNI).

Ces bibliothèques, lorsqu'elles sont confrontées à de grands modèles d'IA génératifs et à une accélération du développement de contenu, peuvent conduire à une "explosion de créativité", selon Whitten. Et c'est quelque chose dont il faut se réjouir pour l'avenir des jeux.

Cet article fait partie de ReSpec – une colonne bihebdomadaire continue qui comprend des discussions, des conseils et des rapports approfondis sur la technologie derrière les jeux sur PC.