J’ai interrogé AMD sur l’avenir des graphiques et j’ai été choqué par la réponse

La semaine dernière, j'étais à Los Angeles lors du Ryzen 9000 Tech Day d'AMD , pour explorer l' architecture Zen 5 et les prochains processeurs d'AMD. Mais parmi tout ce que j’ai entendu sur l’architecture, c’est un commentaire désinvolte sur la façon dont l’IA « imaginera » les futurs jeux PC qui m’a le plus marqué.

Le commentaire est venu de Sébastien Nussbaum, l'architecte en chef informatique et graphique d'AMD. Nussbaum présentait une vision de l'IA dans le futur, et parmi les discussions sur les assistants IA et les fonctionnalités telles que Windows Recall , il a expliqué comment l'IA pourrait « imaginer » l'éclairage des jeux PC à l'avenir. La prochaine question évidente : comment ?

Bien sûr, nous avons vu certaines applications de l'IA dans les jeux, du DLSS de Nvidia à des fonctionnalités telles que G-Assist et des personnages IA via ACE. Mais l’IA imagine-t-elle simplement l’éclairage dans les jeux ? Cela semble exagéré. J'ai rencontré Chris Hall, directeur principal du développement logiciel chez AMD, pour comprendre le chemin sinueux menant à un avenir IA pour les jeux PC. Il s’avère que nous sommes beaucoup plus avancés dans cette voie que je ne le pensais.

La vision

"Je pense que vous devez vous pencher sur une technologie comme Sora", a commencé Hall lorsque je me suis assis pour lui parler. « Sora n'était même pas formé pour penser à la 3D. Ils appellent cela une capacité latente… elle a en quelque sorte développé un modèle de ce à quoi ressemble un monde en 3D. Naturellement, vous regardez cela et vous dites : « C'est sûrement à cela que ressemblera un jeu dans le futur. »

Hall fait référence au générateur vidéo d'OpenAI, appelé Sora . Il peut créer une vidéo à partir d'une invite de texte et avec des éléments tels qu'une occlusion appropriée des objets (où un objet passe devant un autre). Ce n'est pas un jeu vidéo, même pas proche. Mais quand on regarde ce que Sora peut faire, avec sa capacité à comprendre et interpréter un monde en 3D, il n'est pas difficile de laisser libre cours à son imagination.

Nous ne sommes même pas proches de quelque chose comme Sora pour les jeux d'aujourd'hui, ce que Hall a dit franchement. Mais le développeur du logiciel affirme qu'AMD – et je suis sûr que le reste de l'industrie du jeu vidéo – recherche les technologies qui pourraient éventuellement conduire à ce point. Mais cela ne viendra pas facilement.

"C'est un énorme changement pour l'industrie du jeu vidéo", a déclaré Hall. "Cela nécessite un état d'esprit complètement différent." Hall a parlé de bouleverser le pipeline graphique traditionnel que nous connaissons aujourd'hui, ce qui nécessite des années de recherche et de travail. Mais selon lui, ce changement a déjà commencé.

"Vous pouvez voir que certains de ces éléments fondamentaux sont déjà compatibles, et il y aura des étapes en cours de route", m'a dit Hall. « Nous avons déjà du débruitage dans les jeux aujourd'hui, et si vous pensez aux technologies de type diffusion stable, le processus de diffusion lui-même débruite littéralement une image vers un résultat final. C'est donc presque comme un débruitage guidé.

L’industrie du jeu vidéo est en train de connaître un changement progressif. Il y aura peut-être un avenir où, dans des années, l’IA pourra se frayer un chemin dans chaque partie du pipeline graphique. Ce changement, a déclaré Hall, ne s'accompagnera pas de fonctionnalités d'IA générative flashy que nous avons vues à travers des dizaines de démonstrations techniques. Cela apparaîtra dans les aspects banals du développement de jeux auxquels les joueurs ne penseront probablement jamais.

Aimer le banal

Nous avons déjà vu des applications de l’IA générative dans les jeux. Il y a plus récemment le projet G-Assist de Nvidia, ainsi que des PNJ pilotés par l'IA via Convai . Ils font la une des journaux, mais Hall a déclaré que la véritable innovation se produit actuellement dans le quotidien.

« L’IA fait la une des journaux pour les choses sophistiquées – les LLM, les diffusions stables, n’est-ce pas ? Beaucoup de gens pensent aujourd’hui que c’est tout ce qu’est l’IA. Mais si vous regardez Epic Games et Unreal Engine, ils présentaient leur technologie de simulation de tissu ML [apprentissage automatique] il y a quelques mois à peine », a déclaré Hall. "Cela semble être un cas d'utilisation très banal et sans intérêt, mais vous économisez vraiment beaucoup de calcul en utilisant un modèle d'apprentissage automatique."

Hall fait référence au Neural Network Engine (NNE) d'Unreal, qui est entré en phase bêta en avril avec la sortie d'Unreal Engine 5.4. Il fournit une interface permettant aux développeurs d'exécuter des modèles de réseaux neuronaux à divers endroits dans les jeux. Epic Games fournit des exemples possibles d'outils, d'animation, de rendu et de physique. Au lieu de générer un jeu avec l’IA, l’application ici consiste à créer plus efficacement des visuels plus impressionnants.

"C'est un cas où l'utilisation de l'apprentissage automatique pour faire quelque chose qui nécessite beaucoup de calcul libère traditionnellement beaucoup de cycles GPU pour ce qui intéresse vraiment les sociétés de jeux, à savoir des visuels incroyables", a déclaré Hall.

Nous pouvons déjà le voir en action aujourd'hui dans des jeux comme Alan Wake 2 . Le jeu prend en charge Ray Reconstruction de Nvidia , qui est un débruiteur alimenté par l'IA. Le débruitage est déjà un raccourci pour restituer des scènes exigeantes en temps réel, et Ray Reconstruction utilise l'IA pour fournir de meilleurs résultats à des vitesses en temps réel. Hall a suggéré que des applications similaires de l’IA dans le développement de jeux permettraient d’atteindre un nouveau niveau de qualité visuelle.

« Vous allez voir beaucoup de ces choses. Du genre : « oh, nous pouvons l'utiliser pour cette simulation physique, nous pouvons l'utiliser pour cette simulation » », a déclaré Hall.

Le problème actuel est de savoir comment obtenir les ressources nécessaires pour exécuter ces modèles. NNE est un excellent framework, mais il est uniquement configuré pour fonctionner sur le CPU ou le GPU. Et les fonctionnalités DLSS de Nvidia sont excellentes, mais elles nécessitent un GPU Nvidia récent et coûteux avec des cœurs Tensor dédiés. À l'heure actuelle, il existe des solutions de ruban adhésif pour faire fonctionner ces fonctionnalités, tandis que des sociétés comme AMD, Nvidia et Intel établissent les bases matérielles pour prendre en charge plus efficacement ces fonctionnalités.

Et ils jettent ces bases, ne vous y trompez pas. Nous avons bien sûr des cœurs Tensor dans les GPU Nvidia, et Intel a ses cœurs XMX dans ses cartes graphiques. AMD dispose également d'accélérateurs d'IA dans les GPU RDNA 3 comme le RX 7800 XT , qui n'ont pas d'utilisation claire à ce stade. Il existe actuellement un problème classique de la poule et de l'œuf avec l'accélération de l'IA dans les jeux, mais AMD, Nvidia et Intel semblent tous travailler pour résoudre ce problème.

« Si j'ajoute cette fonctionnalité d'IA, est-ce que je bloque tout un ensemble de générations de matériel qui ne peuvent pas prendre en charge cette fonctionnalité ? Et comment puis-je m'en servir ? Ce sont ces éléments qui semblent ralentir l’intégration du ML », m’a dit Hall.

Pourtant, le processus est en cours. Récemment, par exemple, AMD a introduit la compression de texture neuronale , et Intel et Nvidia ont soumis des recherches similaires l'année dernière. "Ce n'est pas tape-à-l'œil, ce n'est pas une fonctionnalité centrale du jeu, mais c'est une utilisation du ML qui est autrement difficile à faire de manière analytique, et l'amélioration pour l'utilisateur réside dans le temps de chargement et la quantité de données dont vous avez besoin pour fournir au PC de l'utilisateur. ", a déclaré Hall. "Donc, je pense que vous en verrez davantage."

Quelque chose qui résout les problèmes

Lorsque vous entendez des choses comme l’IA imaginer des aspects d’un jeu, tout commence à sembler un peu dystopique. Si vous suivez l'actualité technologique, il est facile d'avoir l'impression que les entreprises intègrent l'IA dans tout ce qu'elles peuvent – et avec une boîte qui prétend vous permettre de sentir les jeux vidéo grâce à l'IA , il est difficile de ne pas comprendre cette image. Le point de vue de Hall sur l’IA dans les jeux PC est plus fondé. Il ne s’agit pas de pousser l’IA là où elle n’a pas sa place. Il s'agit de résoudre des problèmes.

«Le développement de jeux AAA et même AA n'est pas un processus de six mois. C’est prévu longtemps à l’avance. Vous essayez toujours de mordre plus que vous ne pouvez mâcher, vous êtes donc toujours sous le feu des projecteurs et dans les délais. En ajoutant une nouvelle chose très complexe, il faut vraiment résoudre un problème qui existe », m'a dit Hall.

Le développement de jeux est non seulement un processus long, mais également coûteux. La production d'un jeu AAA peut coûter des centaines de millions de dollars, et même avec des sociétés comme Square Enix qui mettent au hasard l'IA dans une démo de jeu, aucun développeur de jeu ne dépense autant d'argent pour une fonctionnalité qui pourrait ruiner un jeu. . Nous avons également vu des sociétés comme Ubisoft démontrer les capacités des PNJ IA dans les jeux, mais celles-ci ne sont pas apparues dans un jeu réel. Et ils ne le feront probablement pas avant un certain temps.

« Je pense que la réalité des [PNJ IA] est que… vous savez, les jeux sont des expériences très soigneusement scénarisées, et lorsque vous vivez une expérience essentiellement illimitée avec ce personnage dans le jeu, vous devez déployer beaucoup d'efforts pour créer bien sûr, cela ne brise pas les éléments scriptés de votre jeu », a déclaré Hall. « Les PNJ sont donc agréables à avoir, mais cela ne changera pas le nombre de jeux vendus. Alors qu'une nouvelle fonctionnalité graphique où vous avez déchargé davantage du GPU… eh bien, c'est intéressant.

Je ne me fais aucune illusion sur la réalité du développement de jeux. Les grandes entreprises qui dépensent des centaines de millions de dollars trouveront un moyen de raccourcir ce processus en réduisant les effectifs et en s’appuyant sur l’IA pour prendre le relais. Je ne pense tout simplement pas que cela fonctionnera. Il y a beaucoup de potentiel pour l'IA dans les jeux PC, mais ce potentiel vient de la réalisation du prochain grand pas en avant en matière de qualité visuelle, et non de la réduction des expériences que nous aimons à quelque chose qu'une machine peut comprendre.

"Il faudra beaucoup d'argent de la part des éditeurs de jeux et de quelques âmes courageuses pour franchir ce pas, mais c'est inévitable parce que cette technologie est inévitable", a déclaré Hall.

Faire avancer les graphiques

L’IA met en place une dynamique intéressante en matière de création. Soit cela permet aux entreprises de faire le même travail avec moins de personnes, soit cela leur permet de faire plus de travail avec le même nombre de personnes. L’espoir est que l’IA puisse faire avancer le jeu sur PC. C'est vers ce prochain grand pas que se tournent des entreprises comme AMD, a déclaré Hall.

« Nous avons tous apprécié la loi de Moore pendant longtemps, mais cela a en quelque sorte diminué. Et maintenant, chaque millimètre carré de silicium coûte très cher, et nous ne pouvons pas nous permettre de continuer à doubler », m'a expliqué Hall. « Nous pouvons, nous pouvons construire ces puces, nous savons comment les construire, mais elles deviennent plus chères. Alors que le ML réduit en quelque sorte ce coût par effet en nous permettant d’utiliser le calcul approximatif pour obtenir un résultat qui autrement nécessiterait quelque chose de quatre ou cinq fois plus puissant.

J’ai été séduit par l’idée que l’IA imagine l’éclairage de mes jeux. Cela semblait faux, comme un autre cas d’IA détournée dans une expérience censée être conçue par une personne. Ma conversation avec Hall a apporté une perspective différente. L’idée de faire avancer ce média est passionnante, et un outil comme l’IA permet à l’industrie de faire un grand pas en avant sans recourir à des GPU qui coûtent des milliers de dollars et consomment des milliers de watts d’énergie.

Hall a bien résumé le processus en regardant en arrière. « Il y aura un avant et un après, et je suppose que ce sera similaire aux débuts de la 3D. Vous vous souvenez de l'époque où Nintendo a expédié la cartouche [Super Nintendo] Star Fox avec un petit mini-rastériseur triangulaire pour pouvoir faire de la 3D ? Ils ont dû ajouter du silicium à leur console existante pour offrir une nouvelle expérience.

Surtout en tant que personne qui couvre l’industrie technologique tous les jours, je me retrouve cynique à l’égard de la technologie. Comme toute technologie puissante, l’IA a de nombreuses implications négatives. Il ne semble cependant pas que ce soit le travail en cours en coulisses en ce moment. Cela ressemble à de petites applications localisées destinées à offrir une meilleure expérience aux joueurs et (espérons-le) également aux développeurs. Et, avec le temps, l’IA pourra peut-être imaginer quelque chose de spécial. Mais ce ne sera pas gratuit.

« Qu’est-ce qui nous amène d’ici à ce point final ? Honnêtement, c'est beaucoup d'essais et d'erreurs et beaucoup de travail acharné. C'est vraiment un projet de recherche. C'est juste que nous savons maintenant que cela sera possible », a déclaré Hall.