L’IA peut faire beaucoup de choses, mais elle ne peut pas encore créer de jeux – ni même y jouer

À mesure que les outils d’IA s’améliorent, nous sommes de plus en plus encouragés à leur confier des tâches de plus en plus complexes. Les LLM peuvent rédiger nos e-mails pour nous, créer des présentations, concevoir des applications, générer des vidéos, rechercher sur Internet et résumer les résultats, et bien plus encore. Cependant, une chose avec laquelle ils ont encore beaucoup de mal, ce sont les jeux vidéo.

Jusqu'à présent cette année, deux des plus grands noms de l'IA (Microsoft et Anthropic) ont essayé de faire en sorte que leurs modèles génèrent ou jouent à des jeux, et les résultats sont probablement beaucoup plus limités que ce à quoi beaucoup de gens s'attendent.

Cela en fait une vitrine parfaite de la situation réelle de l’IA générative à l’heure actuelle – en bref : elle peut faire beaucoup plus qu’avant, mais elle ne peut pas tout faire.

Microsoft génère Quake II

La génération de jeux vidéo présente des problèmes similaires à la génération de vidéos : le mouvement est étrange et changeant, et l'IA commence à perdre le contact avec la « réalité » après un certain temps. La dernière tentative de Microsoft, que tout le monde peut essayer , est une version de Quake II générée par l'IA.

J'y ai joué plusieurs fois et c'est une expérience vraiment trippante, avec des ennemis étranges et tachés surgissant de nulle part et l'environnement changeant autour de vous à mesure que vous vous déplacez. Plusieurs fois, lorsque j'entrais dans une nouvelle pièce, l'entrée disparaissait lorsque je me retournais pour y faire face – et quand je regardais à nouveau vers l'avant, les murs auraient bougé.

L'expérience ne dure que quelques minutes avant de s'arrêter et de vous inviter à démarrer un nouveau jeu – mais si vous n'avez pas de chance, il peut cesser de répondre correctement à vos entrées avant même cela.

Il s’agit cependant d’une expérience formidable, et je pense qu’elle serait utile à un plus grand nombre de personnes. Il vous permet de découvrir par vous-même dans quoi la génération AI est performante et quelles sont ses limites actuelles. Aussi impressionnant soit-il que nous puissions générer une expérience de jeu vidéo interactive, il est difficile d'imaginer que quiconque puisse jouer à cette démo technologique et penser que le prochainAssassin's Creed sera réalisé par l'IA.

Ce genre de réflexions et d’hypothèses existent cependant, et c’est en grande partie parce que les gens ne peuvent pas échapper à l’IA à l’heure actuelle. Même si vous ne vous souciez pas de l’intelligence artificielle, elle vous sera toujours imposée partout où vous irez. Le problème est que les informations que l’individu moyen obtient sont presque entièrement constituées de marketing de grande technologie et de commentaires de PDG repris par les publications d’information.

Cela signifie qu’ils entendent des affirmations exagérées et contradictoires comme celles-ci :

Elle a le potentiel de résoudre certains des plus grands problèmes mondiaux, tels que le changement climatique, la pauvreté et la maladie. ( Bill Gates )

Probablement en 2025, chez Meta, ainsi que dans les autres entreprises qui travaillent essentiellement sur ce sujet, nous aurons une IA qui peut effectivement être une sorte d'ingénieur de niveau intermédiaire que vous avez dans votre entreprise et qui peut écrire du code. ( Marc Zuckerberg )

Utiliser efficacement l’IA est désormais une attente fondamentale de chacun chez Shopify. C'est aujourd'hui un outil à tout faire, et son importance ne fera que croître. Franchement, je ne pense pas qu'il soit possible de renoncer à l'apprentissage des compétences nécessaires à l'application de l'IA dans votre métier. ( Tobi Lutke , PDG de Shopify)

Nous sommes désormais convaincus de savoir comment créer l’AGI telle que nous l’avons traditionnellement comprise. Nous pensons qu’en 2025, nous pourrions voir les premiers agents d’IA « rejoindre le marché du travail » et modifier sensiblement la production des entreprises. ( Sam Altman , PDG d'OpenAI)

L’IA est plus dangereuse, par exemple, qu’une conception d’avion ou une maintenance de production mal gérée ou une mauvaise production de voitures, dans le sens où elle a le potentiel – aussi faible que l’on puisse considérer cette probabilité, mais elle n’est pas triviale – elle a le potentiel de destruction de civilisation. ( Elon Musk )

Tout cela est assez extrême, non ? Cela nous sauvera et nous détruira, c'est à la fois un outil à tout faire pour les professionnels et un outil qui remplacera les professionnels – et apparemment, nous pourrions obtenir une AGI de niveau science-fiction dès cette année. Quand c'est tout ce que les gens entendent, ils commencent à attendre des choses assez étonnantes de ces outils et à croire que tous les employés de bureau passent leurs journées à converser avec leur ordinateur comme les personnages de Star Trek.

Cependant, ce n’est pas à cela que ressemble la réalité. La réalité ressemble à un Quake II trippant et taché avec des formes incompréhensibles pour les ennemis. Les LLM de niveau ChatGPT ont vraiment constitué une avancée passionnante en 2022 et une tonne de plaisir avec lequel tout le monde peut jouer – mais pour la majorité des utilisations que la grande technologie nous impose actuellement, l'IA n'est tout simplement pas assez performante. Les niveaux de précision sont trop faibles, les capacités de suivi des instructions sont trop faibles, les fenêtres contextuelles sont trop petites et ils sont simplement formés sur des absurdités Internet au lieu de connaissances du monde réel.

Mais générer un jeu vidéo est un objectif assez complexe : il faut des années à des équipes entières d’humains pour créer ces choses, après tout. Et si vous jouiez plutôt à des jeux vidéo ?

Claude « joue » Pokémon Rouge

Eh bien, il s’avère que les gens expérimentent cela aussi. Le nouveau modèle d'Anthropic, Claude 3.7 Sonnet , joue à Pokémon Red sur Twitch depuis environ deux mois maintenant, et il fait le meilleur travail qu'un LLM ait jamais fait pour jouer à Pokémon. Une légère mise en garde, cependant, est qu'il est encore à des kilomètres de l'humain moyen de 10 ans.

L'un des problèmes est la rapidité : il faut à Claude des milliers d'actions s'étalant sur plusieurs jours pour faire des choses comme traverser la forêt de Viridian.

Pourquoi cela prend-il autant de temps ? Ce n'est pas parce qu'il ne sait pas comment gagner stratégiquement des batailles Pokémon – c'est en fait le domaine dans lequel il est le meilleur. En revanche, naviguer dans l’environnement et éviter les arbres et les bâtiments n’est pas si bon. Claude n'a jamais été formé pour jouer à Pokémon, et ce n'est pas facile pour lui de comprendre le pixel art et ce qu'il représente.

Traverser des zones de type labyrinthe comme le mont. Lune est particulièrement difficile pour lui, car il a du mal à dresser une carte de la zone et à éviter de revenir sur ses pas. Une fois, il s'est retrouvé tellement coincé dans un coin qu'il a conclu que le jeu était cassé et a généré une demande formelle pour que le jeu soit réinitialisé.

Il n'est pas non plus doué pour se souvenir de ses objectifs, des choses qu'il a déjà essayées ou des endroits où il est déjà allé.

Il y a une raison assez simple à cela : les LLM ont une « fenêtre contextuelle » finie qui fait office de mémoire. Il ne peut contenir qu'une quantité limitée d'informations, et une fois que Claude atteint la limite, il condense ce qu'il a pour faire place à davantage. Ainsi, une information telle que « J'ai visité la ville de Viridian, je suis entrée dans tous les bâtiments et j'ai parlé à tous les PNJ » pourrait être condensée en simplement « J'ai visité la ville de Viridian », incitant Claude à revenir en arrière et à vérifier s'il y avait plus à faire dans la ville.

Pour résumer : Claude n'arrive pas à comprendre où il va, il marche dans les murs, prend des objets aléatoires pour des PNJ, oublie où il est allé et ce qu'il essaie de faire, et chaque décision qu'il prend nécessite des paragraphes et des paragraphes de raisonnement. Ce n'est pas une critique : ce sont deux expériences passionnantes qui poussent les LLM aussi loin que possible.

Mais avec tout le battage médiatique autour de l’IA, il semble important que les gens voient des démos comme celles-ci et se fassent leur propre opinion sur l’IA. Certains chiffres tentent de faire croire que nous sommes sur le point d'atteindre le sommet – que d'ici quelques années, l'IA dépassera même les humains les plus intelligents – mais je ne pense pas qu'ils soient sincères, ils ne sont que des vendeurs. Nous sommes loin du sommet, tout cela ne fait que commencer.