Les développeurs de Gran Turismo Sophy expliquent comment il a enseigné une conduite sportive à un coureur IA

En tant que première version publique importante de la technologie de Sony AI , qui a été créée en 2020, le prochain mode Gran Turismo Sophy Race Together pour Gran Turismo 7 sera la première exposition de nombreux joueurs à une technologie d'IA complexe qui pourrait avoir un impact durable sur de nombreux Les jeux de Sony Interactive Entertainment. En tant que tel, si l'IA est impolie, injuste et imbattable pour de nombreux joueurs, GT Sophy pourrait être considéré comme un autre signe d'avertissement indiquant que l'IA n'est pas encore prête pour les heures de grande écoute. C'est pourquoi s'assurer que GT Sophy a une étiquette sportive appropriée est une priorité pour ses développeurs.

" En course, vous devez vous assurer que vous conduisez de manière agressive parce que vous voulez gagner, mais en même temps, vous voulez conduire équitablement", a déclaré Michael Spranger, COO de Sony AI, à Digital Trends. « Vous ne pouvez pas heurter d'autres voitures afin d'obtenir un avantage et vous devez vous assurer que tout le monde peut rivaliser équitablement. C'est un domaine intéressant parce que ces règles sont assez imprécises; il y a un règlement, mais il doit être interprété par les juges. Faire cela correctement – conduire de manière agressive et compétitive par rapport à une conduite équitable – est l'un des grands défis de GT Sophy.

Sony AI, Sony Interactive Entertainment et Polyphony Digital ont confirmé que les joueurs pourront piloter GT Sophy dans un mode Gran Turismo 7 à durée limitée à partir du 21 février. seule la compétence de GT Sophy via l'apprentissage par renforcement, mais également son étiquette vis-à-vis d'un ensemble nébuleux de règles de courtoisie. Avant son ajout à Gran Turismo 7, Digital Trends s'est entretenu avec le COO de Sony AI Michael Spranger et le responsable du projet GT Sophy Peter Wurman pour en savoir plus sur leur approche éthique de la conduite sportive de GT Sophy et sur les futures utilisations qu'ils envisagent pour cette technologie dans les jeux.

L'interview qui suit a été modifiée par souci de brièveté et de clarté.

Qu'est-ce qui a fait de Gran Turismo l'option la plus attrayante pour développer une IA avancée en premier ?

Michael Spranger : C'était parce que c'était possible et parce que Gran Turismo est un jeu vraiment passionnant. Gran Turismo fait partie de PlayStation depuis le tout début. C'est un jeu emblématique qui offre ce domaine de défi spécifique du réalisme physique, de la stratégie, de la prise de décision et de l'étiquette sportive. De plus, il a un large public de personnes qui suivent réellement le jeu, ce qui signifie que toute technologie que nous développons dans le jeu peut avoir un impact potentiellement significatif sur des millions de joueurs. J'aime aussi le jeu. Ces choses combinées nous ont fait choisir Gran Turismo comme l'une des premières cibles pour les projets d'IA de jeu.

Comment l'apprentissage par renforcement permet-il à cette IA de prendre plus de risques ou de conduire de manière plus impressionnante que votre IA de jeu standard ? Est-ce juste essayer de piloter la ligne de course la plus précise ?

Peter Wurman : Il existe différents niveaux de compétence. La ligne de base roule plus vite sur la piste, donc l'apprentissage par renforcement fonctionne en laissant l'agent IA explorer l'effet de ses actions sur le monde, puis essayer de maximiser sa récompense. En lui donnant des signaux positifs pour aller plus vite sur la piste, il apprend à rouler très vite sur la piste. Il apprend à appuyer sur l'accélérateur et à entrer dans les virages pour ne pas s'écraser, ce qui fonctionne très bien pour l'entraîner pour un scénario de contre-la-montre.

Pour en faire un coureur compétitif , nous avons dû lui donner d'autres signaux de récompense pour le dépassement des voitures qui sont devant lui et pour ne pas empêcher les voitures derrière lui de le dépasser. Nous lui avons également infligé des pénalités en cas de collision ou de collision avec d'autres voitures. Cette combinaison de récompenses et de pénalités a demandé un certain effort pour être correcte, mais une fois que nous nous sommes entraînés avec la bonne population d'adversaires, il a appris à être un coureur très efficace.

Quels ont été les plus grands enseignements des deux premiers événements Race Together que vous avez organisés avec les meilleurs joueurs de Gran Turismo Sport ?

Peter Wurman : Si vous avez suivi le projet, vous saurez qu'il y avait deux courses. Le premier, nous avons bien fait, mais nous n'avons pas gagné le Team Score. Certaines des choses intéressantes que nous avons apprises de cela concernaient la recherche d'un équilibre entre l'affirmation de soi et le fait d'être un bon sport. Nous avons découvert deux semaines à l'avance que l'agent que nous avions formé était trop agressif et ne serait pas autorisé à courir, nous avons donc dû brouiller les pistes et ajuster les choses. Vous ne pouvez pas avoir un agent IA vraiment doué pour conduire vite et un autre qui réfléchissait aux aspects tactiques du dépassement ; au lieu de cela, nous avons dû les incorporer ensemble dans un agent cohérent qui faisait les deux en même temps. Ce sont les choses que nous avons vues après la course de juillet 2021 , nous nous sommes donc sentis beaucoup plus confiants pour la course d'octobre 2021 .

Michael Spranger: Il y a eu cette chose où on nous a dit que c'était trop agressif, mais ensuite le premier jour de course d'exhibition, nous avons en fait perdu la course parce que nous n'étions pas assez agressifs et timides. Le problème de la façon dont vous équilibrez ces choses était vraiment évident tout au long du développement du projet.

Quels changements ont dû être apportés à GT Sophy lorsque vous avez pris la décision de l'ajouter à Gran Turismo 7 et de ne pas simplement l'entraîner dans un environnement de test ?

Peter Wurman : Le plus important est que dans toutes les expositions, GT Sophy fonctionnait sur un ordinateur séparé et parlait via une connexion réseau à la console PlayStation. Ici, GT Sophy est intégré au jeu. Le faire fonctionner sur une PlayStation avec les ressources dont nous disposions après tout le rendu et d'autres choses en cours était un peu de travail d'ingénierie.

L'autre chose est que Polyphony Digital voulait vraiment que l'agent soit un très bon exemple de style de course et de compétence de course. Nous avons apporté quelques modifications pour encourager GT Sophy à rester davantage dans les lignes. Si vous avez regardé l'une des expositions, vous verrez qu'il était vraiment bon d'utiliser toute la piste, mettant parfois deux pneus dans l'herbe. C'est légal, mais pas exactement ce que vous pourriez faire dans une vraie voiture de course. Nous avons apporté quelques modifications pour garder GT Sophy entre les lignes. C'est toujours très rapide mais un peu plus propre.

Quelles sont les principales choses que l'équipe Sony AI espère apprendre en ajoutant Gran Turismo Sophy Race Together à Gran Turismo 7 ?

Peter Wurman : Le principal est que nous espérons que les gens apprécieront de jouer contre lui, se sentiront vraiment mis au défi à tous les niveaux de compétence et apprendront à devenir des pilotes de course mieux simulés.

Michael Spranger : Nous voulons également voir comment les gens interagissent avec la technologie. À l'heure actuelle, c'est une poignée de personnes qui ont expérimenté la technologie, nous sommes donc curieux de voir comment les gens vont l'utiliser pour apprendre par eux-mêmes, acquérir de nouvelles compétences et vivre de nouvelles expériences. Je pense que c'est au cœur du projet à bien des égards. Nous avons la percée technologique, et je pense que c'est vraiment important, mais je pense que nous ouvrons une toute nouvelle étape pour les gens et dans Gran Turismo. À bien des égards, l'IA intégrée a une bande de performances assez étroite, et vous pouvez la dépasser une fois que vous devenez un pilote intermédiaire sur chaque difficulté.

Même avec les relativement peu de combinaisons piste-voiture que nous avons dévoilées ici, de ce que je peux faire à ce que certains des meilleurs joueurs peuvent faire, tout le monde peut trouver un match vraiment intéressant. Nous espérons en voir plus et voir comment les gens en tireront des leçons. Il est également très difficile pour certains joueurs de trouver de bons adversaires, et pour la première fois, vous pouvez avoir des interactions répétées avec un adversaire digne sans avoir à appeler tous vos amis et à les réunir tous. Ce sera quelque chose où les gens pourront faire beaucoup de progrès pour s'améliorer dans le jeu parce qu'ils peuvent avoir ces expériences sur mesure dans une certaine mesure.

Sur le plan éthique, pouvez-vous expliquer le processus de détermination de ce qui constitue une conduite sportive pour GT Sophy afin qu'il ne harcèle pas certains joueurs ?

Peter Wurman : Eh bien, il ne peut pas vous parler , donc il y a beaucoup de mauvaises choses que GT Sophy ne peut pas faire parce que cela ne fait pas partie du jeu. Nous nous concentrons principalement sur le respect des règles de l'esprit sportif en course automobile. maintenant, ceux-ci sont assez nébuleux. Vous ne pouvez pas bloquer une opportunité de dépassement légitime et des choses comme ça. Il y a un tas de mots flous dans ces règles qui étaient difficiles à encoder et à programmer, nous avons donc dû les approximer avec des signaux de récompense et des pénalités s'il faisait des choses comme heurter une autre voiture.

Ensuite, nous avons dû le donner à Polyphony Digital et tester les pilotes et les laisser nous faire part de leurs commentaires, car la course contre d'autres agents IA ne nous montre pas vraiment s'il est prêt à courir contre la variété des styles de course humains. Cela a demandé des efforts et des itérations pour bien faire les choses.

Michael Spranger : Pour cette version, je pense qu'il est juste de dire qu'elle est compétitive. Il va essayer de dépasser les joueurs, mais il ne va pas les bombarder en piqué. C'est compétitif mais poli. Cela vous met définitivement la pression; vous allez le voir dans les rétroviseurs essayer de vous dépasser. En même temps, il va essayer de vous donner de l'espace pour que vous puissiez courir de manière compétitive mais équitable.

Peter Wurman : Mais si vous faites un gâchis, ça en profitera.

Michael Spranger : C'est vrai, instantanément !

Où voyez-vous la technologie GT Sophy et AI dans les jeux Sony au cours des cinq prochaines années ?

Michael Spranger : Évidemment, nous ne pouvons rien annoncer de spécifique, mais en général, il y a plusieurs couches. Il y a encore des défis et des choses que nous pouvons faire dans Gran Turismo pour débloquer de nouvelles expériences, et je ne pense pas que nous en ayons fini avec ça. Il y a un réel enthousiasme à pousser la technologie plus loin. Ensuite, du point de vue Sony AI de la R&D d'entreprise et des initiatives stratégiques, nous sommes vraiment enthousiasmés par ce que cette technologie peut apporter au jeu en général.

D'autres jeux nous donneront un défi différent à relever et renforceront les capacités de la technologie. C'est une technologie émergente qui a connu quelques succès dans le passé, mais je pense que ce que nous faisons ici est assez distinct dans le sens où nous réalisons des percées scientifiques, mais nous la déployons également et nous nous assurons que les gens mettent la main dessus la technologie IA. Cela va faire avancer la technologie et débloquer de plus grandes expériences.

L'interaction est au cœur de PlayStation, ce n'est pas une erreur qu'elle s'appelle Sony Interactive Entertainment. Il s'agit vraiment de votre interaction avec les choses que vous trouvez dans le jeu, et je pense que cette technologie a le potentiel de vraiment débloquer la prochaine génération de jeux, et nous sommes vraiment excités à ce sujet.