Comment l’équipe Thanos VFX a donné vie aux personnages de The Quarry (puis les a tués)

Le développeur de jeux Supermassive Games a reçu de nombreux éloges pour son aventure d'horreur interactive et cinématographique Jusqu'à l'aube , et l'a suivi avec le "successeur spirituel" de cette année à ce hit de 2015, The Quarry . Le jeu met les joueurs aux commandes d'un groupe de conseillers de camp qui se retrouvent assiégés par une variété de menaces mortelles – à la fois humaines et surnaturelles – après s'être retrouvés bloqués sur le terrain de camping éloigné où ils ont passé leur été.

Comme jusqu'à l'aube , The Quarry présente un casting d'acteurs familiers représentant les personnages du jeu, avec un mélange de systèmes de capture de performances de pointe et d'une technologie d'effets visuels de niveau hollywoodien permettant aux acteurs de donner vie à leurs homologues du jeu et de mettre le destin de ces personnages entre les mains des joueurs. Afin d'apporter le travail des acteurs sur un jeu de capture de performances dans le monde terrifiant du jeu, Supermassive a recruté le studio d'effets visuels oscarisé Digital Domain , mieux connu pour son travail de transformation de Josh Brolin en Thanos dans Avengers : Infinity War .

Digital Trends a précédemment parlé à l'équipe de Digital Domain du système de suivi facial Masquerade basé sur l'IA qu'ils ont développé pour Infinity War , qui a reçu une mise à niveau significative depuis ce film de 2018. Il revient maintenant sur le devant de la scène dans The Quarry , un jeu créé à l'aide du système amélioré Masquerade 2.0 du studio. Le directeur créatif et superviseur VFX de Digital Domain sur The Quarry , Aruna Inversin , et le producteur principal Paul "Pizza" Pianezza ont expliqué comment un mélange de technologie révolutionnaire, de techniques de cinéma intelligentes et de performances inspirées de la distribution du jeu a rendu la dernière aventure interactive de Supermassive aussi excitante pour son équipe créative comme pour les joueurs.

[Remarque : Cette interview discutera des points de l'intrigue dans The Quarry . Considérez ceci comme un avertissement de spoiler si vous n'avez pas encore joué au jeu.]

Tendances numériques : En 2019, nous avions discuté de Masquerade, le système de capture faciale Digital Domain développé pour Thanos dans Avengers : Infinity War . Votre équipe a créé Masquerade 2.0 pour faire quelque chose de similaire avec The Quarry , mais avec plus de personnages et sur beaucoup plus de temps d'écran. Quelles ont été les grandes étapes en cours de route ?

Aruna Inversin : Thanos était le produit le plus médiatisé, parce que c'est Marvel, mais une grande partie de notre développement [sur les systèmes de capture faciale] a commencé en 2007 lorsque nous travaillions sur L'Étrange histoire de Benjamin Button . Une grande partie de [notre travail sur ce film] consistait en quelque sorte à tout comprendre. Après cela, nous avons travaillé sur Tron : Legacy , nous avons donc poussé les humains numériques pour les longs métrages pendant un certain temps. Cependant, cela a vraiment fait un énorme bond en avant avec Thanos et le processus de mascarade.

Que vous permettent de faire Mascarade et Mascarade 2.0 ?

Inversin : Cela nous permet de prendre n'importe quel type de caméra frontale, puis de piloter un personnage numérique, un visage numérique, avec. Pour Thanos, c'était intéressant car nous avions une prestation non humaine de la performance. Et bien sûr, il y avait des animateurs qui sont entrés et l'ont peaufiné pour faire de lui Thanos. Il y a cependant toujours une performance sous-jacente de Josh Brolin. Depuis lors, nous avons travaillé sur l'efficacité du côté temps réel – comment rendre Masquerade plus en temps réel, plus efficace et plus rentable. Et ce faisant, nous avons créé quelques autres produits. Masquerade 2.0 est une combinaison du suivi de la tête et de tous les autres développements auxiliaires qui le rendent plus efficace. Il y a un meilleur suivi automatisé des yeux, un suivi d'intégration plus automatisé de l'emplacement des points sur le visage, plus d'apprentissage automatique… C'est une multiplication par dix de la quantité de données que nous pouvons fournir et avec lesquelles interagir.

Le temps total à l'écran de Thanos était de 45 minutes. Nous sommes désormais en mesure de fournir 32 heures [de performance] à plus de personnages pour The Quarry .

À quoi ressemble le processus général lorsque vous collectez des données auprès d'acteurs sur quelque chose comme The Quarry ?

Paul Pianezza : Nous avons capturé 32 heures de séquences, mais pour commencer, nous faisons des sets d'entraînement. Nous allons prendre les acteurs et faire quelques analyses de données sur eux. Et à partir de là, nous collectons environ 60 secondes de données ROM (Range of Motion). Puis on fait un scanner corps entier. Après cela, nous faisons plus de ROM et capturons plus de formes de visage pour établir une ressemblance 1: 1 – comment le visage bouge et tout ce genre de choses. C'est notre point de départ. Et puis, quand nous allons tourner tous les jours, nous ferons encore plus de captures ROM au fur et à mesure qu'ils se produisent, de sorte que l'ensemble à partir duquel nous travaillons devient de plus en plus grand avec le temps.

C'est une chose d'avoir tout ce matériel brut, mais quel genre de défis rencontrez-vous généralement lorsque vous essayez de le manipuler et de le modifier en temps réel pour quelque chose d'interactif comme un jeu ?

Inversin : Une fois que nous avons tous les ensembles d'entraînement, l'un des défis est qu'une fois que vous ajoutez la performance d'un acteur au mélange, il ne se contente pas de vous montrer comment son visage et son corps bougent. Ils courent, sautent, luttent avec des loups-garous et font toutes sortes de choses. Et afin de suivre cela, nous avons mis au point de nouvelles technologies qui nous permettent de stabiliser la caméra principale et de capturer le mouvement sans être affecté par l'oscillation de la caméra principale, par exemple. Ces caméras sont assez lourdes, nous avons donc dû faire évoluer la stabilisation et le suivi de la caméra et le système d'apprentissage automatique afin que lorsqu'un personnage court, vous voyez le visage bouger avec gravité pendant qu'il court. Cette nuance dans une performance en temps réel est quelque chose que vous n'obtenez pas si vous capturez le visage d'un acteur séparément de sa performance corporelle. Nous aimons tout capturer simultanément afin que les acteurs aient non seulement ce rapport les uns avec les autres, mais que le mouvement de leurs visages corresponde à ce qu'ils font physiquement.

Pianezza : Et ce qui est amusant, c'est que lorsque vous capturez 32 heures de séquences avec ces caméras, vous trouvez toutes les manières possibles de les casser.

Inversin : D'accord ? Câbles devant le visage, casques qui s'envolent… Heureusement, nous avions une relation vraiment transparente avec Supermassive. Lorsque nous étions sur le plateau et avons appelé Will [Byles, directeur de The Quarry ] qu'un câble passait devant le visage de quelqu'un ou qu'une caméra frontale était éteinte ou autre, Will avait toujours la prévoyance de savoir si c'était quelque chose qui devait être abattu, ou il dirait: «Pas de problème. Je vais couper autour de ça.

Les mouvements subtils du visage dans le jeu sont fascinants – comme, quand quelqu'un louche très légèrement pour suggérer qu'il est sceptique, ou bouge son menton d'une manière minuscule qui suggère qu'il est nerveux. Comment capturez-vous ce niveau de subtilité et gardez-vous les personnages hors de l' étrange vallée ?

Pianezza : C'est une de ces choses dont nous parlons constamment : les imperfections et les subtilités qui en font une réalité. Tout ce que nous avons capturé a été conçu pour cela. C'est pourquoi nous avons 32 heures, 4500 plans de matériel. Et lorsque vous obtenez le système composé de tout ce matériel, vous obtenez toutes ces subtilités dans les performances des acteurs.

Inversin : L'un des très bons arguments de vente du système que nous avons développé est qu'il reconnaît que les mouvements subtils – ces contractions oculaires et d'autres choses que vous avez vues dans le jeu – sont vraiment importants. Ils viennent directement de l'acteur. Il n'y a pas d'animation supplémentaire sur eux. Ainsi, les acteurs savent que leur performance sera transférée à ce personnage numérique avec un haut niveau de fidélité. Et ça ne fera que s'améliorer avec le temps.

Alors, comment gérez-vous les scènes de mort dans le jeu ? Changent-ils la façon dont vous captez les performances ou les traduisez-vous ?

Inversin : Eh bien, d'abord, qui as-tu tué quand tu as joué ? Qui est mort sous votre surveillance ?

Deux conseillères sont mortes lors de ma partie, Abigail (Ariel Winter) et Kaitlyn (Brenda Song), ce dont je suis en fait assez satisfait, compte tenu de mon nombre de morts typique lors de la première manche dans des jeux comme celui-ci.

Inversin : Si c'était la scène de la mort d'Abi dans le hangar à bateaux, c'était l'une de mes préférées. Will a donné des instructions aux acteurs en disant: "D'accord, tu dois rester ici, Ariel, et faire semblant de tomber à genoux et de mourir. Et Evan [Evagora, qui joue le rôle du conseiller Nick Furcillo dans le jeu], tu dois lui sauter dessus, mais pas tout le chemin, parce que tu vas être un loup-garou à un certain moment. Et donc nous avons joué cela sur le plateau. Ariel hurle, tombe à genoux et s'effondre. Et puis Nick saute et s'arrête, et c'était tout pour la prise. Will était comme, « Prise parfaite. Avaient fini." Et puis ils sont tous les deux comme, "Attendez, que va-t-il se passer dans la scène?" Mais après que la tête d'Abi s'est détachée et que la caméra est revenue sur sa chute, c'était une véritable photographie mo-cap de sa chute et de sa mort. L'expression sur son visage à la fin était également une expression qu'elle avait faite sur le plateau dans ses dernières affres. Cette expression est totalement elle. Ils ont juste en quelque sorte tenu ce cadre. Ce jour-là était amusant.

Pianezza : Les gens peuvent aussi mourir de tant de façons différentes, mais vous ne pourrez peut-être faire que deux prises en peu de temps, sinon ils perdront leur voix à cause de tous les cris. C'était comme: "D'accord, je dois encore mourir, alors faisons une pause maintenant pour que je puisse crier plus tard." Vous avez dû planifier un tas de décès différents, répartis sur le tournage.

Inversin : Il y a eu une super période avec Justice [Smith, qui joue le conseiller Ryan], au cours des chapitres sept ou huit, quand il est chez les Hackett et qu'il se fait pourchasser. Ce jour-là était un peu fou. C'était comme: "D'accord, Justice, vous allez mourir six fois aujourd'hui et chacune va être horrible."

Garder une trace de toutes les permutations des arcs d'histoire dans un jeu comme celui-ci semble devenir écrasant.

Pianezza : Tout était Will. C'était vraiment impressionnant. Par exemple, Dylan [joué par Miles Robbins] peut perdre son bras à un moment donné, soit par une tronçonneuse, soit par un fusil de chasse.

Je suis allé avec le fusil de chasse.

Pianezza : Ok, donc vous connaissez cette scène. Quand ils tournaient différentes scènes plus tard, Will disait: "D'accord, tu dois le faire avec ta main gauche maintenant parce que tu as peut-être perdu ton bras droit à ce stade." Il garde une trace de tout dans sa tête.

Comment avez-vous acclimaté des acteurs qui ne sont peut-être pas familiers avec la technologie de capture de performances ou les jeux de cinéma interactifs comme celui-ci au processus ?

Pianezza : Digital Domain a une si longue histoire dans ce genre de choses, nous pourrions donc leur montrer des exemples de ce que Brolin a fait pour Thanos, par exemple. Nous leur avons dit : « Vous n'avez pas à exagérer. Vous êtes entre de bonnes mains. Une grande partie de ce que nous faisons dans les nouveaux médias n'est pas traditionnelle, nous faisons donc beaucoup d'éducation, pour les clients, les acteurs ou qui que ce soit. Et dans ce cas, vous leur dites essentiellement que c'est comme du théâtre. Il n'y a pas de plans rapprochés, larges et moyens, car tout est virtuel. Toutes ces caméras fonctionnent en même temps, essentiellement.

Inversin : Une grande partie de la distribution était vraiment intéressée par le processus, et être transparent avec eux et savoir ce qui pourrait en sortir était vraiment bien. Will était super pour les diriger, en disant: «C'est comme une pièce de théâtre. Nous pouvons mettre les caméras n'importe où. Ce répertoire et cette camaraderie entre les acteurs, sachant qu'ils pouvaient se rapprocher, parler et jouer comme dans n'importe quelle pièce de théâtre, étaient vraiment importants pour capturer les personnages. La séquence du prologue avec Ted Raimi, Siobhan Williams et Skyler Gisondo a été un grand moment d'ensemble. Les plaisanteries de va-et-vient sont si bonnes, et cela vient du fait que ces acteurs jouent comme si c'était une pièce de théâtre.

Comment ont-ils réagi en voyant les personnages issus de leurs performances ?

Pianezza : Ce qui est vraiment cool, c'est que pour mettre les gens à l'aise, nous pouvons associer leur performance à leur propre corps dans le jeu en temps réel, donc s'ils bougent leur bras, ils voient le personnage du jeu bouger son bras. Surtout avec des acteurs qui n'ont jamais fait ça, il y a un aspect très libérateur, parce qu'il suffit de donner une bonne performance une fois. Vous n'avez pas besoin de vous arrêter, de rallumer la scène ou de repositionner la caméra, et de tout recommencer. Vous pouvez simplement vous dire : « Excellente performance ! Vous avez terminé." Parce que tout ce qui nous intéresse, c'est la performance de l'acteur. Nous pouvons comprendre les caméras et l'éclairage et autres plus tard.

Inversin : La possibilité d'enchaîner les prises offre la liberté de tourner rapidement et de garder les acteurs, le réalisateur et l'équipe dans l'état d'esprit de la performance également. Sur un plateau traditionnel, vous faites des allers-retours, changez les lumières et les caméras, etc., démarrez et arrêtez. Parfois, cela prend les gens hors du moment. Cela permet à chacun d'y rester vraiment.

Où voyez-vous des systèmes comme Masquerade prendre des films et des jeux sur la route ? Quel genre d'avenir pour les films et les jeux cela crée-t-il ?

Pianezza : Je veux juste voir cet espace narratif interactif exploser. Beaucoup de gens des deux côtés – jeux et effets visuels – aiment les deux. Et cela les mélange si bien. Ce qui est vraiment cool pour moi, cependant, c'est que vous créez ce truc numériquement, donc les terrains de camping de Hackett's Quarry existent pour toujours. S'ils veulent revisiter ce monde à un moment donné, vous pouvez le faire, car c'est numérique. Vous n'avez pas à vous soucier d'obtenir un permis pour tourner à nouveau sur place, ou de reconstruire des décors, ou de planifier des tournages de nuit, ou quoi que ce soit, car tout est numérique. Tout est là. Il suffit de revenir en arrière et de rallumer l'ordinateur.

Inversin : L'opportunité pour le contenu téléchargeable, en particulier, est énorme. Les actifs sont tous là, donc au fur et à mesure que vous avancez, vous pouvez faire ce genre de chose récurrente, et avec ces mêmes personnages, vous pouvez amortir le coût sur différents épisodes ou chapitres. Vous pouvez avoir une série d'horreur avec chaque épisode se produisant tous les deux mois, construite autour de ce groupe de personnages qui vit ou meurt et change. Il est donc facile de voir le potentiel cinématographique et narratif interactif là-bas, et c'est assez puissant. Nous ne faisons que commencer.

Supermassive Games et 2K's The Quarry sont maintenant disponibles pour Windows, PlayStation 4, PlayStation 5, Xbox One et Xbox Series X/S.