Comment fonctionne le DLSS 3 de Nvidia (et pourquoi AMD FSR ne peut pas rattraper son retard pour le moment)

Les cartes graphiques de la série RTX 40 de Nvidia arrivent dans quelques semaines, mais parmi toutes les améliorations matérielles se trouve ce qui pourrait être l'œuf d'or de Nvidia : DLSS 3 . C'est bien plus qu'une simple mise à jour de la fonction populaire DLSS (Deep Learning Super Sampling) de Nvidia, et cela pourrait finir par définir la prochaine génération de Nvidia bien plus que les cartes graphiques elles-mêmes.

AMD a travaillé dur pour obtenir sa super résolution FidelityFX (FSR) à égalité avec DLSS, et au cours des derniers mois, cela a été un succès. DLSS 3 semble changer cette dynamique – et cette fois, FSR pourrait ne pas être en mesure de rattraper son retard de si tôt.

Comment fonctionne DLSS 3 (et comment il ne fonctionne pas)

Vous seriez pardonné de penser que DLSS 3 est une toute nouvelle version de DLSS , mais ce n'est pas le cas. Ou du moins, ce n'est pas tout à fait nouveau. L'épine dorsale de DLSS 3 est la même technologie de super-résolution qui est disponible dans les titres DLSS aujourd'hui, et Nvidia continuera probablement à l'améliorer avec de nouvelles versions. Nvidia dit que vous verrez maintenant la partie super-résolution de DLSS 3 comme une option distincte dans les paramètres graphiques.

La nouvelle partie est la génération de trame. DLSS 3 générera une image entièrement unique toutes les deux images, générant essentiellement sept pixels sur huit que vous voyez. Vous pouvez en voir une illustration dans l'organigramme ci-dessous. Dans le cas de 4K, votre GPU rend uniquement les pixels pour 1080p et utilise ces informations non seulement pour l'image actuelle mais aussi pour l'image suivante.

La génération d'images, selon Nvidia, sera une bascule distincte de la super résolution. En effet, la génération de trames ne fonctionne pour l'instant que sur les GPU de la série RTX 40, tandis que la super résolution continuera de fonctionner sur toutes les cartes graphiques RTX, même dans les jeux qui ont été mis à jour vers DLSS 3. Cela devrait aller de soi, mais si la moitié de votre les images sont entièrement générées, cela va beaucoup améliorer vos performances.

La génération de trames n'est cependant pas qu'une sauce secrète de l'IA. Dans DLSS 2 et des outils comme FSR , les vecteurs de mouvement sont une entrée clé pour la mise à l'échelle. Ils décrivent où les objets se déplacent d'une image à l'autre, mais les vecteurs de mouvement ne s'appliquent qu'à la géométrie d'une scène. Les éléments qui n'ont pas de géométrie 3D, comme les ombres, les réflexions et les particules, ont traditionnellement été masqués du processus de mise à l'échelle pour éviter les artefacts visuels.

Le masquage n'est pas une option lorsqu'une IA génère une image entièrement unique, c'est là que l'accélérateur de flux optique des GPU de la série RTX 40 entre en jeu. C'est comme un vecteur de mouvement, sauf que la carte graphique suit le mouvement de pixels individuels d'une image à l'autre. Ce champ de flux optique, ainsi que les vecteurs de mouvement, la profondeur et la couleur, contribuent au cadre généré par l'IA.

Cela ressemble à tous les avantages, mais il y a un gros problème avec les images générées par l'IA : elles augmentent la latence. L'image générée par l'IA ne passe jamais par votre PC – c'est une "fausse" image, vous ne la verrez donc pas sur les lectures fps traditionnelles dans des jeux ou des outils comme FRAPS. Ainsi, la latence ne diminue pas malgré le nombre d'images supplémentaires, et en raison de la surcharge de calcul du flux optique, la latence augmente en fait. Pour cette raison, DLSS 3 nécessite Nvidia Reflex pour compenser la latence plus élevée.

Normalement, votre processeur stocke une file d'attente de rendu pour votre carte graphique afin de vous assurer que votre GPU n'attend jamais le travail à faire (ce qui entraînerait des saccades et des baisses de fréquence d'images). Reflex supprime la file d'attente de rendu et synchronise votre GPU et votre CPU afin que dès que votre CPU peut envoyer des instructions, le GPU commence à les traiter. Lorsqu'il est appliqué au-dessus de DLSS 3, Nvidia dit que Reflex peut parfois même entraîner une réduction de la latence.

Où l'IA fait la différence

Le FSR 2.0 d'AMD n'utilise pas l'IA, et comme je l'ai écrit il y a quelque temps, cela prouve que vous pouvez obtenir la même qualité que DLSS avec des algorithmes au lieu de l'apprentissage automatique. DLSS 3 change cela avec ses capacités uniques de génération de trames, ainsi que l'introduction du flux optique.

Le flux optique n'est pas une idée nouvelle – il existe depuis des décennies et a des applications dans tout, des applications de montage vidéo aux voitures autonomes. Cependant, le calcul du flux optique avec l'apprentissage automatique est relativement nouveau en raison de l'augmentation des ensembles de données sur lesquels former les modèles d'IA. La raison pour laquelle vous voudriez utiliser l'IA est simple : elle produit moins d'erreurs visuelles avec suffisamment de formation et elle n'a pas autant de temps système lors de l'exécution.

DLSS s'exécute au moment de l'exécution. Il est possible de développer un algorithme, sans apprentissage automatique, pour estimer comment chaque pixel se déplace d'une image à l'autre, mais c'est coûteux en calcul, ce qui va à l'encontre de l'intérêt du suréchantillonnage en premier lieu. Avec un modèle d'IA qui ne nécessite pas beaucoup de puissance et suffisamment de données d'entraînement – et rassurez-vous, Nvidia dispose de nombreuses données d'entraînement pour travailler – vous pouvez obtenir un flux optique de haute qualité et pouvant s'exécuter au moment de l'exécution.

Cela conduit à une amélioration de la fréquence d'images, même dans les jeux limités par le processeur. Le suréchantillonnage ne s'applique qu'à votre résolution, qui dépend presque exclusivement de votre GPU. Avec une nouvelle image qui contourne le traitement du processeur, DLSS 3 peut doubler les fréquences d'images dans les jeux même si vous avez un goulot d'étranglement complet du processeur . C'est impressionnant et actuellement uniquement possible avec l'IA.

Pourquoi FSR 2.0 ne peut pas rattraper son retard (pour l'instant)

AMD a vraiment fait l'impossible avec FSR 2.0. Il a l'air fantastique, et le fait qu'il soit indépendant de la marque est encore mieux. Je suis prêt à abandonner DLSS pour FSR 2.0 depuis que je l'ai vu pour la première fois dans Deathloop . Mais même si j'apprécie FSR 2.0 et que je pense que c'est un excellent kit d'AMD, il ne va pas rattraper DLSS 3 de si tôt.

Pour commencer, développer un algorithme capable de suivre chaque pixel entre les images sans artefacts est assez difficile, en particulier dans un environnement 3D avec des détails fins et denses ( Cyberpunk 2077 en est un excellent exemple). C'est possible, mais difficile. Le plus gros problème, cependant, est de savoir à quel point cet algorithme devrait être gonflé. Suivre chaque pixel dans l'espace 3D, effectuer le calcul du flux optique, générer une image et nettoyer tout incident qui se produit en cours de route – c'est beaucoup demander.

Faire fonctionner cela pendant l'exécution d'un jeu tout en offrant une amélioration de la fréquence d'images au niveau de FSR 2.0 ou DLSS, c'est encore plus à demander. Nvidia, même avec des processeurs dédiés et un modèle formé, doit toujours utiliser Reflex pour compenser la latence plus élevée imposée par le flux optique. Sans ce matériel ou ce logiciel, FSR échangerait probablement trop de latence pour générer des trames.

Je ne doute pas qu'AMD et d'autres développeurs finiront par y arriver – ou trouveront un autre moyen de contourner le problème – mais cela pourrait prendre quelques années. C'est difficile à dire maintenant.

Ce qui est facile à dire, c'est que DLSS 3 semble très excitant. Bien sûr, nous devrons attendre qu'il soit là pour valider les performances de Nvidia et voir comment la qualité de l'image se maintient. Jusqu'à présent, nous n'avons qu'une courte vidéo de Digital Foundry montrant des séquences DLSS 3 (ci-dessus), que je vous recommande vivement de regarder jusqu'à ce que nous voyions d'autres tests tiers. De notre point de vue actuel, cependant, DLSS 3 semble certainement prometteur.

Cet article fait partie de ReSpec – une colonne bihebdomadaire continue qui comprend des discussions, des conseils et des rapports approfondis sur la technologie derrière les jeux sur PC.