NVIDIA utilise les réseaux neuronaux et l’IA pour rendre en temps réel des objets photo-réalistes

NVIDIA vient de présenter une nouvelle façon de traiter les textures et l’illumination d’objets 3D en temps réel. Nommée “Neural Appearance Models“, cette technique fait appel à l’intelligence artificielle pour offrir un rendu extrêmement proche du photoréalisme. Évolutive et universelle, elle pourra être utilisée dans de nombreux domaines, du jeu vidéo en passant par la réalité virtuelle et le cinéma.

Comme avec sa technique de compression neuronale NVIDIA NTC, l’entreprise veut se servir de l’IA pour atteindre un niveau de détails et de texturing inégalé. La firme estime qu’en comparaison des méthodes traditionnelles, cette nouvelle technique multiplie entre 12 et 24 fois la vitesse de rendu.

Le nouveau procédé de NVIDIA semble particulièrement efficace et les exemples fournis par l’entreprise fourmillent de détails. Que ce soit la réfraction de la lumière ou les textures de la poussière et de l’eau, le résultat est impressionnant.

Des textures et une illumination traitées par IA

En utilisant des réseaux neuronaux interfacés avec les shaders de ray tracing/path tracing, l’efficacité et la vitesse du rendu des images en temps réel sont améliorées.

Lors du rendu 3D, chaque point d’impact de la lumière sur une surface texturée est évalué à l’aide d’une fonction BRDF (réflectivité bidirectionnelle). Cela permet de déterminer la façon dont la lumière se reflète et dans quelle direction elle va, suivant les matériaux et les textures de l’objet. Des éléments graphiques pré-existants (étudiés par l’IA) améliorent ensuite la qualité et optimisent le temps nécessaire pour faire des rendus de très haute définition.

La mise à l’échelle des textures est également accélérée par l’IA en fonction du nombre de “neurones” mis à disposition et de la complexité du modèle. Plus le réseau de neurones est dense, plus le résultat sera détaillé, mais en contrepartie le nombre plus importants de neurones entraine un temps de rendu plus élevé.

NVIDIA précise que sa méthode de rendu tire parti des outils d’apprentissage automatique tels que TensorFlow et PyTorch. Les langages de programmation OpenGL Shading Language (GLSL) et High-Level Shading Language (HLSL) de Microsoft sont également mis à contribution.

Bientôt des jeux aux textures photo-réalistes ?

Question hardware, l’entreprise aurait utilisé une GeForce RTX 4090 et ses nombreux Tensor Cores. Si le rendu des textures grâce au réseau neuronal est donc plus rapide, une carte graphique haut de gamme pourrait être nécessaire pour obtenir un résultat le plus réaliste possible.

La technique de rendu en temps réel Neural Appearance Models semble prometteuse, mais elle n’est encore qu’expérimentale. Il va falloir attendre un peu avant de la voir débarquer en jeu, d’autant plus qu’elle serait plutôt destinée aux artistes concepteurs.

Néanmoins, à l’avenir, elle devrait permettre aux joueurs de profiter d’une qualité de rendu inégalée. Il reste à voir s’il sera obligatoire de disposer d’une configuration utilisant du matériel conçu par NVIDIA pour en profiter, ou si les algorithmes pourront être adaptés et réutilisés sur des architectures concurrentes.