NVIDIA 3D MoMa : des objets 3D créés dans le laps de temps d’une jam session

Rémi Bouvet , le 21 juin 2022

La société présente une méthode permettant d’importer rapidement des objets 3D dans un moteur.

NVIDIA Research présente une nouveau pipeline de rendu appelu NVIDIA 3D MoMa. Il permet de former des objets en 3D à partir d’images en 2D ; ainsi, il “pourrait permettre aux architectes, designers, concepteurs et développeurs de jeux d’importer rapidement un objet dans un moteur graphique pour commencer à travailler avec lui, en modifiant l’échelle, en changeant le matériau ou en expérimentant différents effets de lumière”.

Pour illustrer son outil, qui sera présenté dans le cadre de la Conference on Computer Vision and Pattern Recognition, NVIDIA propose la vidéo ci-dessus. La société n’a pas choisi de faire référence au jazz par hasard. Elle explique : “Le jazz est synonyme d’improvisation – et NVIDIA rend hommage au genre avec une recherche en IA qui pourrait un jour permettre aux créateurs d’improviser avec des objets 3D créés juste dans l’espace de temps qu’il faut pour tenir une jam session”.

NVIDIA Instant NeRF transforme des photos 2D en scènes 3D en ‘quelques secondes’

Le “Saint Graal”

Selon David Luebke, vice président de la recherche graphique chez NVIDIA, la création d’objets en 3D à partir d’images en 2D est “le Saint Graal qui unifie la vision par ordinateur et l’infographie”. Il explique : “[…] le pipeline de rendu NVIDIA 3D MoMa utilise les mécanismes de l’IA moderne et la puissance de calcul brute des GPU NVIDIA pour produire rapidement des objets 3D que les créateurs peuvent importer, modifier et étendre sans limitation dans les outils existant”.

Plus précisément, l’article publié par Isha Salian, précise que pour être “le plus utile possible à un artiste ou à un ingénieur, un objet 3D doit être sous une forme qui peut être importée dans des outils largement utilisés comme les moteurs de jeux, les modeleurs 3D [logiciels de modélisation tridimensionnelle] et les moteurs de rendu de films. Cette forme est un maillage triangulaire avec des matériaux texturés, le langage commun utilisé par ces outils 3D”.

Traditionnellement, “les studios de jeux et autres créateurs créent des objets 3D de ce type à l’aide de techniques de photogrammétrie complexes qui nécessitent beaucoup de temps et d’efforts manuels. Les travaux récents sur les champs de radiance neuronaux peuvent générer rapidement une représentation 3D d’un objet ou d’une scène, mais pas dans un format de maillage triangulaire facilement modifiable.”

A lire aussi, les actualités les plus récentes au sujet de NVIDIA et ses technologies :

Des modèles générés en une heure environ

Or, “NVIDIA 3D MoMa génère des modèles de maillage triangulaire en une heure sur un seul GPU NVIDIA Tensor Core. Le résultat du pipeline est directement compatible avec les moteurs graphiques 3D et les outils de modélisation que les créateurs utilisent déjà.

La reconstruction du pipeline comprend trois éléments : un modèle de maillage 3D, des matériaux et un éclairage. Le maillage est comme un modèle en papier mâché d’une forme 3D construite à partir de triangles. Grâce à lui, les développeurs peuvent modifier un objet pour l’adapter à leur vision créative. Les matériaux sont des textures 2D superposées aux maillages 3D comme une peau. Et l’estimation par NVIDIA 3D MoMa de l’éclairage de la scène permet aux créateurs de modifier ultérieurement l’éclairage des objets.”