Toy Jensen, l’avatar entièrement piloté par l’IA du PDG de NVIDIA, se la joue interprète dans un décor enneigé issu de Minecraft RTX. Une séquence réalisée en seulement quelques heures et qui sert de vitrine à Omniverse ACE avant la sortie en accès anticipé.
Le PDG de NVIDIA, Jensen Huang, s’est parfois mis en scène par le passé ; nous l’avons par exemple vu en cuistot spécialisé en GPU, sortant des GPU Ampere de son four. Depuis quelque temps, il a toutefois délégué ce rôle de boute-en-train à son avatar, appelé Toy Jensen : lors de la GTC 2021, celui-ci répondait à quelques questions. À l’occasion des fêtes de fin d’année, Toy Jensen remonte sur scène, cette fois pour pousser la chansonnette. Au-delà de l’aspect ludique, c’est un moyen pour NVIDIA d’illustrer les capacités de son ACE, Omniverse Avatar Cloud Engine.
Nous retrouvons donc l’avatar, vêtu de la traditionnelle veste en cuir de son modèle humain. Il interprète Jingle Bells, à grand renfort de gestuelle et de claquements de doigts. L’arrière-plan est un décor provenant du monde Winter Wonderland de Minecraft RTX (réalisé par Ushio Tokura, Applerain, et AlphaRLe).
Pour replacer la vidéo dans son contexte, elle s’inspire d’une autre séquence. En novembre dernier, lors d’une visite à Taipei, le PDG de NVIDIA a fait une apparition dans une vidéo de Lah Yileh Lee et Xinting Lee chantant Always Remember Us This Way de Lady Gaga. Hélas, d’après NVIDIA, Jensen Huang ne se sent pas encore prêt à interpréter Jingle Bells en personne. Il a donc préféré confier cette épreuve à Toy Jensen.
NVIDIA Instant NeRF transforme des photos 2D en scènes 3D en ‘quelques secondes’
Une vidéo réalisé en seulement quelques heures
Sur son site, NVIDIA précise que ACE est “une collection de modèles et de services d’IA basés sur le cloud computing permettant aux développeurs de créer, personnaliser et déployer facilement des avatars interactifs et attrayants”.
Concernant plus spécifiquement la vidéo ci-dessus, les équipes de NVIDIA l’ont réalisée en quelques heures. Ainsi, l’entreprise argue que “contrairement au développement actuel d’avatars, qui nécessite une expertise, un équipement spécialisé et des flux de travail manuels intensifs, Omniverse ACE, basé sur la plate-forme Omniverse et de l’Unified Compute Framework, ou UCF, de NVIDIA, permet de créer et de configurer rapidement des pipelines d’IA avec un codage minimal”.
En pratique, l’équipe de NVIDIA en charge de la réaliser a utilisé un modèle de conversion de voix récemment développé. Il permet d’extraire la voix d’un chanteur à partir d’un échantillon pour, ici, la transformer en celle de Toy Jensen. Les développeurs ont aussi utilisé les notes de musique de cet échantillon afin que l’avatar s’y conforme et conserve le même rythme que le chanteur professionnel. Enfin, les expressions faciales et les mouvements corporels ont été élaborés grâce à NVIDIA Omniverse Audio2Face et Audio2Gesture.
Le résultat est une vitrine pour NVIDIA Omniverse ACE. L’entreprise entrevoit de nombreuses applications : événements virtuels, éducation en ligne et service client, création d’avatars personnalisés pour les jeux vidéo, les médias sociaux et les expériences de réalité virtuelle. NVIDIA Omniverse ACE sera bientôt disponible en accès anticipé.
Source : NVIDIA
un gars bien ego centré qui prends les consommateurs pour des cons…
un avatar contrôlé par une IA, je comprends pas le concept. C’est un personnage animé en amont et pour lequel le gars n’a pas la possibilité de le bouger comme il veut ? Ou ça calque les mouvements sur des capteurs réels ? C’est encore un peu bullshit cette histoire. Un avatar virtuel basique ça se contrôle avec un pad ou un clavier/souris pas avec une “IA”….