Marrakech, Mar. 25. (Maroc-Actu) –
Nvidia a dévoilé son dernier modèle de Intelligence artificielle (IA) qui, sous le nom de Instant NeRF convertit un ensemble de photographies 2D en une scène 3D rendue.
La première fois qu’un instantané a été pris il y a 75 ans avec un appareil Polaroid, il a réussi à « capturer le monde 3D dans une image 2D réaliste », comme l’a rappelé Nvidia dans un communiqué. Aujourd’hui, la société se vante d’avoir réussi le contraire : « transformer une collection de photos en une scène 3D en quelques secondes ».
Connu sous le nom de « rendu inverse », ce processus utilise l’IA pour « se rapprocher de la façon dont la lumière se comporte dans le monde réel en permettant aux chercheurs de reconstruire une scène en 3D à partir d’une poignée d’images en 2D prises sous différents angles ».
Pour cette approche, Nvidia a utilisé une technologie basée sur les NeRF (Neural Radiation Fields), appelée Instant NeRF, qui utilise des réseaux neuronaux pour représenter et rendre des scènes 3D réalistes à partir d’une collection d’images 2D.
Comme le préconise l’entreprise, il est « le plus rapide à ce jour« . « Le modèle n’a besoin que de quelques secondes pour s’entraîner sur quelques dizaines de photos, ainsi que des données sur les angles de caméra à partir desquels elles ont été prises, et peut ensuite rendre la scène 3D résultante en quelques dizaines de millisecondes », ce qui accélère le processus de 1000 fois.
La société explique à propos de ce processus que « dans une scène qui comprend des personnes ou d’autres éléments en mouvement, plus les photos sont rapides, mieux c’est« . En ce sens, s’il y a trop de mobilité pendant le processus de capture 2D, la scène 3D générée par l’IA « sera floue ».
À partir de là, la technologie NeRF comble les vides et reconstruit la scène en prédisant la couleur du rayonnement lumineux dans n’importe quelle direction.
La société affirme que ses chercheurs travaillent sur Instant NeRF « depuis quelques années » et que sa technologie « est l’une des plus rapides », puisqu’elle permet de réduire le temps de rendu de 10 à 20 minutes. « plusieurs minutes ». jusqu’à ce qu’il se produise « presque instantanément ».
Nvidia suggère que l’Instant NeRF « peut être utilisé pour créer des avatars et des scènes dans des mondes virtuels », ainsi que pour « capturer des participants à des vidéoconférences et leurs environnements 3D ou pour reconstruire des scènes pour des cartes numériques 3D ».
