NeRF și GAN în NVIDIA Omniverse
F64- 7minutes read
NeRF și NVIDIA Omniverse
NeRF (Neural Radiance Fields) este o tehnologie folosită de câțiva ani în lumea 3D, care utilizează rețele neuronale pentru a reconstrui scene tridimensionale dintr-un set de imagini bidimensionale. Prin antrenarea unui model de rețea neuronală, NeRF poate învăța să reprezinte funcția de densitate și emisie a unui volum tridimensional, generând modele 3D într-un timp foarte scurt.
Un avantaj major al NeRF este capacitatea sa de a captura detalii fine și texturi complexe într-un timp scurt, oferind un nivel de realism impresionant. Totodată, NeRF poate produce rapid modelul 3D al unor spații foarte mari, precum interioarele unei clădiri. În aplicații special optimizate, NeRF poate menține un model 3D în sincron cu replica sa reală, simulând mașini pe stradă și oameni pe trotuar, la fel cum o cameră video oferă un flux 2D în timp real.
NeRF este eficient și atunci când vine vorba de suprafețe reflectorizante sau condiții proaste de iluminare a obiectului pe care vrem să îl capturăm. Ca utilizator final, am avut ocazia să folosesc o aplicație disponibilă în cadrul Omniverse. Cu NVIDIA InstantNeRF, am reușit să generez modelul 3D al unei vulpi, pe care l-am exportat în format USD. Ulterior, am putut să îl import în Unreal Engine și în Rhino3D.
NeRF este momentan o unealtă puternică în cadrul NVIDIA Omniverse, facilitând crearea unor replici digitale (digital twins) în aplicații croite special pentru clienți Enterprise. Chiar dacă interfața actuală lasă uneori de dorit, tehnologia NeRF din cadrul NVIDIA Omniverse este 100% utilizabilă și arată extrem de promițător. Îi încurajez pe cei interesați să nu se sperie de interfața beta și să se concentreze pe obținerea rezultatelor dorite. Tehnologia din spatele meniurilor cu aspect de MS-DOS este extrem de robustă și este probabil să o vedem implementată în cât mai multe aplicații și servicii accesibile publicului larg, împachetată într-o manieră atractivă, specifică unui software AAA din ziua de azi.
Ce este GAN și unde îl găsim în NVIDIA Omniverse?
Tehnologia GAN (Generative Adversarial Networks) bazată pe AI este folosită în mod uzual pentru generarea de date sintetice în diverse domenii. GAN-urile constau din două rețele neuronale care concurează una împotriva celeilalte: generatorul creează date false, iar discriminatorul încearcă să le deosebească de cele reale. Acest proces iterativ duce la crearea de date sintetice de înaltă calitate, utilizate pentru antrenarea altor modele de AI, augmentarea seturilor de date și protejarea confidențialității datelor sensibile. Aplicabilitatea GAN include imagini, texte și sunete, contribuind la avansarea cercetării și dezvoltării tehnologice, putând genera și date științifice cu privire la rezistența unor materiale de construcție sau a dinamicii unui avion, de exemplu.
NVIDIA a prezentat un proiect prin care a demonstrat cum se pot genera modele 3D pornind de la o singură imagine 2D. Spre deosebire de NeRF, GAN teoretic permite fotografierea unui obiect cu mobilul și deschiderea imediată a modelului 3D în aplicația preferată. Tehnologia a fost disponibilă în Omniverse prin intermediul extensiei “GANverse3D – Image2Car”, care putea genera instantaneu în Omniverse Create un model de mașină pornind de la o singură fotografie. Mai mult, mașina era dotată cu roți, faruri și era chiar riguită, gata de pilotat.
GAN-urile ar putea revoluționa în viitor generarea de modele 3D, lucrând chiar și cu o singură fotografie a obiectului dorit. Prin utilizarea AI, ele pot învăța din seturi mari de date pentru a recrea modele 3D detaliate și realiste din imagini 2D. Generatorul creează modele 3D, în timp ce discriminatorul evaluează autenticitatea lor, îmbunătățind continuu calitatea rezultatelor. Această tehnologie poate simplifica procesele de reconstrucție și modelare 3D în industrii precum cea a jocurilor video, a realității virtuale sau a designului arhitectural.
În articolul următor voi compara aceste tehnologii cu metoda clasică de fotogrammetrie, pentru a înțelege mai bine avantajele și limitările fiecărei abordări.
Un articol de Horia Spirescu.
