Mga Key Takeaway
- Nvidia kamakailan ay nagpakita ng isang diskarte na ginagawang 3D na mga larawan ang mga 2D na larawan sa loob lamang ng ilang segundo.
- Gumagamit ang paraan ng computer power para tantiyahin kung paano kumikilos ang liwanag sa totoong mundo.
- Ang metaverse ay isang lugar kung saan nakakatulong ang mga 3D na eksena dahil matitingnan ang mga ito mula sa anumang pananaw ng camera.
Ang bagong teknolohiya ng artificial intelligence (AI) mula sa Nvidia ay maaaring gawing 3D na mga eksena ang mga 2D na larawan sa loob lamang ng ilang segundo, na ginagawang walang halaga ang paglikha ng mga nakaka-engganyong virtual space tulad ng metaverse tulad ng pagpoproseso ng salita.
Ipinakita kamakailan ng Nvidia ang paraan ng larawan na tinatawag na Instant NeRF, na gumagamit ng computing power upang tantiyahin kung paano kumikilos ang liwanag sa totoong mundo. Maaari nitong gawing eksena sa video game ang iyong mga lumang larawan, o maaari itong gamitin para sanayin ang mga robot at self-driving na sasakyan para maunawaan ang laki at hugis ng mga bagay sa totoong buhay.
"Ang 3D imaging ay nagdudulot ng bagong mundo ng pagbabago, " sinabi ni Oren Debbi, ang CEO ng Visionary.ai, isang kumpanya ng computer vision na nagpapatakbo ng mga 3D algorithm nito sa platform ng Nvidia, sa Lifewire sa isang panayam sa email. "Gamit ang 3D, ginagaya mo ang real-world depth sa eksena at ginagawang mas buhay at makatotohanan ang imahe. kahit alam ng user."
Pagdaragdag ng Mga Dimensyon
Ang unang instant na larawan, na kinunan 75 taon na ang nakalipas gamit ang isang Polaroid camera, na naglalayong makuha ang 3D na mundo sa isang 2D na larawan nang mabilis. Ngayon, kabaligtaran ang ginagawa ng mga mananaliksik ng AI: ginagawang digital 3D scene ang isang koleksyon ng mga still image sa ilang segundo.
Kilala bilang inverse rendering, ang proseso ay gumagamit ng AI para tantiyahin kung paano kumikilos ang liwanag sa totoong mundo, na nagbibigay-daan sa mga mananaliksik na buuin muli ang isang 3D na eksena mula sa ilang 2D na larawang kinunan sa iba't ibang anggulo. Inaangkin ng Nvidia na nakabuo ito ng diskarte na halos agad na nagagawa ang gawaing ito.
Ginamit ng Nvidia ang diskarteng ito sa isang bagong teknolohiya na tinatawag na neural radiance fields, o NeRF. Sinabi ng kumpanya na ang resulta, na tinatawag na Instant NeRF, ay ang pinakamabilis na NeRF technique hanggang ngayon. Ang modelo ay nangangailangan lamang ng ilang segundo upang magsanay sa ilang dosenang mga still na larawan at pagkatapos ay mai-render ang resultang 3D na eksena sa loob ng sampu-sampung millisecond.
"Kung ang mga tradisyonal na 3D na representasyon tulad ng mga polygonal mesh ay katulad ng mga vector na imahe, ang mga NeRF ay parang bitmap na mga imahe: siksikan nilang nakukuha ang paraan ng pag-radiate ng liwanag mula sa isang bagay o sa loob ng isang eksena,” David Luebke, vice president para sa pananaliksik sa graphics sa Sinabi ni Nvidia sa isang news release. "Sa ganoong kahulugan, ang Instant NeRF ay maaaring maging kasinghalaga sa 3D gaya ng mga digital camera at JPEG compression ay naging sa 2D photography-na lubos na nagpapataas ng bilis, kadalian at pag-abot ng 3D na pagkuha at pagbabahagi.”
Ang pagkolekta ng data para magpakain ng NeRF ay nangangailangan ng neural network na kumuha ng ilang dosenang larawang kinunan mula sa maraming posisyon sa paligid ng eksena, pati na rin ang posisyon ng camera ng bawat isa sa mga kuha na iyon.
Ang NeRF ay nagsasanay ng isang maliit na neural network upang buuin muli ang eksena sa pamamagitan ng paghula sa kulay ng liwanag na sumisikat sa anumang direksyon, mula sa anumang punto sa 3D space.
Ang Apela ng 3D
Ang metaverse ay isang lugar kung saan kapaki-pakinabang ang mga 3D na eksena dahil matitingnan ang mga ito mula sa anumang pananaw ng camera, sinabi ni Brad Quinton, tagapagtatag ng Perceptus Platform para sa augmented reality (AR), sa Lifewire sa isang panayam sa email. Tulad ng paglakad natin sa isang silid sa totoong buhay at makita ang mga nilalaman nito mula sa maraming iba't ibang anggulo, gamit ang isang muling itinayong 3D na eksena, halos maaari tayong lumipat sa isang espasyo at tingnan ito mula sa anumang pananaw.
"Maaari itong maging partikular na kapaki-pakinabang para sa paglikha ng mga kapaligiran para magamit sa virtual reality," sabi ni Quinton.
Ang mga programa tulad ng Apple's Object Capture ay gumagamit ng technique na tinatawag na photogrammetry upang lumikha ng mga virtual na 3D na bagay mula sa isang serye ng mga 2D na larawan. Ang mga 3D na modelo ay malawakang gagamitin sa virtual reality at AR application, hinulaang ni Quinton. Halimbawa, ang ilang AI, tulad ng nasa Perceptus AR Platform, ay gumagamit ng mga 3D na modelo upang lumikha ng pag-unawa sa totoong mundo, na nagbibigay-daan para sa mga real-time na AR application.
Ang paggamit ng mga 3D na larawan ay ginagaya din ang totoong mundo sa isang eksena at ginagawang mas buhay at makatotohanan ang larawan, sabi ni Debbi. Para gumawa ng Bokeh effect (aka portrait mode o cinematic mode), kailangan ang 3D depth mapping. Ginagamit ang technique sa halos lahat ng smartphone.
"Ito na ang pamantayan para sa mga propesyonal na videographer na kumukuha ng mga pelikula, at ito ang nagiging pamantayan para sa bawat mamimili," dagdag ni Debbi.
