“工程師的元宇宙”又添新應(yīng)用：NVIDIA深度學(xué)習(xí)技術(shù)讓2D圖像瞬間“起立”變3D

快系好安全帶，你的平面汽車可以隨時(shí)出發(fā)！

GANverse3D 由多倫多的 NVIDIA AI 研究實(shí)驗(yàn)室開發(fā)，作為 NVIDIA Omniverse 平臺(tái)的擴(kuò)展應(yīng)用，它能將平面圖像轉(zhuǎn)換成逼真的 3D 模型，并將其可視化地呈現(xiàn)在虛擬空間中，供人們自由操控。

GANverse3D已為美國(guó)電視劇《霹靂游俠》 （Knight Rider） 中的 AI 汽車基特 （KITT) 注入新的靈魂。研究人員將汽車基特的平面圖像輸入到模型中，通過(guò)預(yù)測(cè)相應(yīng)的 3D 紋理網(wǎng)格， GANverse3D 生成出了基特的 3D 模型，讓其在虛擬空間中行駛，并配有逼真的前燈、尾燈和轉(zhuǎn)向燈。

此外，NVIDIA Omniverse 套件和 NVIDIA PhysX 工具還可以將預(yù)測(cè)的紋理轉(zhuǎn)成高質(zhì)量材料，使基特具有更加真實(shí)的外觀和“觸感”。

通過(guò) GANverse3D ，即使沒有 3D 建模方面的知識(shí)，建筑師、創(chuàng)作者、游戲開發(fā)人員和設(shè)計(jì)師也能輕松地將平面設(shè)計(jì)轉(zhuǎn)換成立體模型，并能最大程度削減渲染方面的預(yù)算。

GANverse3D 的基礎(chǔ)原理是生成式對(duì)抗網(wǎng)絡(luò)（GAN, Generative Adversarial Networks ）。

生成式對(duì)抗網(wǎng)絡(luò)是一種新近的深度學(xué)習(xí)模型，最早由伊安·好伙伴教授（Ian Goodfellow）于 2014 年提出，一經(jīng)提出，學(xué)界對(duì) GAN 的研究如火如荼。

GAN的框架包括至少兩個(gè)模塊：生成模型（Generative Model）和判別模型（Discriminative Model）。

好伙伴教授將其原理比作制假鈔的偽造者 (Generator） 和警察 （Discriminator） 之間的博弈。偽造者不斷更新技術(shù)制造以假亂真的鈔****，警察則需用更先進(jìn)的技術(shù)甄別假鈔，兩人在對(duì)抗中不斷升級(jí)各自的技能。

因此，在 GAN 模型的訓(xùn)練過(guò)程中，生成網(wǎng)絡(luò) G（Generator，簡(jiǎn)稱 G） 的任務(wù)就是要生成逼真的圖像欺騙判別網(wǎng)絡(luò) D（Discriminator，簡(jiǎn)稱 D），而 D 的目標(biāo)是區(qū)分 G 生成的圖像和真實(shí)圖像。如此，G 和 D 便構(gòu)成了一個(gè)動(dòng)態(tài)“博弈過(guò)程”。最終，在理想情況下，G 能夠生成以假亂真的圖像成功混淆 D 的判斷。

在原始理論中， G 和 D 只要是能夠擬合相應(yīng)模型的函數(shù)即可，并不要求二者都是神經(jīng)網(wǎng)絡(luò)。但實(shí)際開發(fā)中人們多使用深度神經(jīng)網(wǎng)絡(luò)作為 G 和 D 。一個(gè)優(yōu)秀的 GAN 應(yīng)用需要科學(xué)有效的訓(xùn)練方法，否則神經(jīng)網(wǎng)絡(luò)模型的自由性可能會(huì)導(dǎo)致輸出不理想。

NVIDIA 利用生成式對(duì)抗網(wǎng)絡(luò)形成訓(xùn)練數(shù)據(jù)集。這就像攝影師繞著一輛停泊的汽車，從不同的角度拍攝以獲得多視角圖像一樣。這些多視角圖像最終會(huì)被放入逆向圖 （inverse graphics） 的渲染框架中，以此合成 3D 圖像。

逆向圖指是從 2D 圖像推斷 3D 網(wǎng)格模型的過(guò)程。以前的逆向圖模型依賴于 3D 圖形作為訓(xùn)練數(shù)據(jù)，NVIDIA 的 GANverse3D 則是根據(jù)真實(shí)圖像進(jìn)行訓(xùn)練。NVIDIA 研究員 Jun Gao 表示，以真實(shí)圖像作為訓(xùn)練基礎(chǔ)得到的AI模型，“能更好地推廣到現(xiàn)實(shí)世界中。”

在沒有 3D 要素的幫助下，“我們把 GAN 模型變成了一個(gè)非常高效的數(shù)據(jù)生成器，這樣我們就可以基于網(wǎng)絡(luò)上的任何 2D 圖像創(chuàng)建出 3D 對(duì)象。”NVIDIA 研究員 Wenzheng Chen 說(shuō)。

有關(guān) GAN verse3D 研究成果將在 5 月份的 ICLR 會(huì)議和 6 月份的 CVPR 會(huì)議上發(fā)表。

眾多科技公司都在從元宇宙 （Metaverse） 概念中汲取靈感，英偉達(dá)也不例外，趁熱推出元宇宙的工程師版。

黃仁勛在 2021 GTC 大會(huì)上宣布，英偉達(dá)要推出 to B 端的實(shí)時(shí)協(xié)作仿真平臺(tái) Omniverse ——一個(gè)面向企業(yè)的虛擬工作平臺(tái)。

英偉達(dá)早在去年 10 月推出 Omniverse 測(cè)試版，并在游戲、建筑等領(lǐng)域得到應(yīng)用。寶馬、愛立信、沃爾沃、Adobe 等超過(guò)超過(guò) 17,000 名客戶體驗(yàn)了測(cè)試版。

黃仁勛在此前的采訪中表示， Omniverse 能讓游戲開發(fā)者輕松應(yīng)對(duì)復(fù)雜的流水線工作，以此提升工作效率。在 Omniverse 平臺(tái)上，動(dòng)畫、紋理、燈光、幾何圖形等常規(guī)游戲制作的流水線工程將能一舉打通鏈接。每個(gè)人都能看到他人在做什么，并能做到“眼見為實(shí)”。

游戲、架構(gòu)和設(shè)計(jì)領(lǐng)域的創(chuàng)作者們高度依賴于虛擬世界，在產(chǎn)品完成之前，他們需要測(cè)試和可視化其原型。但僅是渲染一輛汽車、一條街道就需要捕獲成百上千的多視角圖像，期間會(huì)產(chǎn)生大量成本。因此并非每位創(chuàng)作者資源和精力將其繪制的圖像轉(zhuǎn)成 3D 模型。

基于此， NVIDIA 開發(fā) GANverse3D 應(yīng)用，可以迅速追蹤實(shí)時(shí)光線來(lái)創(chuàng)造一個(gè)真實(shí)的虛擬世界。

任何 2D 圖像都可以在 Omniverse 中轉(zhuǎn)換成可以自定義和制作動(dòng)畫的 3D 圖形。

NVIDIA 深度學(xué)習(xí)工程師 Jean-Francois Lafleche 表示：“Omniverse 讓研究人員能夠?qū)⒓?dòng)人心的前沿研究直接帶給創(chuàng)作者和最終用戶。作為 Omniverse 的擴(kuò)展程序, GANverse3D 將幫助藝術(shù)家為游戲開發(fā)、城市規(guī)劃甚至訓(xùn)練新的機(jī)器學(xué)習(xí)模型創(chuàng)建更豐富的虛擬世界?！?br />