“工程師的元宇宙”又添新應用：NVIDIA深度學習技術讓2D圖像瞬間“起立”變3D
加入技術交流群
快系好安全帶，你的平面汽車可以隨時出發！
GANverse3D 由多倫多的 NVIDIA AI 研究實驗室開發，作為 NVIDIA Omniverse 平臺的擴展應用，它能將平面圖像轉換成逼真的 3D 模型，并將其可視化地呈現在虛擬空間中，供人們自由操控。
GANverse3D已為美國電視劇《霹靂游俠》 （Knight Rider） 中的 AI 汽車基特 （KITT) 注入新的靈魂。研究人員將汽車基特的平面圖像輸入到模型中，通過預測相應的 3D 紋理網格， GANverse3D 生成出了基特的 3D 模型，讓其在虛擬空間中行駛，并配有逼真的前燈、尾燈和轉向燈。
此外，NVIDIA Omniverse 套件和 NVIDIA PhysX 工具還可以將預測的紋理轉成高質量材料，使基特具有更加真實的外觀和“觸感”。
通過 GANverse3D ，即使沒有 3D 建模方面的知識，建筑師、創作者、游戲開發人員和設計師也能輕松地將平面設計轉換成立體模型，并能最大程度削減渲染方面的預算。
GANverse3D 的基礎原理是生成式對抗網絡（GAN, Generative Adversarial Networks ）。
生成式對抗網絡是一種新近的深度學習模型，最早由伊安·好伙伴教授（Ian Goodfellow）于 2014 年提出，一經提出，學界對 GAN 的研究如火如荼。
GAN的框架包括至少兩個模塊：生成模型（Generative Model）和判別模型（Discriminative Model）。
好伙伴教授將其原理比作制假鈔的偽造者 (Generator） 和警察 （Discriminator） 之間的博弈。偽造者不斷更新技術制造以假亂真的鈔****，警察則需用更先進的技術甄別假鈔，兩人在對抗中不斷升級各自的技能。
因此，在 GAN 模型的訓練過程中，生成網絡 G（Generator，簡稱 G） 的任務就是要生成逼真的圖像欺騙判別網絡 D（Discriminator，簡稱 D），而 D 的目標是區分 G 生成的圖像和真實圖像。如此，G 和 D 便構成了一個動態“博弈過程”。最終，在理想情況下，G 能夠生成以假亂真的圖像成功混淆 D 的判斷。
在原始理論中， G 和 D 只要是能夠擬合相應模型的函數即可，并不要求二者都是神經網絡。但實際開發中人們多使用深度神經網絡作為 G 和 D 。一個優秀的 GAN 應用需要科學有效的訓練方法，否則神經網絡模型的自由性可能會導致輸出不理想。
NVIDIA 利用生成式對抗網絡形成訓練數據集。這就像攝影師繞著一輛停泊的汽車，從不同的角度拍攝以獲得多視角圖像一樣。這些多視角圖像最終會被放入逆向圖 （inverse graphics） 的渲染框架中，以此合成 3D 圖像。
逆向圖指是從 2D 圖像推斷 3D 網格模型的過程。以前的逆向圖模型依賴于 3D 圖形作為訓練數據，NVIDIA 的 GANverse3D 則是根據真實圖像進行訓練。NVIDIA 研究員 Jun Gao 表示，以真實圖像作為訓練基礎得到的AI模型，“能更好地推廣到現實世界中。”
在沒有 3D 要素的幫助下，“我們把 GAN 模型變成了一個非常高效的數據生成器，這樣我們就可以基于網絡上的任何 2D 圖像創建出 3D 對象。”NVIDIA 研究員 Wenzheng Chen 說。
有關 GAN verse3D 研究成果將在 5 月份的 ICLR 會議和 6 月份的 CVPR 會議上發表。
為工程師搭建元宇宙
眾多科技公司都在從元宇宙 （Metaverse） 概念中汲取靈感，英偉達也不例外，趁熱推出元宇宙的工程師版。
黃仁勛在 2021 GTC 大會上宣布，英偉達要推出 to B 端的實時協作仿真平臺 Omniverse ——一個面向企業的虛擬工作平臺。
英偉達早在去年 10 月推出 Omniverse 測試版，并在游戲、建筑等領域得到應用。寶馬、愛立信、沃爾沃、Adobe 等超過超過 17,000 名客戶體驗了測試版。
黃仁勛在此前的采訪中表示， Omniverse 能讓游戲開發者輕松應對復雜的流水線工作，以此提升工作效率。在 Omniverse 平臺上，動畫、紋理、燈光、幾何圖形等常規游戲制作的流水線工程將能一舉打通鏈接。每個人都能看到他人在做什么，并能做到“眼見為實”。
游戲、架構和設計領域的創作者們高度依賴于虛擬世界，在產品完成之前，他們需要測試和可視化其原型。但僅是渲染一輛汽車、一條街道就需要捕獲成百上千的多視角圖像，期間會產生大量成本。因此并非每位創作者資源和精力將其繪制的圖像轉成 3D 模型。
基于此， NVIDIA 開發 GANverse3D 應用，可以迅速追蹤實時光線來創造一個真實的虛擬世界。
任何 2D 圖像都可以在 Omniverse 中轉換成可以自定義和制作動畫的 3D 圖形。
NVIDIA 深度學習工程師 Jean-Francois Lafleche 表示：“Omniverse 讓研究人員能夠將激動人心的前沿研究直接帶給創作者和最終用戶。作為 Omniverse 的擴展程序, GANverse3D 將幫助藝術家為游戲開發、城市規劃甚至訓練新的機器學習模型創建更豐富的虛擬世界。”
*博客內容為網友個人發布，僅代表博主個人觀點，如有侵權請聯系工作人員刪除。
