用2D圖像生成3D模型，微軟新AI模型或成游戲業(yè)福音

來源：澎湃新聞

將2D圖像轉(zhuǎn)換為3D圖像,，對于視頻游戲開發(fā)人員、電子商務(wù)公司,、動畫公司來說,，至關(guān)重要，但這并不容易,。包括Facebook,，英偉達等科技巨頭的人工智能（AI）研究實驗室，以及一些初創(chuàng)公司都在這個領(lǐng)域里不斷探索,。

近日，微軟研究院（Microsoft Research）的研究團隊發(fā)表了一篇預(yù)印論文,，他們在論文中詳細介紹了一個新的AI框架,，該框架采用“可縮放”訓練技術(shù)，可將2D圖像進行3D形狀的模擬生成,。研究人員表示,，在使用2D圖像進行訓練時，該框架始終可以比現(xiàn)有的模型生成效果更好的3D形狀,，這對于游戲開發(fā),、視頻制作、動畫等領(lǐng)域是一個極佳的自動化工具,。

微軟AI模型生成的3D沙發(fā),、椅子和浴缸

通常來說，一個模型框架要將2D轉(zhuǎn)換為3D圖像,，需要通過柵格化處理來進行微分步驟渲染,，因此，過去研究人員在該領(lǐng)域的努力都專注于開發(fā)定制渲染模型,。然而,，通過此類模型處理的圖像會顯得不夠真實自然，也不適合用于生成游戲以及圖形產(chǎn)業(yè)的工業(yè)效果圖,。

微軟團隊則是使用了工業(yè)渲染器,，這個渲染器可以根據(jù)顯示數(shù)據(jù)來生成圖像。此外,，研究人員還訓練了3D形狀生成模型,，以便渲染形狀,，并生成與2D數(shù)據(jù)集分布相匹配的圖像。換句話說,，這是一種新穎的代理神經(jīng)渲染器,，可以直接渲染由3D形狀生成模型生成的連續(xù)體素網(wǎng)格。

在實驗過程中,，研究團隊在上述3D形狀生成模型中采用了3D卷積GAN架構(gòu),。GAN又稱為生成式對抗網(wǎng)絡(luò)，是一個由兩部分組成的AI模型,，它可以基于3D模型生成的數(shù)據(jù)集和真實的數(shù)據(jù)集,，合成來自不同對象類別的圖像，并在整個訓練過程中從不同角度進行渲染,。

微軟AI模型生成的3D蘑菇圖像

此外,，研發(fā)人員在論文中表示，它們的新方法還充分利用了2D照片中光照和陰影的信息,，具體而言,，是利用表面之間的曝光差值，進行檢測凹面和凸面,，以及內(nèi)部結(jié)構(gòu),，從而判斷物體三維物體的中心，從而實現(xiàn)更好的模擬訓練,，生成更逼真的3D模型,。

據(jù)研究人員介紹，他們的下一步計劃是將整套方法整合出一個相對完整的系統(tǒng),，將顏色,、材料、光照等細節(jié)統(tǒng)統(tǒng)加入進來,，從而打造一個“更為全面”真實照片轉(zhuǎn)換三維模型的數(shù)據(jù)集,。