英偉達AI技術(shù)讓2D視頻快速轉(zhuǎn)成3D模型

2023年6月10日,，南極熊獲悉,，美國GPU制造商英偉達（Nvidia）發(fā)表了一篇研究論文,，概述了一種能夠?qū)?D視頻快速轉(zhuǎn)換為詳細3D模型的新型人工智能（AI）模型Neuralangelo。

△利用AI技術(shù)可將視頻快速創(chuàng)建為3D模型演示視頻（傳送門）

最新研究發(fā)現(xiàn),，現(xiàn)有的生成式AI模型難以逼真地捕捉物體的精細細節(jié),，例如復雜紋理、均勻的顏色和強烈的顏色變化,。然而,，英偉達的新一代人工智能技術(shù)Neuralangelo，據(jù)說可以解決這些問題,。該技術(shù)不僅提供高保真度模型,，還可以準確將2D視頻轉(zhuǎn)換成3D模型，展現(xiàn)材質(zhì)紋理的細微之處,。這為3D打印行業(yè)帶來了更大的可能性,。

△Neuralangelo：高保真神經(jīng)表面重建論文（傳送門）

作為3D打印工具的英偉達AI將如何發(fā)展,？

英偉達特別強調(diào)了Neuralangelo技術(shù)在創(chuàng)意專業(yè)人士中的潛在好處，他們可以利用智能手機的鏡頭快速輕松地創(chuàng)建虛擬對象,，并展現(xiàn)出在藝術(shù),、虛擬現(xiàn)實、視頻游戲開發(fā),、機器人技術(shù)以及工業(yè)數(shù)字雙胞胎生產(chǎn)中的廣泛應用前景,。

此外，該公司已經(jīng)成功展示了Neuralangelo新技術(shù)的廣泛功能,，通過重新制作米開朗基羅的大衛(wèi)雕塑和重建平板卡車,，展現(xiàn)模型的精細程度。該技術(shù)還可以重建大規(guī)模環(huán)境, 例如利用無人機拍攝的鳥瞰視頻片段,，成功創(chuàng)建了公園的3D模型,。

Nvidia高級研究總監(jiān)，也是該研究論文的共同作者Ming-Yu Liu解釋道：“Neuralangelo提供的3D重建功能將為創(chuàng)作者帶來巨大的好處,，幫助他們在數(shù)字世界中重建真實世界,。該工具最終將使開發(fā)人員能夠?qū)⒃敿毜膶ο螅瑹o論是小型雕像還是大型建筑物導入到視頻游戲或工業(yè)數(shù)字孿生的虛擬環(huán)境中,�,！�

他補充說道：“除此之外,，Neuralangelo的性能和精度也將為制造業(yè)和建筑業(yè)提供極大的幫助,，以更快速和準確地創(chuàng)建模型和設(shè)計�,！�

盡管Neuralangelo項目尚未與3D打印應用相結(jié)合,，但英偉達公司表示，該技術(shù)未來很有可能是增才制造的發(fā)展發(fā)展方向之一,。目前,，該項目的模型尚不支持3D打印。

那個未來會比預期來得更早嗎,？英偉達宣布了一款名為Magic3D的AI 3D模型生成工具,。該公司表示，Magic3D在40分鐘內(nèi)生成3D對象,，速度是DreamFusion的兩倍,。

使用AI將2D視頻轉(zhuǎn)換為3D模型

Neuralangelo結(jié)合使用即時神經(jīng)圖形基元 (NGP) 和信號距離函數(shù) (SDF) 來實現(xiàn)高質(zhì)量的視頻轉(zhuǎn)換。 NGP提供了具有多分辨率哈希編碼的混合3D網(wǎng)格結(jié)構(gòu),，從而大大提高了神經(jīng)域的表示能力,，同時可以捕捉更細微的細節(jié)。這種方法非常適合三維打印行業(yè),。

具體來說,，Neuralangelo首先拍攝一個物體或環(huán)境的2D視頻,，并選擇幾個突出顯示不同視點的幀。然后確定每一幀的相機位置,，進而創(chuàng)建一個初步的3D模型,。之后，通過精細的渲染和銳化細節(jié)來優(yōu)化該模型,，生產(chǎn)出具有高質(zhì)量表面和精度的成品,。

使用數(shù)值梯度計算高階導數(shù)是這種方法的一個關(guān)鍵因素，能夠穩(wěn)定優(yōu)化過程,。此外,，漸進式優(yōu)化計劃對于恢復不同細節(jié)級別的結(jié)構(gòu)至關(guān)重要，這使得全面和準確的 3D模型重建成為可能,。

據(jù)悉,，英偉達的Neuralangelo項目將于6月18日至22日在加拿大溫哥華舉行的計算機視覺和模式識別（CVPR）會議上展示。此次展示會將與近30個其他項目一起展示,，主題涵蓋姿勢估計,、3D重建和視頻生成等領(lǐng)域。

△英偉達的總部公園視頻使用Neuralangelo快速換為3D模型

南極熊認為,，未來,，將AI工具與3D打印技術(shù)結(jié)合起來可以幫助制造商更輕松地進行生產(chǎn)，快速生產(chǎn)復雜性高的部件,，并且可以隨著時間的推移持續(xù)優(yōu)化其生產(chǎn)流程,。因此將3D打印技術(shù)的靈活性和快速制造能力與AI快速生成高質(zhì)量的3D模型相結(jié)合，將帶來巨大的優(yōu)勢,。這是一個非常有前景的應用領(lǐng)域,，值得我們關(guān)注。