英偉達(dá)AI技術(shù)讓2D視頻快速轉(zhuǎn)成3D模型

2023年6月10日，南極熊獲悉,，美國(guó)GPU制造商英偉達(dá)（Nvidia）發(fā)表了一篇研究論文,，概述了一種能夠?qū)?D視頻快速轉(zhuǎn)換為詳細(xì)3D模型的新型人工智能（AI）模型Neuralangelo。

△利用AI技術(shù)可將視頻快速創(chuàng)建為3D模型演示視頻（傳送門(mén)）

最新研究發(fā)現(xiàn),，現(xiàn)有的生成式AI模型難以逼真地捕捉物體的精細(xì)細(xì)節(jié),，例如復(fù)雜紋理、均勻的顏色和強(qiáng)烈的顏色變化,。然而,，英偉達(dá)的新一代人工智能技術(shù)Neuralangelo，據(jù)說(shuō)可以解決這些問(wèn)題,。該技術(shù)不僅提供高保真度模型,，還可以準(zhǔn)確將2D視頻轉(zhuǎn)換成3D模型，展現(xiàn)材質(zhì)紋理的細(xì)微之處,。這為3D打印行業(yè)帶來(lái)了更大的可能性,。

△Neuralangelo：高保真神經(jīng)表面重建論文（傳送門(mén)）

作為3D打印工具的英偉達(dá)AI將如何發(fā)展？

英偉達(dá)特別強(qiáng)調(diào)了Neuralangelo技術(shù)在創(chuàng)意專(zhuān)業(yè)人士中的潛在好處,，他們可以利用智能手機(jī)的鏡頭快速輕松地創(chuàng)建虛擬對(duì)象,，并展現(xiàn)出在藝術(shù)、虛擬現(xiàn)實(shí),、視頻游戲開(kāi)發(fā),、機(jī)器人技術(shù)以及工業(yè)數(shù)字雙胞胎生產(chǎn)中的廣泛應(yīng)用前景。

此外,，該公司已經(jīng)成功展示了Neuralangelo新技術(shù)的廣泛功能,，通過(guò)重新制作米開(kāi)朗基羅的大衛(wèi)雕塑和重建平板卡車(chē)，展現(xiàn)模型的精細(xì)程度,。該技術(shù)還可以重建大規(guī)模環(huán)境, 例如利用無(wú)人機(jī)拍攝的鳥(niǎo)瞰視頻片段,，成功創(chuàng)建了公園的3D模型。

Nvidia高級(jí)研究總監(jiān)，也是該研究論文的共同作者M(jìn)ing-Yu Liu解釋道：“Neuralangelo提供的3D重建功能將為創(chuàng)作者帶來(lái)巨大的好處,，幫助他們?cè)跀?shù)字世界中重建真實(shí)世界,。該工具最終將使開(kāi)發(fā)人員能夠?qū)⒃敿?xì)的對(duì)象，無(wú)論是小型雕像還是大型建筑物導(dǎo)入到視頻游戲或工業(yè)數(shù)字孿生的虛擬環(huán)境中,�,！�

他補(bǔ)充說(shuō)道：“除此之外，Neuralangelo的性能和精度也將為制造業(yè)和建筑業(yè)提供極大的幫助,，以更快速和準(zhǔn)確地創(chuàng)建模型和設(shè)計(jì),。”

盡管Neuralangelo項(xiàng)目尚未與3D打印應(yīng)用相結(jié)合,，但英偉達(dá)公司表示,，該技術(shù)未來(lái)很有可能是增才制造的發(fā)展發(fā)展方向之一。目前,，該項(xiàng)目的模型尚不支持3D打印,。

那個(gè)未來(lái)會(huì)比預(yù)期來(lái)得更早嗎？英偉達(dá)宣布了一款名為Magic3D的AI 3D模型生成工具,。該公司表示,，Magic3D在40分鐘內(nèi)生成3D對(duì)象，速度是DreamFusion的兩倍,。

使用AI將2D視頻轉(zhuǎn)換為3D模型

Neuralangelo結(jié)合使用即時(shí)神經(jīng)圖形基元 (NGP) 和信號(hào)距離函數(shù) (SDF) 來(lái)實(shí)現(xiàn)高質(zhì)量的視頻轉(zhuǎn)換,。 NGP提供了具有多分辨率哈希編碼的混合3D網(wǎng)格結(jié)構(gòu)，從而大大提高了神經(jīng)域的表示能力,，同時(shí)可以捕捉更細(xì)微的細(xì)節(jié),。這種方法非常適合三維打印行業(yè)。

具體來(lái)說(shuō),，Neuralangelo首先拍攝一個(gè)物體或環(huán)境的2D視頻,，并選擇幾個(gè)突出顯示不同視點(diǎn)的幀。然后確定每一幀的相機(jī)位置,，進(jìn)而創(chuàng)建一個(gè)初步的3D模型,。之后，通過(guò)精細(xì)的渲染和銳化細(xì)節(jié)來(lái)優(yōu)化該模型,，生產(chǎn)出具有高質(zhì)量表面和精度的成品,。

使用數(shù)值梯度計(jì)算高階導(dǎo)數(shù)是這種方法的一個(gè)關(guān)鍵因素，能夠穩(wěn)定優(yōu)化過(guò)程,。此外,，漸進(jìn)式優(yōu)化計(jì)劃對(duì)于恢復(fù)不同細(xì)節(jié)級(jí)別的結(jié)構(gòu)至關(guān)重要，這使得全面和準(zhǔn)確的 3D模型重建成為可能,。

據(jù)悉,，英偉達(dá)的Neuralangelo項(xiàng)目將于6月18日至22日在加拿大溫哥華舉行的計(jì)算機(jī)視覺(jué)和模式識(shí)別（CVPR）會(huì)議上展示。此次展示會(huì)將與近30個(gè)其他項(xiàng)目一起展示，主題涵蓋姿勢(shì)估計(jì),、3D重建和視頻生成等領(lǐng)域,。

△英偉達(dá)的總部公園視頻使用Neuralangelo快速換為3D模型

南極熊認(rèn)為，未來(lái),，將AI工具與3D打印技術(shù)結(jié)合起來(lái)可以幫助制造商更輕松地進(jìn)行生產(chǎn),，快速生產(chǎn)復(fù)雜性高的部件，并且可以隨著時(shí)間的推移持續(xù)優(yōu)化其生產(chǎn)流程,。因此將3D打印技術(shù)的靈活性和快速制造能力與AI快速生成高質(zhì)量的3D模型相結(jié)合,，將帶來(lái)巨大的優(yōu)勢(shì)。這是一個(gè)非常有前景的應(yīng)用領(lǐng)域,，值得我們關(guān)注,。