Nvidia推出3D模型生成式AI技術Magic3D,，數字化建模邁入AI時代

2023年2月,，南極熊獲悉,，GPU制造商Nvidia宣布推出Magic3D，這是一種生成式AI技術,，可以根據文本提示生成3D模型,。2022年11月，研究人員也基于此技術,，發(fā)表了一篇題為《Magic3D: High-Resolution Text-to-3D Content Creation》的論文,，這并不是第一篇有關生成式AI技術應用于3D打印的論文，2022年9月,，來自谷歌的研究人員就以《DREAMFUSION: TEXT-TO-3D USING 2D DIFFUSION》為題發(fā)表了他們的研究內容,，那么生成式AI技術是什么？這兩個團隊所研究的內容有何異同,？3D打印生成式AI技術面臨著哪些問題呢,？


△Magic3D 渲染的箭毒蛙 3D 模型。

3D打印中的生成式AI技術
生成式AI（Generative AI 或 AIGC）是利用現(xiàn)有文本,、音頻文件或圖像創(chuàng)建新內容的技術,。應用場景涵蓋圖文創(chuàng)作,、代碼生成、游戲,、廣告,、藝術平面設計等。未來,，生成式AI將成為一項大眾化的基礎技術,，極大的提高數字化內容的豐富度、創(chuàng)造性與生產效率,，其應用邊界也將隨著技術得進步與成本的降低擴展到更多領域,。用于3D建模的生成式AI有助于將具有復雜有機形狀的組件概念化。3D打印能夠制造這些復雜形態(tài)的理想技術,，因為它具有生產復雜結構的能力,，同時還具有成本效益。 年度3D打印行業(yè)調查的結果表明,，使用AI自動生成3D模型是一個熱門話題,。

生成式AI在3D打印領域中的發(fā)展


△Magic3D相關論文

●Magic3D可以在40分鐘內創(chuàng)建一個帶有彩色紋理的3D網格模型。這是輸入“一只坐在睡蓮上的藍色箭毒蛙”這樣的提示之后出現(xiàn)的,。根據獲得的結果,，經過改進，可以用于各種藝術場景或視頻游戲,。


△DreamFusion相關論文

●DreamFusion是谷歌研究人員于2022年9月發(fā)布的一篇關于“從文本到3D模型”的論文內容,。

●Physna在兩周內使用 8,000 個模型為 3D 模型和場景創(chuàng)建了生成式 AI 原型

Magic3D VS DreamFusion
在Nvidia的論文中，研究人員詳細闡述了生成式AI技術如何讓無需特殊培訓的人即刻創(chuàng)建3D模型,。他們表示,，這種技術一旦進一步完善，可以加速視頻游戲的開發(fā),，應用到電影和電視特效中,。研究人員們希望借助Magic3D技術，使3D合成大眾化,，并在3D內容創(chuàng)作中展示每個人的創(chuàng)造力,。

Nvidia在推進生成式AI方面處于有利地位。該公司的GPU可以使用著色器創(chuàng)建逼真的圖形,，著色器指示圖像中的每個像素如何在特定光線下顯示,。著色器為每個像素計算，跨多個像素重復計算,。與英特爾微處理器或通用CPU不同,，Nvidia GPU 可以快速渲染圖像，同時進行多個簡單計算,，例如著色像素,。

●Magic3D 采用兩階段方法，采用低分辨率創(chuàng)建粗略模型,，并將其優(yōu)化為更高分辨率,，這類似于DreamFusion使用文本到生成2D圖像，然后優(yōu)化為體積 NeRF數據,。

●Magic3D 可以根據給定主題實例的輸入圖像,，使用DreamBooth 微調擴散模型，并使用給定的提示優(yōu)化 3D 模型,。


△在給定主題下根據提示進行模型優(yōu)化

總結一下,，Nvidia的原理是利用從粗到精的兩階段優(yōu)化框架來快速創(chuàng)建高質量的文本到 3D 內容。在第一階段,，使用低分辨率擴散先驗獲得粗略模型,，并使用哈希網格和稀疏加速結構對其進行加速。在第二階段,，使用從粗神經表示初始化的紋理網格模型,，允許使用與高分辨率潛在擴散模型交互的高效可微分渲染器進行優(yōu)化。


△Magic3D的兩階段優(yōu)化過程示意圖

再來看看DreamFusion團隊的技術：先使用一個預訓練2D擴散模型基于文本提示生成一張二維圖像,，然后引入一個基于概率密度蒸餾的損失函數,，通過梯度下降法優(yōu)化一個隨機初始化的神經輻射場NeRF模型。訓練后的模型可以在任意角度,、任意光照條件,、任意三維環(huán)境中基于給定的文本提示生成模型，整個過程既不需要3D訓練數據,，也無需修改圖像擴散模型,，完全依賴預訓練擴散模型作為先驗。



相比較而言,，Magic3D 可以根據輸入文本提示創(chuàng)建高質量的 3D 紋理網格模型,。它采用從粗到精的策略，利用低分辨率和高分辨率擴散先驗來學習目標內容的 3D 表示,。Magic3D 以比DreamFusion高8倍的分辨率合成3D模型,，同時速度也快2倍。

生成式AI和3D打�,。簼摿�巨��
Physna 的創(chuàng)始人兼首席執(zhí)行官 Paul Powers 分享了他對生成式AI的看法,，他表示生成式AI在2022年十分火熱，因此該公司決定深入研究3D打印和生成式 AI 的結合,。 雖然Physna是一家 3D 搜索和分析公司,，專注于 AR/VR 和制造領域的工程和設計應用，但他的3名工程師僅使用 8,000 個模型在 2 周內就為 3D 模型和場景構建了一個非�,；�本的生�� AI 原型,。

●Physna 的創(chuàng)始人兼首席執(zhí)行官 Paul Powers解釋了為什么要踏入生成式AI領域,，他表示生成式AI已經席卷了許多行業(yè)，但在3D打印方面卻剛剛起步,。主要原因是復雜的3D模型和缺乏標記的3D 數據,。3D模型通常很難創(chuàng)建，有多種不兼容的格式,，并且與 2D 模型分析（文本,、圖像、視頻等）相比很少受到關注,。很少有企業(yè)適合專注于3D,，它的研究難度很高。

●Google 的 DreamFusion 團隊在他們的文章中表示：與2D數據相比,，3D數據較少,。Google 的 DreamFusion 團隊使用 NeRF 的方式與 Nvidia 的 Magic3D 團隊使用的方式相同。用戶不僅掌握的對象信息更少,，而且也很難對技術做出假設,。雖然在 NeRFs 上訓練可能比在 2D 模型上訓練更有幫助，谷歌的 DreamFusion 團隊指出,，NeRFs 不能很好地替代真實的,、帶標簽的 3D 模型。 也就是說,，如果沒有解決方案,，在不久的將來，生成式 AI 在 3D 領域的表現(xiàn)將不會像在其他領域那樣出色,。 DreamFusion 團隊進一步進行了一些實驗,，以校驗生成人工智能與 3D 打印的兼容性。

GPU計算如何改進3D打�,�,？

GPU計算需要使用 GPU（圖形處理單元）作為協(xié)處理器來加速CPU的科學計算。通過卸載一些耗時和計算密集型代碼,，GPU 可以加速基于 CPU 的應用程序,。應用程序的其余部分繼續(xù)在 CPU 上運行。從用戶的角度來看,，應用程序運行速度更快,，因為它利用 GPU 的并行處理能力來提高性能。這種類型的計算被稱為“混合”或“異構”計算,。CPU 通常有四到八個 CPU 內核,，而 GPU 通常有數百個較小的內核。GPU 的高計算性能得益于其龐大的并行結構,。

應用程序開發(fā)人員可以通過采用 NVIDIA 的“CUDA”并行編程模型利用并行 GPU 架構的性能,。所有 NVIDIA GPU 都支持 NVIDIA CUDA 并行編程模型,，包括GeForce、Quadro和Tesla,。此前,，Nvidia 推出了一種將2D 圖像轉換為 3D 模型的方法,。該框架演示了如何以類似于肉眼工作方式的方式從單個圖像推斷形狀,、紋理和光線。Nvidia 公關專家Lauren Finkle在公司博客上寫道：“看這個屏幕時請閉上左眼�,，F(xiàn)在閉上你的右眼并睜開你的左眼,，你會發(fā)現(xiàn)你的視野會隨著你使用的是哪只眼睛而變化。那是因為當我們看到二維空間時,，視網膜捕捉到的圖像被組合起來提供深度并產生三維感,。”

NVIDIA 渲染框架,，被稱為基于可微分插值的渲染器或 DIB-R,，可以協(xié)助和加速3D設計和機器人的不同領域，在幾秒鐘內渲染 3D 模型,。根據 Finkle 的說法,，我們所處的 3D 世界實際上是通過 2D 組成的，這被稱為立體視覺,。深度是通過合并通過每只眼睛看到的圖像在大腦中創(chuàng)建的,，給人以三維圖像的印象。DIB-R 的工作原理與此類似,，它可以通過將二維圖像的輸入轉換為地圖來預測圖像的形狀,、顏色、紋理和光照,。然后創(chuàng)建一個多邊形球體,，從而生成一個代表原始 2D 圖像中組件的 3D 模型。

相關視頻：


相關連接：
NVIDIA  Magic3D項目地址：https://research.nvidia.com/labs/dir/magic3d/

NVIDIA  Magic3D論文地址：https://doi.org/10.48550/arXiv.2211.10440

DreamFusion項目地址：https://dreamfusion3d.github.io/

DreamFusion論文地址：https://doi.org/10.48550/arXiv.2209.14988