NVIDIA推出LATTE3D文本轉(zhuǎn)3D生成AI模型,，被稱為虛擬3D打印機(jī)

2024年3月27日,，南極熊獲悉,，NVIDIA（英偉達(dá)）宣布推出一種名為L(zhǎng)atte3D的文本轉(zhuǎn)3D生成AI模型,。模型能夠?qū)⒑?jiǎn)短的文字描述轉(zhuǎn)換為物體和動(dòng)物的精確三維模型,，實(shí)現(xiàn)了一種近似于虛擬3D打印的效果。

△LATTE3D可以解釋高度具體的文本提示以生成3D模型

該公司表示,，生成的3D形狀采用了流行的標(biāo)準(zhǔn)渲染應(yīng)用程序格式制作,，這使得它們可以輕松地在虛擬環(huán)境中應(yīng)用。這一技術(shù)有望廣泛應(yīng)用于視頻游戲開發(fā),、廣告設(shè)計(jì),、工程項(xiàng)目以及機(jī)器人虛擬訓(xùn)練場(chǎng)景中。鑒于這一發(fā)展趨勢(shì),，未來很可能會(huì)出現(xiàn)可靠的文本到3D打印文件轉(zhuǎn)換工具。

NVIDIA人工智能研究副總裁Sanja Fidler表示：“一年前,，人工智能模型需要一個(gè)小時(shí)才能生成這種質(zhì)量的3D視覺效果,，而Latte3D僅需要10到12秒。我們現(xiàn)在可以更快地產(chǎn)生結(jié)果,，使各行業(yè)的創(chuàng)作者能夠?qū)崿F(xiàn)近乎實(shí)時(shí)的文本到3D生成,。”

NVIDIA研究人員在其演示中使用了單個(gè)RTX A6000 GPU時(shí)幾乎可以立即生成3D形狀,。

△在對(duì)比測(cè)試中,，其它AI模型需要20秒到30分鐘以上才能生成輸出，而LATTE3D只需400毫秒即可生成類似的（通常質(zhì)量更高）渲染

創(chuàng)建者可以使用LATTE3D幾乎立即生成詳細(xì)的對(duì)象,，而不是從頭開始設(shè)計(jì)或梳理3D資源庫(kù),。
該模型可根據(jù)每個(gè)文本提示生成一些不同的三維形狀選項(xiàng),。所選對(duì)象可在幾分鐘內(nèi)優(yōu)化為更高質(zhì)量。然后,，用戶可以將形狀導(dǎo)出到圖形軟件應(yīng)用程序或英偉達(dá)Omniverse等平臺(tái)中,，從而實(shí)現(xiàn)基于通用場(chǎng)景描述（OpenUSD）的三維工作流程和應(yīng)用。

盡管LATTE3D是在動(dòng)物和日常物體數(shù)據(jù)集上進(jìn)行訓(xùn)練的,，但開發(fā)人員可以借助相同的模型架構(gòu)在其它類型的數(shù)據(jù)上進(jìn)行訓(xùn)練,。

△LATTE3D功能示例

例如，如果在3D植物數(shù)據(jù)集上進(jìn)行訓(xùn)練,，LATTE3D的一個(gè)版本就能幫助景觀設(shè)計(jì)師在與客戶進(jìn)行頭腦風(fēng)暴時(shí),，快速用樹木、花叢和多肉植物填充花園效果圖,。如果對(duì)家居物品進(jìn)行訓(xùn)練,，該模型就能生成物品，填充到三維模擬家居中,，開發(fā)人員可以用它來訓(xùn)練個(gè)人助理機(jī)器人,，然后再在現(xiàn)實(shí)世界中進(jìn)行測(cè)試和部署。

LATTE3D使用英偉達(dá)A100 Tensor Core GPU進(jìn)行訓(xùn)練,。除了三維形狀外,，該模型還在使用ChatGPT生成的各種文本提示上進(jìn)行了訓(xùn)練，以提高模型處理用戶描述特定三維物體時(shí)可能提出的各種短語的能力,。例如,，當(dāng)提示描述與犬科動(dòng)物相關(guān)時(shí)，都應(yīng)該生成狗一樣的形狀,。