MeshGPT優(yōu)化AI驅(qū)動3D模型,，可避免細(xì)節(jié)丟失和過度三角化以及提高精度和效率

2023年12月5日，南極熊獲悉,，慕尼黑工業(yè)大學(xué)（TUM）和都靈理工大學(xué)的研究人員與奧迪公司聯(lián)手開發(fā)了MeshGPT,，這是一款采用生成式AI的3D網(wǎng)格生成軟件,，它極大簡化了生成3D模型的過程。

△通過對比,，該團(tuán)隊(duì)采用AI生成的3D模型在建模細(xì)節(jié)和清晰度上具有優(yōu)勢（右下）

該研究創(chuàng)新性地運(yùn)用僅包含解碼器的變壓器來創(chuàng)造更為清晰,、更為連貫的三角形網(wǎng)格，形狀覆蓋率顯著提升了9%,，F(xiàn)ID分?jǐn)?shù)（用于評估計(jì)算機(jī)生成圖像質(zhì)量的指標(biāo)）提高了30分,，相較于現(xiàn)有方法，這代表著更為鋒利的邊緣,、更高的真實(shí)感和更緊湊的設(shè)計(jì),，并且確立了新的質(zhì)量標(biāo)準(zhǔn)。

△該研究的詳細(xì)論文可在這里查閱,，題目為“MeshGPT:用解碼器轉(zhuǎn)換器生成三角網(wǎng)格”（傳送門）

MeshGPT通過從Transformer模型中進(jìn)行自回歸采樣，從已學(xué)習(xí)的幾何詞匯中生成標(biāo)記,，然后將這些標(biāo)記解碼為三角形網(wǎng)格的面,。MeshGPT的表現(xiàn)反映了藝術(shù)家創(chuàng)造的網(wǎng)格常見的緊湊特性，與通過等曲面方法從神經(jīng)場提取的密集三角形網(wǎng)格形成了鮮明對比,。受到大型語言模型最新進(jìn)展的啟發(fā),，研究人員采用了基于序列的方法，以自回歸方式生成三角形網(wǎng)格序列,。

△TUM和都靈理工大學(xué)的研究人員與奧迪公司合作進(jìn)行的一項(xiàng)研究結(jié)果

第一步是使用圖卷積學(xué)習(xí)潛在量化嵌入的詞匯,。這將為我們提供有關(guān)局部網(wǎng)格幾何和拓?fù)浣Y(jié)構(gòu)的嵌入信息。術(shù)語“量化嵌入”指的是一種在自然語言處理（NLP）和機(jī)器學(xué)習(xí)中廣泛使用的技術(shù),，它以離散的形式表示和存儲詞嵌入或連續(xù)值向量,。

△生成模型在跨各種語言生成文本方面表現(xiàn)出了良好的能力

這些嵌入經(jīng)過解碼器的排序和解碼，最終被呈現(xiàn)為三角形形狀,，確保它們能夠有效地還原原始網(wǎng)格,。接下來，通過使用學(xué)到的詞匯訓(xùn)練變壓器模型,，以預(yù)測下一個嵌入的索引,，從而進(jìn)一步優(yōu)化模型。通過訓(xùn)練,，該模型能夠執(zhí)行自回歸采樣,，生成新的三角形網(wǎng)格，直接產(chǎn)生具有銳利邊緣和高效三角測量模式的緊湊網(wǎng)格,，更接近于人工網(wǎng)格的表現(xiàn),。

該團(tuán)隊(duì)進(jìn)一步表示，MeshGPT相對于最先進(jìn)的網(wǎng)格生成方法顯示出顯著改進(jìn),，形狀覆蓋率提高了9%,，各個類別的FID分?jǐn)?shù)提高了30分,。與現(xiàn)有方法相比，MeshGPT能夠避免錯過細(xì)節(jié)導(dǎo)致過度三角化的網(wǎng)格,，同時避免輸出過于簡化的形狀,。另外，該技術(shù)不僅適用于單一物體的3D模型生成,，還可以擴(kuò)展應(yīng)用到生成整個場景所需的3D資源,，包括多個物體的模型。,。