MeshGPT優(yōu)化AI驅(qū)動3D模型,，可避免細節(jié)丟失和過度三角化以及提高精度和效率

2023年12月5日，南極熊獲悉,，慕尼黑工業(yè)大學（TUM）和都靈理工大學的研究人員與奧迪公司聯(lián)手開發(fā)了MeshGPT,，這是一款采用生成式AI的3D網(wǎng)格生成軟件，它極大簡化了生成3D模型的過程,。

△通過對比,，該團隊采用AI生成的3D模型在建模細節(jié)和清晰度上具有優(yōu)勢（右下）

該研究創(chuàng)新性地運用僅包含解碼器的變壓器來創(chuàng)造更為清晰、更為連貫的三角形網(wǎng)格,，形狀覆蓋率顯著提升了9%,，F(xiàn)ID分數(shù)（用于評估計算機生成圖像質(zhì)量的指標）提高了30分，相較于現(xiàn)有方法,，這代表著更為鋒利的邊緣,、更高的真實感和更緊湊的設(shè)計，并且確立了新的質(zhì)量標準,。

△該研究的詳細論文可在這里查閱,，題目為“MeshGPT:用解碼器轉(zhuǎn)換器生成三角網(wǎng)格”（傳送門）

MeshGPT通過從Transformer模型中進行自回歸采樣，從已學習的幾何詞匯中生成標記,，然后將這些標記解碼為三角形網(wǎng)格的面,。MeshGPT的表現(xiàn)反映了藝術(shù)家創(chuàng)造的網(wǎng)格常見的緊湊特性，與通過等曲面方法從神經(jīng)場提取的密集三角形網(wǎng)格形成了鮮明對比,。受到大型語言模型最新進展的啟發(fā),，研究人員采用了基于序列的方法，以自回歸方式生成三角形網(wǎng)格序列,。

△TUM和都靈理工大學的研究人員與奧迪公司合作進行的一項研究結(jié)果

第一步是使用圖卷積學習潛在量化嵌入的詞匯,。這將為我們提供有關(guān)局部網(wǎng)格幾何和拓撲結(jié)構(gòu)的嵌入信息。術(shù)語“量化嵌入”指的是一種在自然語言處理（NLP）和機器學習中廣泛使用的技術(shù),，它以離散的形式表示和存儲詞嵌入或連續(xù)值向量,。

△生成模型在跨各種語言生成文本方面表現(xiàn)出了良好的能力

這些嵌入經(jīng)過解碼器的排序和解碼，最終被呈現(xiàn)為三角形形狀,，確保它們能夠有效地還原原始網(wǎng)格,。接下來，通過使用學到的詞匯訓練變壓器模型，以預測下一個嵌入的索引,，從而進一步優(yōu)化模型,。通過訓練，該模型能夠執(zhí)行自回歸采樣,，生成新的三角形網(wǎng)格,，直接產(chǎn)生具有銳利邊緣和高效三角測量模式的緊湊網(wǎng)格，更接近于人工網(wǎng)格的表現(xiàn),。

該團隊進一步表示,，MeshGPT相對于最先進的網(wǎng)格生成方法顯示出顯著改進，形狀覆蓋率提高了9%,，各個類別的FID分數(shù)提高了30分,。與現(xiàn)有方法相比，MeshGPT能夠避免錯過細節(jié)導致過度三角化的網(wǎng)格,，同時避免輸出過于簡化的形狀,。另外，該技術(shù)不僅適用于單一物體的3D模型生成,，還可以擴展應用到生成整個場景所需的3D資源,，包括多個物體的模型。,。