科學(xué)家開(kāi)發(fā)出準(zhǔn)確捕捉表情的3D建模新方法

        在3D渲染中準(zhǔn)確地重建一個(gè)人的面部特征，是3D掃描儀所要面對(duì)的最困難的工作之一,。雖然各種技術(shù)和軟件已經(jīng)發(fā)展了很多年,，但人臉的高度非剛性性質(zhì)，以及人類(lèi)本身能夠分辨出非常細(xì)微的細(xì)節(jié)和幾何缺陷的能力,，使得生成一個(gè)高頻品質(zhì)的渲染效果非常困難,。此外，它還是一個(gè)非常耗時(shí)的過(guò)程,，并且需要大量的設(shè)備,。受測(cè)者將被長(zhǎng)時(shí)間鎖定在一個(gè)工作室里，同時(shí)要設(shè)置幾十個(gè)攝像頭來(lái)收集必要的數(shù)據(jù),。

        但是,，在今年9月6日—12日在瑞士蘇黎世舉行的計(jì)算機(jī)視覺(jué)歐洲會(huì)議（European Conference on Computer Vision）上，來(lái)自華盛頓大學(xué)的團(tuán)隊(duì)展示了一種3D掃描獲取面部特征的新方式,，可以避免這一切,，而且使用的設(shè)備非常簡(jiǎn)單，不需要特殊的裝置,。

        “前提是,，我們能夠獲取一個(gè)人在不同時(shí)間、不同環(huán)境,，以不同的表情和姿勢(shì)拍攝的大量照片。事實(shí)上,，大多數(shù)人在生活中總是會(huì)拍攝大量的照片和視頻,。我們的建議是利用同一個(gè)人的所有可用圖片和視頻作為資料庫(kù)，來(lái)幫助在虛擬世界重建他/她的臉部�,！�

        他們的做法被稱(chēng)為總體移動(dòng)臉部掃描（Total Moving Face Scanning,，TMFS），研究團(tuán)隊(duì)成員包括華盛頓大學(xué)計(jì)算機(jī)科學(xué)與工程研究生 Supasorn Suwajakorn和他的導(dǎo)師助理教授 Ira Kemelmacher-Shlizerman,、教授 Steven Seitz

        這種TMFS方法,，可用于在非正常拍攝條件下的3D建模。特別是那些有著大量公開(kāi)圖像,、視頻數(shù)據(jù)的知名人士,，諸如查爾斯王子、阿諾德·施瓦辛格,、湯姆·漢克斯這類(lèi)人,。這應(yīng)該也算大數(shù)據(jù)的一種使用方式吧。

        從下面的圖片中可以看到,，軟件在綜合了各種光照條件,、頭部姿勢(shì)、面部表情等數(shù)據(jù)生成了高度詳細(xì)而精確的3D渲染效果,。

        這種方法顯然與常用的技術(shù)大不相同,。“當(dāng)前幾乎所有的3D人臉追蹤和視頻重建方法都是基于一個(gè)假設(shè),，即人臉可以通過(guò)混合形狀的線(xiàn)性組合來(lái)表現(xiàn),。”雖然這種方法可以科學(xué)家限制參數(shù)和測(cè)量指標(biāo)的數(shù)量,，但它會(huì)導(dǎo)致在低等級(jí)的3D模型中,，表現(xiàn)力有限，而且無(wú)法捕捉一些重要細(xì)節(jié),。

        使用TMFS方法,，目標(biāo)對(duì)象的圖像視頻數(shù)據(jù)越多，那么計(jì)算生成的3D形象就會(huì)越精確傳神,。一個(gè)人的臉部形狀可以在每個(gè)時(shí)刻都稍有不同,，但是它們的大致形狀（例如眼睛、鼻子的長(zhǎng)度,，整體幾何形狀之間的距離等）,，趨向于隨著時(shí)間的推移保持一致。因此,，研究人員可以利用所有可用的圖像（照片和/或視頻幀）來(lái)捕捉特定條件下的平均形狀和外觀,，來(lái)重建一個(gè)人的外觀和形狀的3D模型。

        3D渲染本身就是一種復(fù)雜的算法,。 至關(guān)重要的是一個(gè)“照片一致性基礎(chǔ)上的標(biāo)準(zhǔn),，比如在同一個(gè)輸入視頻幀中比較網(wǎng)格效果,。這種能力的關(guān)鍵取決于每個(gè)輸入幀的渲染網(wǎng)格能否匹配�,！�

        TMFS方法的渲染過(guò)程包括了兩個(gè)步驟：第一,、平均形狀（基于圖像數(shù)據(jù)庫(kù)）發(fā)生變形以匹配3D渲染里同一個(gè)形狀的運(yùn)動(dòng)。第二,，所得到的形狀要根據(jù)每一幀中的已知細(xì)部線(xiàn)索進(jìn)行修改,。這意味著，非剛性的面部特征（如皺紋）也將首次捕獲并添加到參考幀里,，在這之后一些特定的細(xì)部也將要考慮在內(nèi),。 所有這一切，很明顯需要一些嚴(yán)肅的計(jì)算,。

        但是結(jié)果是不會(huì)說(shuō)謊的,。天 工社發(fā)現(xiàn)，TMFS算法能夠成功地清晰捕獲類(lèi)似皺紋這樣非常微小的細(xì)節(jié)和在很小尺度上的微妙表情變化,，這是現(xiàn)有軟件無(wú)法比擬的,。 正如科學(xué)家們說(shuō)：

        “通過(guò)注意在每幀中面部表情的變化（相對(duì)于平均形狀），例如,，嘴張開(kāi),、眼睛閉合和打開(kāi)、皺紋出現(xiàn)和消失,、眼睛區(qū)域的細(xì)節(jié)等,，諸如此類(lèi)。該方法即使在對(duì)象動(dòng)作幅度非常大的條件下也很可靠,，即使是簡(jiǎn)單的輪廓也能提供高品質(zhì)的結(jié)果,。”

        TMFS技術(shù)的應(yīng)用前景十分廣闊,，它可以用來(lái)開(kāi)發(fā)基于視頻和照片的3D建模軟件,，讓對(duì)人像的3D掃描和建模變得更加簡(jiǎn)單、方便,、精確,。同時(shí)也否定了使用昂貴的設(shè)備來(lái)獲得高質(zhì)量結(jié)果的必要性。

        下面是介紹TMFS技術(shù)的視頻：