谷歌繼續(xù)開源新AI框架,，可實現(xiàn)手機高效實時3D目標檢測

來源：澎湃新聞

如何從2D圖像中做3D目標檢測,，對于計算機視覺研究來說,，一直是個挑戰(zhàn),。3月12日,，谷歌AI在其官方博客上發(fā)布了一款名為MediaPipe Objectron的算法框架,，利用這個算法框架,，只要一部手機，就能實時從2D視頻里識別3D物品的位置,、大小和方向,。這一技術可以幫助機器人，自動駕駛汽車,，圖像檢索和增強現(xiàn)實等領域實現(xiàn)一系列的應用,。

分開來解釋，MediaPipe是一個開源代碼跨平臺框架,，主要用于構建處理不同形式的感知數(shù)據(jù),，而 Objectron在MediaPipe中實現(xiàn)，并能夠在移動設備中實時計算面向對象的3D邊界框,。

在計算機視覺領域里,，跟蹤3D目標是一個棘手的問題，尤其是在有限的計算資源上,，例如,，智能手機上。由于缺乏數(shù)據(jù),，以及需要解決物體多樣的外觀和形狀時,，而又僅有可2D圖像可用時,，情況就會變得更加困難。

為了解決這個問題,，谷歌Objectron團隊開發(fā)了一套工具,，可以用來在2D視頻里為對象標注3D邊界框，而有了3D邊界框,，就可以很容易地計算出物體的姿態(tài)和大小,。注釋器可以在3D視圖中繪制3D邊界框，并通過查看2D視頻幀中的投影來驗證其位置,。對于靜態(tài)對象,，他們只需在單個幀中注釋目標對象即可,。

為了補充現(xiàn)實世界的訓練數(shù)據(jù)以提高AI模型預測的準確性,，該團隊還開發(fā)了一種名為AR Synthetic Data Generation（增強現(xiàn)實合成數(shù)據(jù)生成）的新穎方法。它可以將虛擬對象放置到具有AR會話數(shù)據(jù)的場景中,，允許你利用照相機,，檢測平面和估計照明，來生成目標對象的可能的位置,，以及生產(chǎn)具有與場景匹配的照明,。這種方法可生成高質量的合成數(shù)據(jù)，其包含的渲染對象能夠尊重場景的幾何形狀并無縫地適配實際背景,。

網(wǎng)絡的樣本結果：左邊是帶有估計邊界框的原始2D圖像,；中間是高斯分布的對象檢測；右邊是預測的分割蒙版,。

通過上述兩個方法,，谷歌結合了現(xiàn)實世界數(shù)據(jù)和增強現(xiàn)實合成數(shù)據(jù)，將檢測準確度度提高了10%,。

增強現(xiàn)實合成數(shù)據(jù)生成的一個示例：虛擬白褐色谷物盒渲染到真實場景中,，緊鄰真實藍皮書。

準確度的提升是一方面,，谷歌表示,，當前版本的Objectron模型還足夠“輕巧”，可以在移動設備上實時運行,。借助LG V60 ThinQ,，三星Galaxy S20 +和Sony Xperia 1 II等手機中的Adreno 650移動圖形芯片，它能夠每秒處理約26幀圖像,，基本做到了實時檢測,。接下去，谷歌團隊表示：" 我們希望通過與更多的研究員和開發(fā)者共享我們的解決方案,，這將激發(fā)新的應用案例和新的研究工作,。我們計劃在未來將模型擴展到更多類別,，并進一步提高設備性能。"