MIT使用AI從2D視頻創(chuàng)建3D打印的“運動雕塑”

對運動的理解是所有生物物種的基礎，無論它是在計算投球的角度，還是看到捕食者和獵物的運動。 但簡單的視頻實際上無法給我們?nèi)�面的了解�?由于用于研究運動的傳統(tǒng)視頻和照片是二維的，因此它們不向我們展示感興趣的人或主題的潛在3D結(jié)構。

現(xiàn)在麻省理工學院計算機科學與人工智能實驗室，谷歌研究所和加州大學伯克利分校的研究人員已經(jīng)提出了一種人工智能（AI）系統(tǒng)來展示人體如何運動。

該系統(tǒng)被稱為MoSculp，它使用的算法可以拍攝2D視頻并將其轉(zhuǎn)換為3D打印的“運動雕塑”。 它可以為職業(yè)運動員，舞者或任何想要提高身體技能的人提供更詳細的運動研究。

“想象一下，你有一個關于羅杰費德勒在網(wǎng)球比賽中投球的視頻，以及一個自己學習網(wǎng)球的視頻，”博士生張秀明說。 “然后你可以建立兩種情景的動作雕塑來比較它們，并更全面地研究你需要改進的地方。”

以下是它在實踐中的工作原理：將視頻加載到系統(tǒng)后，MoSculp將檢測到的關鍵點覆蓋在輸入幀上，并通過幾個隨機選擇的幀確認它們。 （內(nèi)置的校正工具可以讓用戶在必要時進行調(diào)整。）在校正“暫時不一致的檢測”后，它會生成運動雕塑并將其加載到自定義界面中。

這是一個多步驟過程，所有MoSculp需求都是視頻序列。 以下是它的工作原理：將視頻加載到系統(tǒng)后，MoSculp會首先自動檢測拍攝對象身體上的2D關鍵點，例如芭蕾舞女演員的髖關節(jié)，膝關節(jié)和踝關節(jié)，同時進行復雜的舞蹈序列。 然后，它將這些點的最佳姿勢轉(zhuǎn)化為3D“骨架”。

將這些骨架拼接在一起后，系統(tǒng)會生成一個可以3D打印的運動雕塑，顯示主體追蹤的平滑，連續(xù)的運動路徑。用戶可以在雕塑周圍導航并定制他們的圖形以聚焦于不同的身體部位，分配不同的材料以區(qū)分部件，甚至自定義照明，然后使用3D打印機進行打印。

在試驗期間，研究人員發(fā)現(xiàn)超過75％的受試者認為MoSculp提供了比標準攝影技術更詳細的運動學習可視化。

該系統(tǒng)最適合較大的動作，例如在舞蹈序列中投球或進行一次飛躍。它也適用于可能阻礙或復雜運動的情況，例如穿著寬松衣服或攜帶物品的人。

目前，MoSculp僅使用單一主題視頻，但該團隊希望擴展到多個人。在未來，他們相信它可以用于研究諸如社交障礙，人際交往和團隊動態(tài)之類的事情。

第一作者張秀明帶著團隊的一部“動感雕塑”

“舞蹈和高技能運動通常看起來像'移動雕塑'，但它們只會形成稍縱即逝的短暫形狀，”Adobe傳播負責人Courtney Brigham說。 “這項工作展示了如何采取動作并將其轉(zhuǎn)化為具有客觀運動可視化的真實雕塑，為運動員提供了一種分析他們的訓練動作的方式，不需要比移動攝像機更多的設備和一些計算時間。”

該團隊將于下個月在德國柏林的用戶界面軟件和技術（UIST）會議上展示他們的論文（“MoSculp：形狀和時間的交互式可視化”）。


編譯自：3ders