GAN「一生萬物」， ETH、谷歌用單個序列玩轉神經動作合成，入選SIGGRAPH
加入技術交流群
酷炫的神經動作合成技術，單個序列就能完成。
生成逼真且多樣化的人體動作是計算機圖形學的長期目標。對于動作建模和合成來說，研究者通常使用概率模型來捕獲有限的局部變化或利用動作捕捉（mocap）獲得的大型動作數據集。在階段設置（stage-setting）和后期處理（例如，涉及手動數據清理）中，使用動作捕捉系統捕獲數據的成本很高，并且動作數據集通常是有限制的，即它們缺乏所需的骨骼結構、身體比例或樣式。利用動作數據集通常需要復雜的處理，例如重新定位，這可能會在原始捕獲的動作中引入錯誤。
近日，來自蘇黎世聯邦理工學院、谷歌、芝加哥大學等機構的研究者開發了一個框架 GANimator，該框架能夠產生不同且逼真的動作，只使用一個單一的訓練序列。這一框架大大簡化了數據收集過程，同時允許創建逼真的動作變化，還可以準確地捕捉單獨動作序列細節。該研究入選 SIGGRAPH 2022。
論文地址：https://arxiv.org/pdf/2205.02625.pdf
項目地址：https://peizhuoli.github.io/ganimator/
我們先來看如下效果圖，左邊輸入的是單個動作序列，右邊是生成結果：
GANimator 框架也可以處理動物類的輸入：
群體動畫。GANimator 框架訓練了一個單一的螃蟹舞蹈序列，可以生成各種新穎的運動：
GANimator 框架也可以混合不同的序列，生成一個動作序列：
上述示例說明 GANimator 框架是生成新動作的有效工具，它可以僅使用短動作序列作為輸入來合成較長、多樣和高質量的動作序列。
方法概覽
研究者提出的生成模型可以從單個動作序列中學習，采用的方法受到了圖像領域最近使用漸進式生成的工作以及在單個示例上訓練深度網絡的工作的啟發。接下來詳細介紹分層框架、動作表征和訓練流程的主要構建塊。
動作表征
研究者通過一個
*博客內容為網友個人發布，僅代表博主個人觀點，如有侵權請聯系工作人員刪除。
