GAN「一生萬物」， ETH、谷歌用單個序列玩轉(zhuǎn)神經(jīng)動作合成，入選SIGGRAPH

酷炫的神經(jīng)動作合成技術(shù)，單個序列就能完成。

生成逼真且多樣化的人體動作是計算機(jī)圖形學(xué)的長期目標(biāo)。對于動作建模和合成來說，研究者通常使用概率模型來捕獲有限的局部變化或利用動作捕捉（mocap）獲得的大型動作數(shù)據(jù)集。在階段設(shè)置（stage-setting）和后期處理（例如，涉及手動數(shù)據(jù)清理）中，使用動作捕捉系統(tǒng)捕獲數(shù)據(jù)的成本很高，并且動作數(shù)據(jù)集通常是有限制的，即它們?nèi)狈λ璧墓趋澜Y(jié)構(gòu)、身體比例或樣式。利用動作數(shù)據(jù)集通常需要復(fù)雜的處理，例如重新定位，這可能會在原始捕獲的動作中引入錯誤。
近日，來自蘇黎世聯(lián)邦理工學(xué)院、谷歌、芝加哥大學(xué)等機(jī)構(gòu)的研究者開發(fā)了一個框架 GANimator，該框架能夠產(chǎn)生不同且逼真的動作，只使用一個單一的訓(xùn)練序列。這一框架大大簡化了數(shù)據(jù)收集過程，同時允許創(chuàng)建逼真的動作變化，還可以準(zhǔn)確地捕捉單獨(dú)動作序列細(xì)節(jié)。該研究入選 SIGGRAPH 2022。

• 論文地址：https://arxiv.org/pdf/2205.02625.pdf

• 項目地址：https://peizhuoli.github.io/ganimator/

我們先來看如下效果圖，左邊輸入的是單個動作序列，右邊是生成結(jié)果：

GANimator 框架也可以處理動物類的輸入：

群體動畫。GANimator 框架訓(xùn)練了一個單一的螃蟹舞蹈序列，可以生成各種新穎的運(yùn)動：

GANimator 框架也可以混合不同的序列，生成一個動作序列：

上述示例說明 GANimator 框架是生成新動作的有效工具，它可以僅使用短動作序列作為輸入來合成較長、多樣和高質(zhì)量的動作序列。
方法概覽
研究者提出的生成模型可以從單個動作序列中學(xué)習(xí)，采用的方法受到了圖像領(lǐng)域最近使用漸進(jìn)式生成的工作以及在單個示例上訓(xùn)練深度網(wǎng)絡(luò)的工作的啟發(fā)。接下來詳細(xì)介紹分層框架、動作表征和訓(xùn)練流程的主要構(gòu)建塊。
動作表征
研究者通過一個

*博客內(nèi)容為網(wǎng)友個人發(fā)布，僅代表博主個人觀點(diǎn)，如有侵權(quán)請聯(lián)系工作人員刪除。