騰訊和上交大出的，MimicMotion可以生成任意長(zhǎng)度、具有任何動(dòng)作指導(dǎo)的高質(zhì)量視頻生成框架，可以生成細(xì)節(jié)豐富、逼真的人類動(dòng)作視頻，可以生成任意長(zhǎng)度的視頻內(nèi)容，可以對(duì)視頻內(nèi)容進(jìn)行精確控制，包括動(dòng)作、姿勢(shì)和視頻風(fēng)格等。

類似阿里的通義舞王，但效果看起來比阿里通義舞王好很多，MimicMotion支持面部特征和唇形同步，不止可以搞跳舞視頻，也可以做數(shù)字人。

近年來，生成式人工智能在圖像生成領(lǐng)域取得了重大進(jìn)展，催生了多種應(yīng)用。然而，視頻生成在可控性、視頻長(zhǎng)度、細(xì)節(jié)豐富度等各方面仍面臨相當(dāng)大的挑戰(zhàn)，阻礙了該技術(shù)的應(yīng)用和普及。在這項(xiàng)工作中，我們提出了一種可控視頻生成框架，稱為 MimicMotion，它可以在任何運(yùn)動(dòng)指導(dǎo)下生成任意長(zhǎng)度的高質(zhì)量視頻。與以前的方法相比，我們的方法

有幾個(gè)亮點(diǎn)。

首先，通過置信感知姿勢(shì)指導(dǎo)，可以實(shí)現(xiàn)時(shí)間平滑性，從而可以通過大規(guī)模訓(xùn)練數(shù)據(jù)增強(qiáng)模型的連貫流暢。

其次，基于姿態(tài)置信度的區(qū)域損失放大顯著減輕了圖像的失真，能夠顯著減少生成圖像中的扭曲和變形。

最后，為了生成流暢的長(zhǎng)視頻，提出了一種漸進(jìn)式潛在融合策略。通過這種方式，能夠在可接受的計(jì)算資源消耗下，實(shí)現(xiàn)任意長(zhǎng)度視頻的生成。

通過大量的實(shí)驗(yàn)和用戶研究，MimicMotion 在多個(gè)方面比阿里的通義舞王的方法有了明顯的改進(jìn)。

MimicMotion代碼：https://github.com/Tencent/MimicMotion

MimicMotion ComfyUI版本：https://github.com/aiFSH/ComfyUI-MimicMotion