MimicMotion
MimicMotion簡(jiǎn)介
騰訊和上交大出的,MimicMotion可以生成任意長(zhǎng)度、具有任何動(dòng)作指導(dǎo)的高質(zhì)量視頻生成框架,可以生成細(xì)節(jié)豐富、逼真的人類動(dòng)作視頻,可以生成任意長(zhǎng)度的視頻內(nèi)容,可以對(duì)視頻內(nèi)容進(jìn)行精確控制,包括動(dòng)作、姿勢(shì)和視頻風(fēng)格等。
類似阿里的通義舞王,但效果看起來比阿里通義舞王好很多,MimicMotion支持面部特征和唇形同步,不止可以搞跳舞視頻,也可以做數(shù)字人。

近年來,生成式人工智能在圖像生成領(lǐng)域取得了重大進(jìn)展,催生了多種應(yīng)用。然而,視頻生成在可控性、視頻長(zhǎng)度、細(xì)節(jié)豐富度等各方面仍面臨相當(dāng)大的挑戰(zhàn),阻礙了該技術(shù)的應(yīng)用和普及。在這項(xiàng)工作中,我們提出了一種可控視頻生成框架,稱為 MimicMotion,它可以在任何運(yùn)動(dòng)指導(dǎo)下生成任意長(zhǎng)度的高質(zhì)量視頻。與以前的方法相比,我們的方法
有幾個(gè)亮點(diǎn)。
首先,通過置信感知姿勢(shì)指導(dǎo),可以實(shí)現(xiàn)時(shí)間平滑性,從而可以通過大規(guī)模訓(xùn)練數(shù)據(jù)增強(qiáng)模型的連貫流暢。
其次,基于姿態(tài)置信度的區(qū)域損失放大顯著減輕了圖像的失真,能夠顯著減少生成圖像中的扭曲和變形。
最后,為了生成流暢的長(zhǎng)視頻,提出了一種漸進(jìn)式潛在融合策略。通過這種方式,能夠在可接受的計(jì)算資源消耗下,實(shí)現(xiàn)任意長(zhǎng)度視頻的生成。
通過大量的實(shí)驗(yàn)和用戶研究,MimicMotion 在多個(gè)方面比阿里的通義舞王的方法有了明顯的改進(jìn)。

MimicMotion代碼:https://github.com/Tencent/MimicMotion
MimicMotion ComfyUI版本:https://github.com/aiFSH/ComfyUI-MimicMotion

提交您的產(chǎn)品
Ai應(yīng)用
Ai資訊
AI生圖
AI生視頻
開源AI應(yīng)用平臺(tái)



