DreaMoving，一種基于擴(kuò)散的可控視頻生成框架，用于生成高質(zhì)量的定制人類舞蹈視頻。具體來說，給定目標(biāo)身份和姿勢序列，DreaMoving 可以生成目標(biāo)身份在姿勢序列驅(qū)動下在任何地方跳舞的視頻。為此，我們提出了一個用于運(yùn)動控制的視頻控制網(wǎng)絡(luò)和一個用于身份保留的內(nèi)容指南。所提出的模型易于使用，并且可以適應(yīng)大多數(shù)風(fēng)格化的擴(kuò)散模型以生成不同的結(jié)果。

DreaMoving項(xiàng)目地址：https://dreamoving.github.io/dreamoving

DreaMoving 概述：

Video ControlNet 是在每個 U-Net 塊之后注入運(yùn)動塊的圖像 ControlNet。Video ControlNet 將控制序列（姿態(tài)或深度）處理為額外的時間殘差。Denoising U-Net 是一種衍生的 Stable-Diffusion U-Net，帶有用于視頻生成的運(yùn)動塊。內(nèi)容導(dǎo)覽器將輸入文本提示和外觀表達(dá)式（如人臉（布料是可選的））傳輸?shù)絻?nèi)容嵌入中，以便交叉注意。

結(jié)果：

DreaMoving 可以生成高質(zhì)量和高保真度的視頻，給定指導(dǎo)序列和簡單的內(nèi)容描述，例如文本和參考圖像作為輸入。具體來說，DreaMoving 通過人臉參考圖像、通過姿勢序列進(jìn)行精確運(yùn)動操作以及由指定文本提示提示的全面視頻外觀控制來展示身份控制的熟練程度。