Magic Animate是一項(xiàng)開創(chuàng)性的開源項(xiàng)目，簡(jiǎn)化了動(dòng)畫創(chuàng)作，允許您從單個(gè)圖像和動(dòng)態(tài)視頻制作動(dòng)畫視頻，簡(jiǎn)單來(lái)說(shuō)，給定一張參考圖像和一個(gè)姿態(tài)序列（視頻），它可以生成一個(gè)跟隨姿態(tài)運(yùn)動(dòng)，并保持參考圖像身份特征的動(dòng)畫視頻。由新加坡國(guó)立大學(xué)的Show Lab和字節(jié)跳動(dòng)打造。

Magic Animate在所有舞蹈視頻解決方案中提供最高的一致性，但是Magic Animate 面部和手部可能會(huì)出現(xiàn)一些扭曲。默認(rèn)配置可能會(huì)導(dǎo)致從動(dòng)漫到寫實(shí)主義的風(fēng)格轉(zhuǎn)變，尤其是在視頻中的面部。將動(dòng)漫風(fēng)格應(yīng)用于默認(rèn)的DensePose驅(qū)動(dòng)視頻也會(huì)影響身體比例。

Magic Animate官網(wǎng)地址：www.magicanimate.org

MagicAnimate 的核心功能：

• 從單個(gè)圖像和動(dòng)態(tài)視頻創(chuàng)建動(dòng)畫

• 保持時(shí)間一致性

• 保留參考圖像

• 增強(qiáng)動(dòng)畫保真度

• 與DALLE3等T2I擴(kuò)散模型集成

• 跨標(biāo)識(shí)動(dòng)畫和來(lái)自未知領(lǐng)域的動(dòng)畫

• 以文本提示圖像動(dòng)畫

• 在舞蹈視頻解決方案中保持高一致性

MagicAnimate 如何使用？

要使用Magic Animate，您需要下載StableDiffusion V1.5和MSE-finetuned VAE的預(yù)訓(xùn)練基礎(chǔ)模型。然后，您可以安裝必要的依賴項(xiàng)并激活conda環(huán)境。然后上傳一張靜態(tài)人物照片，上傳想要生成的動(dòng)作demo視頻，調(diào)整參數(shù)。之后，您可以在Huggingface或Replicate上嘗試在線演示。另外，您還可以使用Replicate API以編程方式生成動(dòng)畫視頻。