DreamActor-M1是什么？

DreamActor-M1是字節(jié)跳動(dòng)推出的一款基于擴(kuò)散變換器（DiT）的人類圖像動(dòng)畫框架，類似Runway的Act one，給定一張參考圖像， DreamActor - M1可以模仿從視頻中捕捉到的人類行為，制作多個(gè)尺度（從肖像到全身動(dòng)畫）的高度表現(xiàn)力和逼真的視頻，也解決了其他框架表情和動(dòng)作做得不夠細(xì)膩，長視頻容易細(xì)節(jié)會(huì)對(duì)不上，穿幫的問題，支持各種動(dòng)作風(fēng)格，表現(xiàn)均優(yōu)于 Act-One、Animate Everyone 和 SkyReels-A1。

DreamActor-M1核心功能

• 靜態(tài)照片轉(zhuǎn)動(dòng)態(tài)影像：通過結(jié)合一張靜態(tài)照片和一段參考動(dòng)作視頻，將照片中的人物無縫替換到視頻場(chǎng)景中，生成表情細(xì)膩、動(dòng)作自然且畫質(zhì)高清的動(dòng)態(tài)影像。

• 精細(xì)控制：采用混合引導(dǎo)機(jī)制，結(jié)合隱式面部表示、3D頭部球體和3D身體骨架等控制信號(hào)，實(shí)現(xiàn)對(duì)人物面部表情和身體動(dòng)作的精準(zhǔn)控制。

• 靈活的運(yùn)動(dòng)轉(zhuǎn)移：支持僅傳遞部分運(yùn)動(dòng)，例如面部表情和頭部運(yùn)動(dòng)。

• 面部動(dòng)畫支持：可擴(kuò)展至音頻驅(qū)動(dòng)的面部動(dòng)畫，實(shí)現(xiàn)多語言的口型同步。

• 形狀感知?jiǎng)赢嫞和ㄟ^骨骼長度調(diào)整技術(shù)，實(shí)現(xiàn)形狀適應(yīng)的動(dòng)畫生成。

• 多樣化風(fēng)格支持：對(duì)各種角色和運(yùn)動(dòng)風(fēng)格具有魯棒性。

• 多種視角支持：能在不同的頭部姿態(tài)下生成動(dòng)畫結(jié)果。

DreamActor-M1技術(shù)原理

• 混合引導(dǎo)機(jī)制：結(jié)合隱式面部表示、3D頭部球體和3D身體骨架等控制信號(hào)，確保生成的動(dòng)畫在細(xì)節(jié)上高度逼真，同時(shí)保持整體的協(xié)調(diào)性和流暢性。

• 多尺度適應(yīng)性：通過逐步訓(xùn)練策略，能處理各種身體姿勢(shì)和不同分辨率的圖像，支持從肖像到全身視圖的轉(zhuǎn)換。

• 長期時(shí)間一致性：通過整合連續(xù)幀的運(yùn)動(dòng)模式和視覺參考，確保在復(fù)雜動(dòng)作中未觀察區(qū)域的時(shí)間一致性。

• 面部動(dòng)畫與語音支持：支持音頻驅(qū)動(dòng)的面部動(dòng)畫，能實(shí)現(xiàn)多語言的口型同步。

DreamActor-M1應(yīng)用場(chǎng)景

• 影視制作：用于生成虛擬角色的動(dòng)畫。

• 廣告行業(yè)：創(chuàng)建動(dòng)態(tài)的人物廣告。

• 視頻游戲：生成游戲中的角色動(dòng)畫。

• 虛擬主播：為虛擬主播提供更自然、更逼真的動(dòng)畫效果。

• 教育與培訓(xùn)：創(chuàng)建動(dòng)態(tài)的教學(xué)視頻，使人物能夠進(jìn)行各種動(dòng)作和表情。

• 社交媒體：生成個(gè)性化的動(dòng)態(tài)頭像或短視頻。

項(xiàng)目鏈接

項(xiàng)目官網(wǎng)：https://grisoon.github.io/DreamActor-M1/

arXiv技術(shù)論文：https://arxiv.org/pdf/2504.01724