MultiTalk 是美團視覺智能團隊開源的音頻驅(qū)動多人對話視頻生成工具。它能根據(jù)多人音頻、參考圖像和文字提示，生成口型同步、肢體自然的數(shù)字人對話視頻，效果很好。用戶只需上傳音頻、參考圖和提示詞，就能生成嘴型匹配的對話視頻，還能生成歌唱場景和卡通角色。

這個項目有不少實用特點：音頻驅(qū)動的嘴型同步很精準(zhǔn)，能用提示詞控制虛擬角色動作，能輸出不同分辨率的視頻，還能生成長達 15 秒的對話場景。另外，它集成了文本轉(zhuǎn)語音功能，做了多項優(yōu)化來提高生成效率，支持低顯存模式和多 GPU 推理，在單張 RTX 4090 顯卡上就能運行。

功能特征

?音頻驅(qū)動：輸入多人音頻，就能生成自然的口型同步和肢體動作

?單張照片輸入：僅用一張參考圖像，就能生成多人互動視頻

?復(fù)雜動作遵循：支持復(fù)雜文字提示，生成符合描述的動作和場景

?多語言支持：能處理多語言音頻，實現(xiàn)精準(zhǔn)的唇部同步

?長視頻生成：用自回歸方法生成連貫的長視頻

?高效訓(xùn)練策略：通過兩階段訓(xùn)練、部分參數(shù)訓(xùn)練和多任務(wù)訓(xùn)練，提升模型性能

?L-RoPE 技術(shù)：借助標(biāo)簽旋轉(zhuǎn)位置編碼，實現(xiàn)多流音頻與人物的精準(zhǔn)綁定

?高質(zhì)量輸出：生成的視頻自然流暢，視覺上幾乎沒有偽影

技術(shù)亮點

?首創(chuàng) L-RoPE 技術(shù)：用標(biāo)簽旋轉(zhuǎn)位置編碼解決多音頻流與人物錯位問題，讓音頻和人物精準(zhǔn)對應(yīng)

?音頻驅(qū)動視頻生成：輸入多人音頻、參考圖像和文字提示，就能生成口型同步、肢體自然的交互視頻

?局部參數(shù)訓(xùn)練 + 多任務(wù)學(xué)習(xí)策略：在保留復(fù)雜動作指令跟隨能力的同時，實現(xiàn)動態(tài)人物的自適應(yīng)定位

?多場景支持：可用于影視制作、直播電商等多種場景

技術(shù)框架

?基礎(chǔ)模型結(jié)構(gòu)：以 DiT 視頻擴散模型為核心，集成 3D 變分自編碼器，高效處理視頻數(shù)據(jù)

?單人音頻集成：在每個 DiT 塊的文本交叉注意力層后添加音頻交叉注意力機制，用 Wav2Vec 提取音頻特征，通過音頻適配器解決視頻和音頻時間粒度不匹配的問題

?多人音頻處理：靠 L-RoPE 技術(shù)實現(xiàn)多流音頻與多個人物的精準(zhǔn)綁定，避免 “齊聲說話”

訓(xùn)練策略：

?兩階段訓(xùn)練：先練單人視頻生成能力，再練多人物交互和綁定

?部分參數(shù)訓(xùn)練：只更新音頻交叉注意力層和音頻適配器的網(wǎng)絡(luò)參數(shù)，凍結(jié)其他基礎(chǔ)模型參數(shù)

?多任務(wù)訓(xùn)練：結(jié)合音頻 + 圖像到視頻、圖像到視頻兩種訓(xùn)練方式，增強模型的指令遵循能力

性能表現(xiàn)

?定量評估：在頭部和身體動作生成任務(wù)中，和多個先進方法相比，在唇形同步（Sync-C、Sync-D）和視頻質(zhì)量（FID、FVD）上表現(xiàn)突出

?定性評估：處理復(fù)雜交互場景時效果好，能生成精準(zhǔn)響應(yīng)復(fù)雜文字提示的視頻，視覺偽影少，畫面自然真實

?長視頻生成：用自回歸方法，把之前生成視頻的末尾部分作為條件，生成新的視頻片段，保證時間上的連貫和擴展

適用場景

• 影視制作：虛擬角色互動、動畫配音、特效合成、短片創(chuàng)作

• 直播電商：虛擬主播互動、產(chǎn)品展示解說、多語言直播

• 教育領(lǐng)域：虛擬教師互動、語言學(xué)習(xí)、歷史重現(xiàn)

• 游戲開發(fā)：虛擬角色對話、NPC 互動、多人在線游戲

• 廣告營銷：虛擬代言人、產(chǎn)品推廣、社交媒體廣告

• 虛擬社交：虛擬社交平臺互動、虛擬會議

• 娛樂創(chuàng)意：音樂視頻、虛擬演唱會、創(chuàng)意短片

• 公共服務(wù)：新聞播報、公共服務(wù)宣傳

• 企業(yè)培訓(xùn)：虛擬培訓(xùn)場景、情景模擬

• 國際交流：多語言對話、文化交流

項目地址

項目主頁：https://meigen-ai.github.io/multi-talk/

開源代碼：https://github.com/MeiGen-AI/MultiTalk

論文技術(shù)：https://arxiv.org/abs/2505.22647