DreamTalk，一個由清華大學(xué)、阿里巴巴和華中科大共同開發(fā)的一個基于擴散模型可以讓人物照片說話，支持包括歌曲、多種語言的語音、嘈雜的音頻在內(nèi)的各種聲音匹配讓人物頭像說話的框架。

DreamTalk演示地址：https://dreamtalk-project.github.io

DreamTalk項目地址：https://dreamtalk-project.github.io/

DreamTalk論文地址：https://arxiv.org/abs/2312.09767

DreamTalk使用場景：

• 使用 DreamTalk 生成具有多樣化語言和表情風(fēng)格的說話人臉

• 應(yīng)用 DreamTalk 在影視制作中實現(xiàn)逼真的虛擬角色表情動作

• 使用 DreamTalk 在人機交互場景中實現(xiàn)自然的面部表情和嘴唇運動

DreamTalk功能：

具體來說，DreamTalk 由三個關(guān)鍵組件組成：降噪網(wǎng)絡(luò)、風(fēng)格感知唇部專家和風(fēng)格預(yù)測器?；跀U散的降噪網(wǎng)絡(luò)能夠在不同的表情中一致地合成高質(zhì)量的音頻驅(qū)動的面部運動。為了提高嘴唇動作的表現(xiàn)力和準(zhǔn)確性，我們引入了一位具有風(fēng)格意識的嘴唇專家，可以在注意說話風(fēng)格的同時指導(dǎo)嘴唇同步。為了消除對表情參考視頻或文本的需求，使用額外的基于擴散的樣式預(yù)測器直接從音頻中預(yù)測目標(biāo)表情。

1、去噪網(wǎng)絡(luò)：這是核心組件之一，負(fù)責(zé)生成音頻驅(qū)動的面部動作。去噪網(wǎng)絡(luò)使用擴散模型來逐步去除噪聲，從而生成清晰、高質(zhì)量的面部表情。這個過程涉及從帶有噪聲的數(shù)據(jù)中逐步恢復(fù)出清晰的面部動作。

2、風(fēng)格感知的嘴唇專家：這個組件專注于提高嘴唇動作的表現(xiàn)力和準(zhǔn)確性。它通過分析說話風(fēng)格來引導(dǎo)嘴唇同步，確保生成的動畫既自然又符合說話者的風(fēng)格。

3、風(fēng)格預(yù)測器：為了消除對表情參考視頻或文本的依賴，DreamTalk引入了一個基于擴散的風(fēng)格預(yù)測器。這個預(yù)測器可以直接從音頻預(yù)測目標(biāo)表情，無需額外的表情參考視頻或文本。

4、音頻和視頻處理：處理音頻輸入，提取關(guān)鍵的音頻特征，并將這些特征用于驅(qū)動面部動畫。同時，它還能處理視頻輸入，以提取和模仿特定的表情和風(fēng)格。

5、數(shù)據(jù)和模型訓(xùn)練：為了實現(xiàn)這些功能，DreamTalk需要大量的數(shù)據(jù)來訓(xùn)練其模型，包括不同表情和說話風(fēng)格的面部動畫數(shù)據(jù)。通過這些數(shù)據(jù)，模型學(xué)習(xí)如何準(zhǔn)確地生成與輸入音頻匹配的面部動作。

DreamTalk可以利用強大的擴散模型有效地生成富有表現(xiàn)力的面孔，并減少對昂貴的風(fēng)格參考的依賴。實驗結(jié)果表明，DreamTalk能夠生成具有不同說話風(fēng)格的逼真的說話面孔，并實現(xiàn)準(zhǔn)確的嘴唇動作，超越了現(xiàn)有的最先進的同類產(chǎn)品。

DreamTalk不僅能夠處理和生成它在訓(xùn)練過程中見過的面部類型和表情，還能有效處理和生成它之前未見過的、來自不同數(shù)據(jù)集的面部類型和表情。

包括不同種族、年齡、性別的人物肖像，以及各種不同的表情和情緒。