JoyGen 是由京東科技與香港大學(xué)合作開發(fā)的音頻驅(qū)動(dòng)3D說(shuō)話人臉視頻生成框架，一種新穎的兩階段框架，這個(gè)技術(shù)在于通過(guò)音頻輸入來(lái)驅(qū)動(dòng)3D深度感知模型，提供精確的唇部與音頻同步，以精確模擬說(shuō)話者的唇部動(dòng)作和面部表情，讓生成的視頻更逼真，主要應(yīng)用于視頻編輯和虛擬交互領(lǐng)域。

JoyGen使用了一個(gè)包含130小時(shí)高質(zhì)量視頻的中文說(shuō)話人臉數(shù)據(jù)集進(jìn)行訓(xùn)練。這個(gè)數(shù)據(jù)集與開放的HDTF（高分辨率深度圖數(shù)據(jù)集）結(jié)合，支持中文和英文輸入。

另外，JoyGen也考慮了音頻的情緒特征，能夠在生成的動(dòng)畫中自然地表現(xiàn)出人物的情感變化，例如微笑或皺眉等，非常的強(qiáng)。

JoyGen核心功能：

• 多語(yǔ)言支持：JoyGen能夠處理中文和英文等多種語(yǔ)言的音頻輸入。

• 高質(zhì)量視覺(jué)效果：通過(guò)細(xì)致的面部表情和唇部細(xì)節(jié)處理，生成的視頻極其逼真。

• 精確唇部同步：通過(guò)音頻特征分析和面部深度圖技術(shù)，使視頻中人物的唇部動(dòng)作與音頻內(nèi)容完美匹配。

• 視頻編輯優(yōu)化：不僅生成新視頻，還能對(duì)現(xiàn)有視頻進(jìn)行唇部運(yùn)動(dòng)的編輯，不需要從頭開始又制作整個(gè)視頻序列。

• 高效技術(shù)架構(gòu)：采用單步UNet架構(gòu)，可以讓視頻編輯流程更簡(jiǎn)單了。

技術(shù)原理：

1. 音頻驅(qū)動(dòng)的唇部動(dòng)作生成：

• 利用3D重建模型從面部圖像提取身份特征，定義人物的獨(dú)特面部結(jié)構(gòu)。

• 通過(guò)音頻到運(yùn)動(dòng)模型，將音頻信號(hào)轉(zhuǎn)換為控制唇部運(yùn)動(dòng)的表情系數(shù)。

• 結(jié)合身份和表情系數(shù)，使用可微渲染技術(shù)生成面部深度圖，為后續(xù)視頻合成準(zhǔn)備。

2. 視覺(jué)外觀合成：

• 采用單步UNet網(wǎng)絡(luò)整合音頻特征與深度圖，直接生成包含精確唇部運(yùn)動(dòng)的視頻幀。

• 引入跨注意力機(jī)制，確保唇部運(yùn)動(dòng)與音頻信號(hào)高度一致，增強(qiáng)同步性。

• 通過(guò)優(yōu)化過(guò)程（如L1損失函數(shù)）確保視頻質(zhì)量，兼顧像素級(jí)和潛在空間的準(zhǔn)確性。

如何使用JoyGen：

• 環(huán)境搭建：用戶需創(chuàng)建一個(gè)特定的conda環(huán)境，并安裝必要的依賴包，包括Nvdiffrast等特定庫(kù)。

• 預(yù)訓(xùn)練模型下載：獲取JoyGen的預(yù)訓(xùn)練模型，包括3D模型、音頻到運(yùn)動(dòng)模型等，這些資源通常在項(xiàng)目GitHub頁(yè)面上提供。

• 運(yùn)行推理：通過(guò)執(zhí)行特定的腳本和參數(shù)，用戶可以將音頻文件轉(zhuǎn)換為帶有逼真唇部同步的3D說(shuō)話人臉視頻。

JoyGen應(yīng)用：

• 虛擬會(huì)議：增強(qiáng)虛擬會(huì)議中的面部表達(dá)。

• 影視制作：制作電影和電視中的特效。

• 教育培訓(xùn)：用于制作生動(dòng)的教育視頻。

• ai助手：增加Ai助手在人與機(jī)器互動(dòng)中的擬人程度。

JoyGen將復(fù)雜的人臉視頻生成大大簡(jiǎn)化了，它在數(shù)字人內(nèi)容創(chuàng)作、虛擬會(huì)議、娛樂(lè)等地方有非常大的作用。

GitHub：https://github.com/JOY-MM/JoyGen