在人工智能領(lǐng)域，從語音中創(chuàng)建準(zhǔn)確的面部唇部動(dòng)作一直是一個(gè)持續(xù)的挑戰(zhàn)。然而，突破已經(jīng)到來——Media2Face。

Media2Face是通過音頻、文本和圖像多模態(tài)引導(dǎo)的共語言面部動(dòng)畫生成工具。它利用音頻、文本和圖像輸入的引導(dǎo)來自然地模仿人類語言，引入了廣義神經(jīng)參數(shù)面部資產(chǎn) （GNPFA）。這是一種高效替在空間，從而解耦表情和身份。然后，我們利用GNPFA從大量視頻中提的變分自動(dòng)編碼器，可將面部幾何形狀和圖像映射到高度廣義的表情取高質(zhì)量的表情和準(zhǔn)確的頭部姿勢(shì)。

由于高質(zhì)量的 4D 面部數(shù)據(jù)有限，從語音合成 3D 面部動(dòng)畫面臨著挑戰(zhàn)。然而，借助 Media2Face，現(xiàn)在可以從任何音頻、圖像或文本輸入無縫生成逼真且富有表現(xiàn)力的面部動(dòng)畫。

Media2Face能夠根據(jù)聲音來生成與語音同步的、表現(xiàn)力豐富的3D面部動(dòng)畫。同時(shí)允許用戶對(duì)生成的面部動(dòng)畫進(jìn)行更細(xì)致的個(gè)性化調(diào)整，如情感調(diào)整，“快樂”或“悲傷”等。Media2Face還能理解多種類型的輸入信息（音頻、文本、圖像），并將這些信息作為生成面部動(dòng)畫的指引。

Media2Face實(shí)際應(yīng)用：

• 創(chuàng)造對(duì)話場(chǎng)景：根據(jù)你寫的劇本，電腦可以生成人物對(duì)話的動(dòng)畫場(chǎng)景。

• 制作風(fēng)格化的面部動(dòng)畫：你可以給電腦一個(gè)表情符號(hào)，它就能根據(jù)這個(gè)符號(hào)創(chuàng)造出動(dòng)畫。

• 情感歌唱：電腦還能根據(jù)不同的語言唱歌，表現(xiàn)出對(duì)應(yīng)的情感。

• 個(gè)性化動(dòng)畫：最神奇的是，這個(gè)項(xiàng)目能夠創(chuàng)造出符合不同人種、年齡和性別的個(gè)性化面部動(dòng)畫。

• 影視制作公司使用Media2Face生成影片中虛擬人物的面部動(dòng)畫。

• 虛擬主持平臺(tái)利用Media2Face實(shí)現(xiàn)虛擬主持的面部表情生成。

• 游戲開發(fā)公司在虛擬角色設(shè)計(jì)中應(yīng)用Media2Face進(jìn)行面部動(dòng)畫生成。

Media2Face是如何工作的？

Media2Face項(xiàng)目的工作原理涉及幾個(gè)關(guān)鍵技術(shù)和步驟，使其能夠從語音合成出具有豐富表情和情感的3D面部動(dòng)畫。下面是該項(xiàng)目的主要工作流程：

1. 通用神經(jīng)參數(shù)化面部資產(chǎn)（GNPFA）：

首先，研究團(tuán)隊(duì)創(chuàng)建了一個(gè)特殊的工具（叫做GNPFA），它就像一個(gè)大型的面部表情數(shù)據(jù)庫。無論你想要什么樣的表情，這個(gè)工具都能幫你找到，并且還能確保每個(gè)人的面部動(dòng)畫都獨(dú)一無二，不會(huì)和別人混淆。

這個(gè)過程實(shí)現(xiàn)了表情和身份的解耦，即能夠在不同的身份之間轉(zhuǎn)換相同的表情。

然后，他們用這個(gè)工具處理了很多視頻，從中提取出了高質(zhì)量的表情和頭部動(dòng)作。這樣就創(chuàng)建了一個(gè)巨大的數(shù)據(jù)集，里面包含了各種各樣的面部動(dòng)畫和對(duì)應(yīng)的情感、風(fēng)格標(biāo)簽。

2. 多模態(tài)引導(dǎo)的動(dòng)畫生成：

Media2Face采用一個(gè)擴(kuò)散模型在GNPFA的潛在空間中進(jìn)行動(dòng)畫生成，這個(gè)模型能夠接受來自音頻、文本和圖像的多模態(tài)引導(dǎo)。

模型將音頻特征和CLIP潛在代碼作為條件，與表情潛在代碼序列的噪聲版本以及頭部運(yùn)動(dòng)代碼（即頭部姿勢(shì)）一起去噪。條件被隨機(jī)掩蔽，并通過與噪聲頭部運(yùn)動(dòng)代碼的交叉注意力進(jìn)行處理。

3. 表情和頭部姿勢(shì)生成：

利用GNPFA從大量視頻中提取高質(zhì)量的表情和準(zhǔn)確的頭部姿勢(shì)。這呈現(xiàn)了 M2F-D 數(shù)據(jù)集，這是一個(gè)大型、多樣化和掃描級(jí)別的共同語音3D面部動(dòng)畫數(shù)據(jù)集，具有注釋良好的情感和風(fēng)格標(biāo)簽。

4.表情和風(fēng)格微調(diào)：

通過表情編碼器提取關(guān)鍵幀表情潛在代碼，并通過CLIP提供每幀的風(fēng)格提示，如“快樂”或“悲傷”，用戶可以調(diào)整動(dòng)畫的強(qiáng)度和控制范圍。

通過以上這些技術(shù)步驟，Media2Face能夠生成與語音同步的、表現(xiàn)力豐富的3D面部動(dòng)畫，支持復(fù)雜的情感表達(dá)和風(fēng)格變化，為創(chuàng)建虛擬角色和增強(qiáng)AI數(shù)字人的交互體驗(yàn)提供了強(qiáng)大工具，大量實(shí)驗(yàn)表明，Media2Face不僅在面部動(dòng)畫合成中實(shí)現(xiàn)了高保真度，而且拓寬了3D面部動(dòng)畫的表現(xiàn)力和風(fēng)格適應(yīng)性。