Audio2Face，一款由ai驅(qū)動(dòng)的應(yīng)用程序，通過語音生成富有表現(xiàn)力的3D面部動(dòng)畫。Audio2Face 簡化了 3D 角色的動(dòng)畫，以匹配任何畫外音軌道，無論您是為游戲、電影、實(shí)時(shí)數(shù)字助理制作角色動(dòng)畫，還是只是為了好玩。您可以將該應(yīng)用程序用于交互式實(shí)時(shí)應(yīng)用程序或作為傳統(tǒng)的面部動(dòng)畫創(chuàng)作工具。

Audio2Face是如何工作的？

Omniverse Audio2Face 應(yīng)用基于 NVIDIA Research 的原創(chuàng)論文。Audio2Face 預(yù)裝了“數(shù)字標(biāo)記”——一個(gè) 3D 角色模型，可以用您的音軌制作動(dòng)畫，因此入門很簡單。只需選擇您的音頻并將其上傳到應(yīng)用程序中即可。該技術(shù)將音頻輸入輸入到預(yù)先訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)中，網(wǎng)絡(luò)的輸出實(shí)時(shí)驅(qū)動(dòng)角色的面部動(dòng)畫。用戶可以選擇編輯各種后處理參數(shù)以編輯角色的表演。然后，網(wǎng)絡(luò)的輸出驅(qū)動(dòng)角色網(wǎng)格的 3D 頂點(diǎn)以創(chuàng)建面部動(dòng)畫。您在此頁面上看到的結(jié)果大多是 Audio2Face 的原始輸出，幾乎沒有編輯任何后期處理參數(shù)。

Audio2Face 的實(shí)際應(yīng)用：

語言

Audio2Face將能夠輕松處理任何語言。我們會(huì)定期添加越來越多的語言。查看這些英語、法語、意大利語和俄語的測試。

Misty 動(dòng)畫聊天機(jī)器人

在 GTC Spring 2020 上展示的 Misty 是一個(gè)交互式天氣機(jī)器人，在運(yùn)行時(shí)由 Audio2Face 驅(qū)動(dòng)。我們演示了從逼真的人類網(wǎng)格到風(fēng)格化角色網(wǎng)格的重定向，以用作交互式服務(wù)代理。

Omniverse 機(jī)械

Audio2Face 在 GeForce 30 系列發(fā)布會(huì)上亮相，出現(xiàn)在 Omniverse Machinima 演示中。眾所周知，面部動(dòng)畫非常復(fù)雜且成本高昂。Audio2Face 可自動(dòng)執(zhí)行詳細(xì)的面部動(dòng)畫，使 3D 內(nèi)容創(chuàng)建過程民主化。

人臉

Audio2Face可以使用任何對話驅(qū)動(dòng)的音軌，并最終能夠重新定位到任何3D人臉，無論是逼真的還是風(fēng)格化的。觀看此測試，我們將從 Digital Mark 重新定位到 Rain。

實(shí)驗(yàn)角色

生物和外星人

此功能允許您重新定位和驅(qū)動(dòng)奇幻生物和外星人的面部動(dòng)畫。在這里，我們有數(shù)字標(biāo)記推動(dòng)了外星人的性能。