Mnn3DAvatar是什么？

Mnn3dAvatar是阿里巴巴開源的3D數(shù)字人架構(gòu)，基于輕量級(jí)的MNN框架開發(fā)。可以實(shí)時(shí)捕捉人臉表情并映射到3D虛擬角色之上，從而使角色更加生動(dòng)可感。其即便沒有復(fù)雜的建模經(jīng)驗(yàn)，開發(fā)者也可以快速制作出精美的3D數(shù)字人。 

Mnn3dAvatar技術(shù)原理 

Mnn3dAvatar為MNN框架上構(gòu)建而成，結(jié)合3D高斯重建，以及ai聲紋驅(qū)動(dòng)等技術(shù)。AI實(shí)現(xiàn)高精度的面部動(dòng)作捕捉與實(shí)時(shí)渲染，語(yǔ)音、表情、手勢(shì)等多種驅(qū)動(dòng)。 

技術(shù)亮點(diǎn) 

• 實(shí)時(shí)面捕：深度學(xué)習(xí)可以精準(zhǔn)捕獲用戶表情，并快速映射到3D角色上，適用于直播、虛擬會(huì)議等場(chǎng)景。 

• 輕量化部署：在MNN框架的優(yōu)化驅(qū)動(dòng)下，Mnn3dAvatar不需要高端硬件即可在眾多設(shè)備之間高效演算，大大降低了開發(fā)門檻。 

• 多模態(tài)支持：除了面部捕捉，還支持文本生成、圖像生成等任務(wù)，為開發(fā)者帶來靈活的接口。 

• 開源生態(tài)：作為阿里開源生態(tài)的一部分，包含豐富的API及工具，可以無縫嵌入安卓、iOS等平臺(tái)應(yīng)用。 

Mnn3dAvatar應(yīng)用場(chǎng)景 

• 帶貨直播：主播可在3D虛擬角色的狀態(tài)下直播，增加趣味性與互動(dòng)性，降低真人出鏡率，適用于電商平臺(tái)打造差異化內(nèi)容。 

• 虛擬展示與娛樂：可實(shí)現(xiàn)虛擬偶像、游戲角色動(dòng)畫、虛擬會(huì)議場(chǎng)景下的沉浸式視覺體驗(yàn)。 

• 教育培訓(xùn)：教育機(jī)構(gòu)可以通過它創(chuàng)建虛擬講師，提升在線授課的互動(dòng)性和吸引力。 

Mnn3dAvatar發(fā)布完善了MNN的生態(tài)。自2019年開源以來，MNN已經(jīng)被大量應(yīng)用于阿里巴巴內(nèi)部，包括淘寶、天貓、釘釘?shù)?0多個(gè)業(yè)務(wù)場(chǎng)景。同時(shí)，阿里還開源了另一款3D數(shù)字人生成模型LAM（Live Avatar Model），可支持快速用一張圖像生成可交互的3D數(shù)字人。

開源地址：

https://github.com/alibaba/MNN/blob/master/apps/Android/Mnn3dAvatar/README_CN.md