TaoAvatar是什么？

TaoAvatar是一種高保真、輕量級的全身交互式數(shù)字人技術(shù)，基于3D高斯點繪制（3DGS）技術(shù)開發(fā)。它通過創(chuàng)建個性化的穿衣人類參數(shù)化模板，并將高斯點綁定到模板上以表示外觀，從而實現(xiàn)逼真的全身數(shù)字人形象生成。TaoAvatar的核心優(yōu)勢在于能夠在移動設(shè)備和AR設(shè)備上實時運行，同時保持高分辨率渲染和低存儲需求。

TaoAvatar功能

• 高保真渲染：TaoAvatar能夠生成逼真的3D全身數(shù)字人形象，支持高分辨率渲染，同時保持低存儲需求。

• 實時交互：該技術(shù)能夠在各種移動和AR設(shè)備上實時運行，支持90 FPS的高幀率渲染，適用于如Apple Vision Pro等高清立體設(shè)備。

• 多信號驅(qū)動：TaoAvatar可以通過多種信號驅(qū)動，包括面部表情、手勢和身體姿勢，支持豐富的交互體驗。

• 輕量級架構(gòu)：通過將復雜的非剛性變形“烘焙”到輕量級的MLP網(wǎng)絡(luò)中，并結(jié)合混合形狀補償細節(jié)，TaoAvatar在保持高質(zhì)量渲染的同時，顯著提高了運行效率。

TaoAvatar應用

• 電子商務(wù)直播：TaoAvatar可以用于創(chuàng)建逼真的虛擬主播。

• 全息通信：在遠程通信中，TaoAvatar能夠生成逼真的虛擬形象。

• 虛擬娛樂：在游戲和虛擬現(xiàn)實應用中，TaoAvatar可以創(chuàng)建個性化的虛擬角色。

• 移動設(shè)備和AR設(shè)備：TaoAvatar支持在多種移動設(shè)備和AR設(shè)備上運行，如Android、MacBook和Apple Vision Pro等。

TaoAvatar使用方法

1. 數(shù)據(jù)準備：需要多視角RGB視頻序列和對應的SMPLX注冊信息。

2. 模板創(chuàng)建：通過將高斯點綁定到SMPLX++模板上，創(chuàng)建個性化的穿衣人類參數(shù)化模板。

3. 訓練與優(yōu)化：使用StyleUnet網(wǎng)絡(luò)預訓練，然后通過知識蒸餾技術(shù)將非剛性變形烘焙到輕量級MLP網(wǎng)絡(luò)中。

4. 部署與運行：將優(yōu)化后的模型部署到目標設(shè)備上，支持實時渲染和交互。

相關(guān)鏈接

項目：https://pixelai-team.github.io/TaoAvatar/

論文：https://arxiv.org/pdf/2503.17032

模型：https://huggingface.co/datasets/PixelAI-Team/TalkBody4D