HRAvatar：單目生成高質(zhì)量3D頭像方法

HRAvatar于2025-05-23發(fā)布在Ai產(chǎn)品

在數(shù)字人、虛擬主播、AR/VR等領域快速發(fā)展的背景下，高效生成真實、可動、可重光照的3D頭像成為關鍵需求。然而，從單目視頻中生成高度逼真的可動畫化頭像仍面臨諸多挑戰(zhàn)，現(xiàn)有基于3D高斯（3DGS）的方法在重建質(zhì)量上存在一些限制，如幾何變形靈活性不足、表情追蹤不準確、無法實現(xiàn)真實重光照等。

清華大學與IDEA團隊合作，開發(fā)出HRAvatar——一種利用單目視頻創(chuàng)建高質(zhì)量、可重光照3D頭像的新技術(shù)。它借助可學習的形變基和線性蒙皮，實現(xiàn)個性化幾何變形，同時配備精準的表情編碼器，降低追蹤誤差，提升重建品質(zhì)。HRAvatar在實時性與細節(jié)呈現(xiàn)上表現(xiàn)出色，已被CVPR2025會議收錄。實驗表明，其在多項評估指標上優(yōu)于現(xiàn)有技術(shù)，實時性能約155 FPS，還支持在新光照環(huán)境下進行重光照。

HRAvatar：單目生成高質(zhì)量3D頭像方法.jpg

HRAvatar的核心技術(shù)

可學習形變基和線性蒙皮技術(shù)：通過自適應學習每個點的形變基與混合蒙皮權(quán)重，實現(xiàn)高斯點從標準姿態(tài)到各種表情和姿態(tài)的靈活變形，解決通用參數(shù)模型難以準確捕捉個性化表情變化的問題。
精準的表情編碼器：引入端到端的表情編碼器，與3D頭像重建聯(lián)合優(yōu)化，利用高斯重建損失進行監(jiān)督，減少追蹤誤差，提升重建質(zhì)量。
外觀建模與物理著色：將頭像外觀分解為反照率、粗糙度、菲涅爾反射等材質(zhì)屬性，引入反照率偽先驗以更好解耦材質(zhì)信息，使用簡化的BRDF物理模型進行著色，并引入SplitSum近似技術(shù)對環(huán)境光照圖進行預計算，實現(xiàn)高質(zhì)量、可重光照的實時渲染。

HRAvatar的技術(shù)優(yōu)勢

重建質(zhì)量高：在所有評估指標上都優(yōu)于現(xiàn)有方法，特別是在LPIPS上，重建的頭像細節(jié)更豐富。
實時性能好：渲染速度達到約155FPS，滿足實時性要求。
HRAvatar重建的頭像不僅可以進行驅(qū)動，還可以在新的環(huán)境光圖下進行重光照或簡單的材質(zhì)編輯，適用于電影、游戲、沉浸式會議、AR/VR等領域。