DiffPortrait360：一種能夠從單張人物肖像圖像生成完整一致的360度頭部視圖的方法

DiffPortrait360于2025-04-03發(fā)布在Ai產(chǎn)品

DiffPortrait360是什么？

在游戲、電影和動(dòng)畫(huà)制作中，CG角色是內(nèi)容創(chuàng)作的核心，需要在真實(shí)感和風(fēng)格化之間找到平衡。以往的多視圖立體系統(tǒng)和3D掃描儀常用于創(chuàng)建逼真的人類(lèi)角色，但風(fēng)格化角色仍需從頭開(kāi)始建模。而DiffPortrait360的出現(xiàn)，為高效生成風(fēng)格化角色提供了一種新的思路。

DiffPortrait360是一種3D頭部視圖生成技術(shù)，它能夠從單張人物肖像照片中生成360度的全方位頭部圖像。這項(xiàng)技術(shù)通過(guò)結(jié)合預(yù)訓(xùn)練的潛在擴(kuò)散模型和多個(gè)輔助模塊，實(shí)現(xiàn)了高質(zhì)量、風(fēng)格化的3D頭部視圖合成。DiffPortrait360支持多種復(fù)雜輸入，如不同發(fā)型、姿態(tài)和面部表情，生成的模型可以廣泛應(yīng)用于沉浸式遠(yuǎn)程交互、個(gè)性化內(nèi)容創(chuàng)作以及游戲和動(dòng)畫(huà)制作中。

DiffPortrait360：一種能夠從單張人物肖像圖像生成完整一致的360度頭部視圖的方法.jpg

方法原理

架構(gòu)：DiffPortrait360以預(yù)訓(xùn)練的潛在擴(kuò)散模型（LDM）作為渲染骨干網(wǎng)絡(luò)，并引入了三個(gè)輔助可訓(xùn)練模塊，分別用于控制雙外觀R、相機(jī)控制C和具有視圖一致性的U-Nets。其中，R從正面和背面圖像中提取外觀信息，C推導(dǎo)相機(jī)姿態(tài)并使用現(xiàn)成的3D GAN進(jìn)行渲染。
關(guān)鍵創(chuàng)新：該方法基于DiffPortrait3D框架，加入了自定義的ControlNet用于生成后腦細(xì)節(jié)，以及雙外觀模塊以確保全局前后一致性。通過(guò)在連續(xù)視圖序列上進(jìn)行訓(xùn)練并整合后視圖參考圖像，實(shí)現(xiàn)了穩(wěn)健的局部連續(xù)視圖合成。
訓(xùn)練策略：采用連續(xù)采樣訓(xùn)練策略，以更好地保持相機(jī)軌跡的連續(xù)性，并增強(qiáng)幀之間連續(xù)性的注意力，以保持外觀信息在旋轉(zhuǎn)角度變化時(shí)不變。

DiffPortrait360：一種能夠從單張人物肖像圖像生成完整一致的360度頭部視圖的方法.webp

優(yōu)勢(shì)與特點(diǎn)

應(yīng)用廣：能夠生成人類(lèi)、風(fēng)格化以及擬人化形式的360度頭部視圖，比如配飾眼鏡和帽子。
質(zhì)量高：可以生成高質(zhì)量的神經(jīng)輻射場(chǎng)（NeRFs），用于實(shí)時(shí)自由視點(diǎn)渲染，在對(duì)象合成和360度頭部生成方面優(yōu)于現(xiàn)有的最先進(jìn)方法。
魯棒性強(qiáng)：能夠處理各種復(fù)雜的輸入，包括復(fù)雜發(fā)型、不同頭部姿態(tài)、豐富的面部表情以及詳細(xì)的元素如舌頭等。