DiffPortrait360:一種能夠從單張人物肖像圖像生成完整一致的360度頭部視圖的方法
DiffPortrait360是什么?
在游戲、電影和動(dòng)畫(huà)制作中,CG角色是內(nèi)容創(chuàng)作的核心,需要在真實(shí)感和風(fēng)格化之間找到平衡。以往的多視圖立體系統(tǒng)和3D掃描儀常用于創(chuàng)建逼真的人類(lèi)角色,但風(fēng)格化角色仍需從頭開(kāi)始建模。而DiffPortrait360的出現(xiàn),為高效生成風(fēng)格化角色提供了一種新的思路。
DiffPortrait360是一種3D頭部視圖生成技術(shù),它能夠從單張人物肖像照片中生成360度的全方位頭部圖像。這項(xiàng)技術(shù)通過(guò)結(jié)合預(yù)訓(xùn)練的潛在擴(kuò)散模型和多個(gè)輔助模塊,實(shí)現(xiàn)了高質(zhì)量、風(fēng)格化的3D頭部視圖合成。DiffPortrait360支持多種復(fù)雜輸入,如不同發(fā)型、姿態(tài)和面部表情,生成的模型可以廣泛應(yīng)用于沉浸式遠(yuǎn)程交互、個(gè)性化內(nèi)容創(chuàng)作以及游戲和動(dòng)畫(huà)制作中。

方法原理
架構(gòu):DiffPortrait360以預(yù)訓(xùn)練的潛在擴(kuò)散模型(LDM)作為渲染骨干網(wǎng)絡(luò),并引入了三個(gè)輔助可訓(xùn)練模塊,分別用于控制雙外觀R、相機(jī)控制C和具有視圖一致性的U-Nets。其中,R從正面和背面圖像中提取外觀信息,C推導(dǎo)相機(jī)姿態(tài)并使用現(xiàn)成的3D GAN進(jìn)行渲染。
關(guān)鍵創(chuàng)新:該方法基于DiffPortrait3D框架,加入了自定義的ControlNet用于生成后腦細(xì)節(jié),以及雙外觀模塊以確保全局前后一致性。通過(guò)在連續(xù)視圖序列上進(jìn)行訓(xùn)練并整合后視圖參考圖像,實(shí)現(xiàn)了穩(wěn)健的局部連續(xù)視圖合成。
訓(xùn)練策略:采用連續(xù)采樣訓(xùn)練策略,以更好地保持相機(jī)軌跡的連續(xù)性,并增強(qiáng)幀之間連續(xù)性的注意力,以保持外觀信息在旋轉(zhuǎn)角度變化時(shí)不變。

優(yōu)勢(shì)與特點(diǎn)
應(yīng)用廣:能夠生成人類(lèi)、風(fēng)格化以及擬人化形式的360度頭部視圖,比如配飾眼鏡和帽子。
質(zhì)量高:可以生成高質(zhì)量的神經(jīng)輻射場(chǎng)(NeRFs),用于實(shí)時(shí)自由視點(diǎn)渲染,在對(duì)象合成和360度頭部生成方面優(yōu)于現(xiàn)有的最先進(jìn)方法。
魯棒性強(qiáng):能夠處理各種復(fù)雜的輸入,包括復(fù)雜發(fā)型、不同頭部姿態(tài)、豐富的面部表情以及詳細(xì)的元素如舌頭等。
應(yīng)用前景
沉浸式遠(yuǎn)程存在應(yīng)用:通過(guò)生成高質(zhì)量的360度頭部視圖,為用戶(hù)提供真實(shí)的體驗(yàn)。
個(gè)性化內(nèi)容創(chuàng)作:能夠根據(jù)用戶(hù)提供的單張肖像圖像,快速生成具有不同視角的3D頭部模型。
游戲和動(dòng)畫(huà)制作:可以高效地生成風(fēng)格化的角色頭部模型,提高游戲和動(dòng)畫(huà)制作的效率和質(zhì)量。
Github地址:https://github.com/FreedomGu/DiffPortrait360
提交您的產(chǎn)品
Ai應(yīng)用
Ai資訊
AI生圖
AI生視頻
開(kāi)源AI應(yīng)用平臺(tái)










