3DV-TON是什么？

3DV-TON（Textured 3D-Guided Consistent Video Try-on via Diffusion Models）是一種基于擴(kuò)散模型的新型視頻試穿技術(shù)，可以解決現(xiàn)有視頻試穿方法在處理復(fù)雜服裝圖案和多樣化人體姿態(tài)時(shí)難以生成高質(zhì)量且時(shí)間一致結(jié)果的問(wèn)題。

3DV-TON核心技術(shù)

• 3D紋理引導(dǎo)：3DV-TON利用生成的動(dòng)畫(huà)紋理3D網(wǎng)格作為幀級(jí)指導(dǎo)，確保服裝紋理與人體幾何細(xì)節(jié)（如褶皺和光影效果）的貼合。

• 視頻一致性：通過(guò)視頻擴(kuò)散模型（如HunyuanVideo或Stable Video Diffusion），保持動(dòng)態(tài)場(chǎng)景中多個(gè)幀的服裝時(shí)空一致性，避免閃爍或變形。

• 自適應(yīng)生成流程：該技術(shù)采用自適應(yīng)管道，首先選擇一個(gè)關(guān)鍵幀進(jìn)行初始2D圖像試穿，然后重建并動(dòng)畫(huà)化一個(gè)與原始視頻姿態(tài)同步的紋理3D網(wǎng)格。

• 矩形掩碼策略：引入魯棒的矩形掩碼策略，有效減輕了在動(dòng)態(tài)人體和服裝運(yùn)動(dòng)過(guò)程中因服裝信息泄露導(dǎo)致的偽影傳播。

3DV-TON特點(diǎn)

• 高保真視覺(jué)效果：支持4K分辨率輸出，服裝紋理細(xì)節(jié)（如織物材質(zhì)和圖案）逼真，適用于復(fù)雜動(dòng)作和多角度展示。

• 多場(chǎng)景適配：支持從單張服裝圖像生成動(dòng)態(tài)試穿視頻，適用于電子商務(wù)展示、虛擬換裝游戲和AR/VR應(yīng)用。

• 用戶(hù)友好接口：提供API和可視化工具，允許開(kāi)發(fā)者和設(shè)計(jì)師通過(guò)文本提示或圖像輸入快速生成試穿視頻。

數(shù)據(jù)集

為了推動(dòng)視頻試穿研究，3DV-TON團(tuán)隊(duì)還推出了HR-VVT，這是一個(gè)包含130個(gè)視頻的高分辨率基準(zhǔn)數(shù)據(jù)集，涵蓋多種服裝類(lèi)型和場(chǎng)景。

3DV-TON方法

3DV-TON，利用生成的可動(dòng)畫(huà)紋理 3D 網(wǎng)格作為顯式幀級(jí)指導(dǎo)，避免模型過(guò)度關(guān)注外觀保真度而忽視運(yùn)動(dòng)連貫性；采用自適應(yīng)管道生成動(dòng)態(tài) 3D 指導(dǎo)，先選關(guān)鍵幀進(jìn)行初始 2D 圖像換裝，再重建并動(dòng)畫(huà)化與原視頻姿態(tài)同步的紋理 3D 網(wǎng)格；引入魯棒的矩形掩蔽策略，減少動(dòng)態(tài)人體和服裝運(yùn)動(dòng)中服裝信息泄漏導(dǎo)致的偽影傳播。

3DV-TON應(yīng)用場(chǎng)景

• 電子商務(wù)：為電商平臺(tái)（如Shopify和Amazon）生成動(dòng)態(tài)服裝試穿視頻。

• 虛擬時(shí)尚和元宇宙：支持VR/AR試穿體驗(yàn)，在虛擬環(huán)境中試穿數(shù)字服裝。

• 影視動(dòng)畫(huà)：生成數(shù)字角色的真實(shí)服裝動(dòng)畫(huà)，降低CG制作成本。

• 個(gè)性化定制：結(jié)合用戶(hù)上傳的身體數(shù)據(jù)和服裝圖像，生成個(gè)性化試穿視頻。

項(xiàng)目主頁(yè)：https://2y7c3.github.io/3DV-TON/

論文技術(shù)：https://2y7c3.github.io/pdfs/3dvton.pdf