DreamActor-H1：生成人物講解商品的視頻，可用于生成帶貨視頻

DreamActor-H1于2025-06-23發(fā)布在Ai產(chǎn)品

DreamActor-H1是字節(jié)跳動在2025年6月推出的一款視頻生成框架，它基于擴散變換器（DiT）技術(shù)，主要面向電商和數(shù)字營銷領(lǐng)域，可用于生成帶貨視頻。

這個框架可以根據(jù)人體和產(chǎn)品圖像配對，生成高質(zhì)量的人與產(chǎn)品演示視頻。它在大規(guī)模混合數(shù)據(jù)集上經(jīng)過多類別增強訓(xùn)練，在保留人與產(chǎn)品的身份信息以及生成符合物理規(guī)律的演示動作方面，優(yōu)于現(xiàn)有方法，適合用于個性化電子商務(wù)廣告和互動媒體。它借助3D身體網(wǎng)格模板和產(chǎn)品邊界框提供精準(zhǔn)的運動指導(dǎo)，結(jié)合VAE編碼的外觀指導(dǎo)、結(jié)構(gòu)化文本編碼的類別級語義，以及參考注意力、對象注意力等機制，解決了現(xiàn)有框架在身份保留和空間關(guān)系理解上的難題。

DreamActor-H1：生成人物講解商品的視頻，可用于生成帶貨視頻.webp

DreamActor-H1的核心優(yōu)勢：

人 - 物動態(tài)對齊：它能自動把手勢和商品位置匹配起來。比如在演示“拿起化妝品”時，手指和瓶身的接觸點能自然貼合，不會出現(xiàn)穿模或者偏移的情況。而且還支持用3D人體網(wǎng)格模板和產(chǎn)品邊界框一起指導(dǎo)，保證動作符合像重力、握持角度這些物理規(guī)律。
多維度細(xì)節(jié)保真：在保持人物身份一致性上，能保留人物的發(fā)型、膚色等特征；對于商品，能高度還原，精準(zhǔn)呈現(xiàn)材質(zhì)紋理、Logo標(biāo)識等細(xì)節(jié)。
語義增強三維連貫性：結(jié)合品類級的文本描述，像“旋轉(zhuǎn)展示口紅”，能讓微小旋轉(zhuǎn)時的畫面更流暢，避免商品抖動或者形變。

技術(shù)原理：

數(shù)據(jù)處理階段：視覺語言建模（VLM）會對文本指令進(jìn)行解析，比如“手持手機翻轉(zhuǎn)”。然后通過姿態(tài)估計生成人體骨架，結(jié)合商品邊界框構(gòu)建空間關(guān)系，以此來提取運動特征。
模型架構(gòu)設(shè)計：全局注意力負(fù)責(zé)控制整體畫面的時序連貫性；參考注意力會注入人物或商品參考圖的特征；物體注意力專門處理商品的潛在特征，保證細(xì)節(jié)不丟失。三重注意力機制的擴散變換器（DiT）基于70億參數(shù)的基礎(chǔ)模型Seaweed - 7B，通過掩碼交叉注意力來融合人與物的信息。
推理優(yōu)化：它會動態(tài)檢索預(yù)定義的動作模板庫，調(diào)整物體框的縮放比例，比如小尺寸商品的框體可以放大。

DreamActor-H1的應(yīng)用場景：

電商直播：可以自動生成虛擬主播手持商品的演示視頻，這樣能降低直播成本，提高直播效率。
廣告營銷：能低成本制作多角度的產(chǎn)品使用動畫，比如旋轉(zhuǎn)展示鞋款，吸引消費者的注意力。

DreamActor-H1局限性：

商品限制：目前只能支持中小型物品，大型家電等沒辦法處理。
動作模板依賴：需要預(yù)先定義動作，像“拾取桌上物品”，而且要依賴初始人物姿態(tài)的匹配。
動態(tài)瑕疵：在快速運動時，商品的紋理可能會出現(xiàn)閃爍。

使用DreamActor-H1生成帶貨視頻流程：

素材準(zhǔn)備：準(zhǔn)備一張人物圖和一張產(chǎn)品圖。人物圖建議選正面半身照，分辨率要大于800 * 800，這樣才能保證生成的視頻里人物特征清晰。產(chǎn)品圖要能清晰展示商品的各個細(xì)節(jié)，像商標(biāo)、紋理等。
文本指令輸入：根據(jù)帶貨的需求，輸入相關(guān)的品類級文本描述，例如“手持手機翻轉(zhuǎn)”“展示口紅細(xì)節(jié)”等，給視頻生成提供具體的動作和展示要求。
視頻生成：把準(zhǔn)備好的素材和文本指令輸入到DreamActor-H1系統(tǒng)里，系統(tǒng)會基于多階段協(xié)同架構(gòu)和混合注意力機制來處理。在數(shù)據(jù)處理階段，視覺語言建模（VLM）解析文本指令，運動特征提取模塊通過姿態(tài)估計生成人體骨架并結(jié)合商品邊界框構(gòu)建空間關(guān)系；在模型架構(gòu)中，全局注意力、參考注意力和物體注意力協(xié)同工作，最后生成高保真的人機交互演示視頻。