SketchVideo：一種基于線稿的可控視頻生成和編輯方法

SketchVideo于2025-05-21發(fā)布在Ai產(chǎn)品

SketchVideo是什么？

SketchVideo 是由中國(guó)科學(xué)院大學(xué)、香港科技大學(xué)和快手可靈團(tuán)隊(duì)研究人員提出的一種基于線稿的可控視頻生成和編輯方法開(kāi)源項(xiàng)目。它靠智能預(yù)測(cè)運(yùn)動(dòng)、多模態(tài)控制和實(shí)時(shí)渲染三大技術(shù)，讓動(dòng)畫(huà)創(chuàng)作變得輕松。這個(gè)項(xiàng)目在營(yíng)銷、教學(xué)和個(gè)人創(chuàng)意展示等領(lǐng)域很有用，能吸引觀眾，引發(fā)共鳴，是新興視頻形式的代表。

SketchVideo：一種基于線稿的可控視頻生成和編輯方法.webp

SketchVideo功能特點(diǎn)

視頻生成：用戶僅需提供單幀或兩幀線稿，并結(jié)合文本提示，SketchVideo 就能生成高質(zhì)量的視頻。例如，繪制一個(gè)簡(jiǎn)單的動(dòng)物輪廓線稿，加上“在森林中奔跑”的文本描述，就能生成該動(dòng)物在森林中奔跑的視頻。
視頻編輯：給定真實(shí)視頻后，用戶可以指定編輯區(qū)域并繪制線稿進(jìn)行局部修改。比如在一段人物視頻中，對(duì)人物的發(fā)型進(jìn)行修改，新生成的發(fā)型會(huì)隨著人物的頭部運(yùn)動(dòng)而自然變化。
動(dòng)態(tài)控制：支持運(yùn)動(dòng)插值和外推，用戶通過(guò)繪制不同關(guān)鍵幀的線稿，可控制物體的運(yùn)動(dòng)狀態(tài)。
細(xì)節(jié)保留：在編輯視頻時(shí)，能夠保留未修改區(qū)域的細(xì)節(jié)，確保編輯后的視頻在視覺(jué)上自然、連貫。
高效生成：采用內(nèi)存優(yōu)化技術(shù)，快速生成高質(zhì)量視頻。例如，SketchGen 模型在 A100 GPU 上生成單幀視頻的時(shí)間約為 95 秒。

SketchVideo技術(shù)原理

草圖條件網(wǎng)絡(luò)：基于 DiT 視頻生成模型，設(shè)計(jì)專門的草圖條件網(wǎng)絡(luò)。該網(wǎng)絡(luò)包含多個(gè)草圖控制塊，預(yù)測(cè)跳過(guò)的 DiT 塊的殘差特征，并將控制信號(hào)注入到不同層次的特征中。
幀間注意力機(jī)制：通過(guò)計(jì)算所有幀的隱藏特征與控制幀的隱藏特征之間的關(guān)系，將關(guān)鍵幀上的草圖條件傳播到所有視頻幀，實(shí)現(xiàn)對(duì)草圖特征的時(shí)空傳播。
視頻插入模塊：在視頻編輯任務(wù)中，該模塊分析輸入草圖與原始視頻之間的關(guān)系，生成與原始視頻空間和時(shí)間上一致的新內(nèi)容。
潛在融合技術(shù)：在推理過(guò)程中，基于 DDIM 反演生成輸入視頻的噪聲潛在碼。在未編輯區(qū)域替換這些潛在碼，保留原始視頻的細(xì)節(jié)。
混合訓(xùn)練策略：結(jié)合圖像和視頻數(shù)據(jù)進(jìn)行訓(xùn)練。先用圖像和視頻數(shù)據(jù)加速收斂，解決視頻數(shù)據(jù)有限的問(wèn)題；再用視頻數(shù)據(jù)進(jìn)一步優(yōu)化時(shí)間連貫性。

SketchVideo優(yōu)勢(shì)

降低創(chuàng)作門檻：讓普通用戶無(wú)需專業(yè)知識(shí)和技能，通過(guò)草圖和文本就能輕松創(chuàng)作視頻，激發(fā)每個(gè)人的創(chuàng)作潛能。
精準(zhǔn)控制細(xì)節(jié)：通過(guò)草圖條件網(wǎng)絡(luò)預(yù)測(cè)并注入不同層次的特征控制信號(hào)，能細(xì)致地描繪和呈現(xiàn)從物體形狀、位置到場(chǎng)景整體布局等每一個(gè)細(xì)節(jié)。
高效便捷：采用基于DiT的視頻生成模型，創(chuàng)新性地加入草圖控制塊和幀間注意力機(jī)制，保證高質(zhì)量輸出的同時(shí)實(shí)現(xiàn)高效的內(nèi)存優(yōu)化，快速生成視頻，節(jié)省創(chuàng)作時(shí)間。

SketchVideo應(yīng)用場(chǎng)景

影視制作：可用于快速生成動(dòng)畫(huà)視頻，或?qū)τ耙暺芜M(jìn)行特效添加、場(chǎng)景修改等操作。
短視頻合成：創(chuàng)作者可輕松創(chuàng)作個(gè)性化的短視頻內(nèi)容，如手繪風(fēng)格的動(dòng)畫(huà)故事、創(chuàng)意廣告等。
虛擬仿真：在虛擬場(chǎng)景構(gòu)建中，通過(guò)線稿快速生成動(dòng)態(tài)的虛擬環(huán)境，用于游戲開(kāi)發(fā)、虛擬培訓(xùn)等領(lǐng)域。