VACE是什么？

VACE（Video Creation and Editing）是由阿里巴巴通義實(shí)驗(yàn)室推出的一站式ai視頻生成與編輯統(tǒng)一模型，可以通過(guò)統(tǒng)一的模型架構(gòu)實(shí)現(xiàn)多種視頻創(chuàng)作和編輯任務(wù)。它能用一段文本或圖片生成視頻，也能對(duì)現(xiàn)有視頻進(jìn)行風(fēng)格轉(zhuǎn)換、修復(fù)或擴(kuò)展。它把多種功能集成在一個(gè)模型里，操作方便，適合做創(chuàng)意視頻或修復(fù)老視頻。

VACE核心功能

視頻生成：

• 文本到視頻生成：根據(jù)文本提示生成視頻。

• 參考到視頻生成：結(jié)合文本和參考圖像生成視頻。

• 視頻擴(kuò)展：基于現(xiàn)有視頻片段生成新的開(kāi)頭或結(jié)尾。

視頻編輯：

• 視頻到視頻編輯：對(duì)輸入視頻進(jìn)行整體風(fēng)格轉(zhuǎn)換（如色彩化、風(fēng)格化）。

• 遮罩視頻編輯：在指定區(qū)域進(jìn)行編輯，如修復(fù)（Inpainting）、擴(kuò)展（Outpainting）。

• 主體移除與重建：移除視頻中的特定主體并填充背景。

任務(wù)組合：

• 支持多種任務(wù)的靈活組合，例如參考生成+主體替換、姿態(tài)控制+視頻擴(kuò)展。

VACE技術(shù)原理

• Video Condition Unit（VCU）：將文本、圖像、視頻和遮罩等多種模態(tài)輸入整合為統(tǒng)一的條件單元，支持多種任務(wù)的靈活組合。

• Context Adapter結(jié)構(gòu)：通過(guò)時(shí)間和空間維度的形式化表示，將不同任務(wù)的概念注入模型，使其能夠適應(yīng)不同的任務(wù)需求。

• 擴(kuò)散模型：基于擴(kuò)散模型（如Diffusion Transformer）構(gòu)建，通過(guò)逐步去噪的方式生成高質(zhì)量的視頻內(nèi)容。

VACE優(yōu)勢(shì)

• 統(tǒng)一框架：將視頻生成和編輯任務(wù)整合到一個(gè)模型中，減少了任務(wù)切換的復(fù)雜性。

• 高效性：在多種任務(wù)上達(dá)到與特定任務(wù)模型相當(dāng)?shù)男阅堋?/p>

• 多樣性：支持多種任務(wù)組合，為視頻內(nèi)容創(chuàng)作提供了更廣泛的應(yīng)用可能性。

VACE應(yīng)用場(chǎng)景

• 創(chuàng)意視頻生成：快速根據(jù)文本或圖片生成廣告、動(dòng)畫(huà)等創(chuàng)意視頻內(nèi)容。

• 視頻修復(fù)與增強(qiáng)：修復(fù)老視頻、填補(bǔ)畫(huà)面缺失部分或提升視頻風(fēng)格。

• 高效視頻編輯：實(shí)現(xiàn)主體替換、動(dòng)畫(huà)添加等復(fù)雜編輯任務(wù)。

• 視頻擴(kuò)展：為短視頻生成新片段，延長(zhǎng)視頻內(nèi)容。

• 互動(dòng)視頻創(chuàng)作：根據(jù)用戶輸入（如姿態(tài)、草圖）生成個(gè)性化視頻。

項(xiàng)目資源

項(xiàng)目官網(wǎng)：https://ali-vilab.github.io/VACE-Page/

GitHub倉(cāng)庫(kù)：https://github.com/ali-vilab/VACE

技術(shù)論文：https://arxiv.org/pdf/2503.07598