2025年2月10日，視頻生成模型“VideoWorld”由豆包大模型團隊與北京交通大學(xué)、中國科學(xué)技術(shù)大學(xué)聯(lián)合開發(fā)并正式開源，VideoWorld模型的核心創(chuàng)新在于它完全無需依賴語言模型，只通過視覺信息就可實現(xiàn)復(fù)雜任務(wù)的學(xué)習與生成。

一、核心功能特征

1. 純視覺知識學(xué)習

• 通過無標注視頻數(shù)據(jù)自主掌握復(fù)雜規(guī)則與策略（如圍棋落子邏輯、機器人操作時序），無需語言指令或強化學(xué)習的獎勵機制

• 支持多步驟推理與長期規(guī)劃能力，例如圍棋對弈中預(yù)判對手后續(xù)5-9步行動

2. 高效視覺表征壓縮

• 引入潛在動態(tài)模型（LDM）將視頻幀間變化編碼為緊湊的潛在序列，降低冗余信息干擾

• 實現(xiàn)長短期動態(tài)依賴的聯(lián)合建模，短時關(guān)注精細位移（如機械臂微調(diào)），長時捕捉任務(wù)級模式（如圍棋戰(zhàn)術(shù)組合）

3. 跨場景泛化能力

在CALVIN與RLBench機器人測試集上接近Oracle模型性能，可適應(yīng)不同環(huán)境參數(shù)（如光照、物體位置）

圍棋對弈達職業(yè)五段水平（Video-GoBench基準），超越傳統(tǒng)強化學(xué)習代理。

二、VideoWorld技術(shù)架構(gòu)：

基礎(chǔ)架構(gòu)

• 基于VQ-VAE將視頻幀離散化為token序列，采用自回歸Transformer實現(xiàn)幀級預(yù)測

• 訓(xùn)練數(shù)據(jù)僅包含任務(wù)執(zhí)行過程視頻（如圍棋棋局演變、機械臂操作記錄）

潛在動態(tài)模型（LDM）

• 編碼機制：將未來H幀視覺變化壓縮為連續(xù)潛在代碼，量化后作為預(yù)測目標

• 雙流預(yù)測：聯(lián)合優(yōu)化視頻幀生成與潛在代碼預(yù)測，增強對關(guān)鍵決策節(jié)點的建模

• 可解釋分析：通過UMAP可視化顯示潛在空間聚類與任務(wù)動態(tài)強相關(guān)。

效率優(yōu)化設(shè)計

• 模型參數(shù)量控制在3億級，相比傳統(tǒng)視頻模型降低80%計算開銷

• 訓(xùn)練數(shù)據(jù)規(guī)模：Video-GoBench包含十萬級圍棋對局視頻幀

三、VideoWorld應(yīng)用場景

• 內(nèi)容創(chuàng)作：為短視頻制作、電影場景構(gòu)思、游戲中的視覺內(nèi)容生成等提供強大的支持。

• 教育：通過生成動態(tài)視頻，幫助學(xué)生更生動地理解復(fù)雜的知識。

• 廣告：根據(jù)用戶的偏好，生成個性化的廣告視頻，提升營銷效果。

四、VideoWorld下載和安裝:

1. 克隆倉庫：

git clone https://github.com/bytedance/VideoWorld.git
cd VideoWorld

2. 安裝依賴：

pip install -r requirements.txt

3. 運行示例：示例代碼通常位于 examples 或 scripts 目錄下。根據(jù)需要調(diào)整配置文件并運行相應(yīng)的腳本。

五、VideoWorld項目頁面：

項目主頁：https://maverickren.github.io/VideoWorld.github.io

GitHub 地址: https://github.com/bytedance/VideoWorld

論文鏈接: https://arxiv.org/abs/2501.09781