Stable Virtual Camera是什么？

Stable Virtual Camera 是由 Stability AI 推出的一款用于NVS 的多視角擴(kuò)散模型。它能夠根據(jù)任意數(shù)量的輸入視角及其對(duì)應(yīng)的相機(jī)參數(shù)，生成目標(biāo)相機(jī)視角下的新圖像。當(dāng)所有相機(jī)形成一條軌跡時(shí)，生成的視角在 3D 上具有一致性、時(shí)間上平滑，并且正如其名稱所暗示的那樣——“穩(wěn)定”，能夠生成無(wú)縫的軌跡視頻。

Stable Virtual Camera功能

• 多視角輸入：可以接受從 1 到 32 張輸入圖像，性能隨著輸入視角的增加而提升，尤其是在處理大型場(chǎng)景時(shí)。

• 靈活的圖像分辨率：盡管模型僅在 576×576 的正方形圖像上進(jìn)行訓(xùn)練，但能夠以零樣本的方式生成不同寬高比的目標(biāo)視角。

• 長(zhǎng)視頻生成與閉環(huán)一致性：能夠生成長(zhǎng)達(dá) 1000 幀的視頻，并在相機(jī)返回到同一位置時(shí)保持 3D 一致性。

• 采樣多樣性：在給定稀疏輸入視角時(shí)，能夠捕捉視角合成的不確定性，并生成不同的可能場(chǎng)景。

• 基準(zhǔn)測(cè)試：建立了一個(gè)全面的基準(zhǔn)，用于在不同數(shù)據(jù)集和設(shè)置下評(píng)估 NVS 方法。Stable Virtual Camera 達(dá)到了新的最佳性能。

Stable Virtual Camera應(yīng)用

• 廣告和營(yíng)銷：快速生成吸引人的產(chǎn)品展示視頻。

• 內(nèi)容創(chuàng)作：幫助藝術(shù)家和設(shè)計(jì)師將靜態(tài)圖像轉(zhuǎn)化為動(dòng)態(tài)視頻。

• 教育和培訓(xùn)：將教材中的靜態(tài)插圖轉(zhuǎn)化為 3D 視頻，增強(qiáng)學(xué)習(xí)體驗(yàn)。

• 數(shù)字電影和 3D 動(dòng)畫(huà)：為影視制作提供新的可能性。

Stable Virtual Camera使用方法

1. 獲取代碼和模型

• 代碼：從 GitHub 克隆代碼。鏈接見(jiàn)文章末尾。

• 模型權(quán)重：從 Hugging Face 下載模型文件。下載鏈接見(jiàn)文章末尾。

2. 安裝依賴

運(yùn)行以下命令安裝所需依賴：

pip install -r requirements.txt

3. 運(yùn)行方式

• 交互式使用（Gradio 演示）

啟動(dòng) Gradio 演示：

python gradio_demo.py

通過(guò)圖形界面上傳圖片并設(shè)置參數(shù)，生成 3D 視頻。

• 命令行使用（CLI）

使用命令行運(yùn)行：

python demo.py --data_path  --output_path  --camera_path

示例：

python demo.py --data_path ./input_images --output_path ./output_video --camera_path spiral

4. 輸入和輸出

• 輸入：支持 1 到 32 張 2D 圖像，需提供相機(jī)參數(shù)。

• 輸出：生成不同寬高比（如 1:1、9:16、16:9）的 3D 視頻，支持長(zhǎng)達(dá) 1000 幀。

GitHub 代碼倉(cāng)庫(kù)：https://github.com/Stability-ai/stable-virtual-camera

Hugging Face 模型頁(yè)面：https://huggingface.co/stabilityai/stable-virtual-camera

項(xiàng)目主頁(yè)：https://stable-virtual-camera.github.io/

論文：https://arxiv.org/abs/2503.14489