Boximator 是由字節(jié)跳動(dòng)發(fā)布的一種視頻編輯工具，它能讓用戶通過(guò)簡(jiǎn)單的操作控制生成視頻中主體的運(yùn)動(dòng)軌跡。物體將嚴(yán)格按照用戶繪制的位置和路徑進(jìn)行運(yùn)動(dòng)。這個(gè)工具的創(chuàng)新之處在于其直觀的交互方式：你可以選擇需要運(yùn)動(dòng)的物體，然后繪制他結(jié)束的位置和運(yùn)動(dòng)路徑，他就會(huì)嚴(yán)格按照你繪制的位置和路徑運(yùn)動(dòng)。與Runway的運(yùn)動(dòng)筆刷相比，Boximator 可以更精確地控制物體的運(yùn)動(dòng)結(jié)束位置。

Boximator論文：https://arxiv.org/abs/2402.01566

Boximator演示：https://boximator.github.io/#Demo

Boximator項(xiàng)目：https://boximator.github.io/

Boximator核心功能：

• 軌跡控制：用戶可以通過(guò)圈選方式，簡(jiǎn)單直觀地設(shè)定視頻中主體的運(yùn)動(dòng)軌跡。

• 多主體支持：Boximator 支持用戶同時(shí)圈選多個(gè)主體，并為每個(gè)主體設(shè)置不同的運(yùn)動(dòng)路徑。

• 路線定制：除了基本的點(diǎn)對(duì)點(diǎn)移動(dòng)外，用戶還可以為視頻中的主體設(shè)置具體的移動(dòng)路線。

• 插件兼容性：Boximator 與SD視頻模型兼容，可以作為插件使用，增強(qiáng)視頻編輯的靈活性和多樣性。

• 用戶友好：Boximator 的操作簡(jiǎn)單直觀，無(wú)需復(fù)雜的視頻編輯知識(shí)，用戶即可控制視頻內(nèi)容。
  

• 高度兼容：與當(dāng)前流行的SD視頻模型兼容，可作為插件提供更廣泛的應(yīng)用可能。

• 創(chuàng)新交互：創(chuàng)新的圈選交互方式，使得視頻編輯更加直觀和便捷。

Boximator 應(yīng)用場(chǎng)景：

• 視頻內(nèi)容制作：對(duì)于視頻創(chuàng)作者，Boximator 提供了一種新的制作動(dòng)態(tài)視頻的手段。

• 動(dòng)畫創(chuàng)作：對(duì)動(dòng)畫制作者來(lái)說(shuō)，能夠簡(jiǎn)化人物或物體運(yùn)動(dòng)軌跡的設(shè)計(jì)流程。

• 教育演示：在教育領(lǐng)域，教師可以使用該工具制作直觀的動(dòng)態(tài)演示材料。

Boximator使用：

字節(jié)發(fā)布的方法，先圈出圖片中的主體，再圈出要移動(dòng)到位置，即可生成主體從起點(diǎn)到終點(diǎn)移動(dòng)的視頻，支持設(shè)置移動(dòng)路線，支持圈選多個(gè)主體。與SD視頻模型兼容，可作為插件使用。

Boximator簡(jiǎn)介：

我們提出了Boximator，這是一種用于精細(xì)運(yùn)動(dòng)控制的新方法。Boximator采用了兩種約束機(jī)制：硬性約束（hard box）和軟性約束（soft box）。

用戶可以利用硬性約束選取視頻中某一幀（稱為條件幀）的特定對(duì)象，然后通過(guò)這兩種約束方式來(lái)大致或嚴(yán)格地指定該對(duì)象在未來(lái)畫面中的位置、形狀或運(yùn)動(dòng)軌跡。Boximator可以作為現(xiàn)有視頻合成模型的一個(gè)附加組件。在訓(xùn)練過(guò)程中，為了保留原模型的知識(shí)，我們選擇凍結(jié)了原始權(quán)重，只對(duì)控制模塊進(jìn)行訓(xùn)練。

為了解決訓(xùn)練過(guò)程中的挑戰(zhàn)，我們引入了一種創(chuàng)新的自我追蹤技術(shù)，這大大簡(jiǎn)化了學(xué)習(xí)框選對(duì)象與其關(guān)聯(lián)的過(guò)程。

經(jīng)過(guò)實(shí)驗(yàn)證明，Boximator在視頻質(zhì)量方面（即FVD，一種視頻質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)）達(dá)到了行業(yè)領(lǐng)先水平，相較于兩個(gè)基礎(chǔ)模型有所提升，并在引入框選約束后進(jìn)一步增強(qiáng)了效果。其在運(yùn)動(dòng)控制上的強(qiáng)大能力，通過(guò)包圍盒對(duì)齊指標(biāo)的顯著提升得到了驗(yàn)證。

評(píng)估也顯示，用戶更偏好Boximator生成的視頻效果，而不是基礎(chǔ)模型的輸出。