CineMaster是快手近期發(fā)布的全新文本到視頻生成框架，是大連理工大學(xué)、香港中文大學(xué)和快手科技聯(lián)合發(fā)布的一款全新3D感知和可控的文本到視頻生成框架。CineMaster能讓用戶媲美專業(yè)電影導(dǎo)演的創(chuàng)作能力，能夠精確放置場(chǎng)景中的物體，在3D空間中自由操控物體與攝像機(jī)，并直觀地設(shè)計(jì)每一幀的布局，被譽(yù)為視頻版本的ControlNet。

CineMaster使得用戶通過(guò)多種控制信號(hào)精確控制物體位置和相機(jī)運(yùn)動(dòng)，優(yōu)化了視頻生成的靈活性和準(zhǔn)確性。

也就是說(shuō)，CineMaster可以讓用戶輸入包括深度圖、相機(jī)軌跡和物體標(biāo)簽等控制信號(hào)，在生成視頻時(shí)，能夠更好地實(shí)現(xiàn)用戶的創(chuàng)作想法。只要應(yīng)用于動(dòng)畫(huà)制作、視頻游戲開(kāi)發(fā)以及其他需要精確控制視覺(jué)元素的領(lǐng)域。

CineMaster的主要功能：

• 精確放置場(chǎng)景中的物體：用戶可以在3D空間中自由調(diào)整物體的位置和攝像機(jī)的運(yùn)動(dòng)，實(shí)現(xiàn)高度可控的視頻生成。

• 直觀設(shè)計(jì)每一幀的布局：通過(guò)交互式界面，用戶可以實(shí)時(shí)預(yù)覽渲染效果，逐步優(yōu)化視頻的每一幀。

• 基于條件信號(hào)生成視頻：利用深度圖、攝像機(jī)軌跡和物體類別標(biāo)簽，指導(dǎo)擴(kuò)散模型生成符合用戶設(shè)計(jì)意圖的視頻內(nèi)容。

• 引入語(yǔ)義布局注入模塊和攝像機(jī)適配器：確保生成的視頻內(nèi)容在語(yǔ)義上和視覺(jué)上都符合用戶的3D設(shè)計(jì)意圖，支持復(fù)雜的攝像機(jī)運(yùn)動(dòng)。

CineMaster亮點(diǎn)：

• 兩階段工作流程：第一階段構(gòu)建3D感知的控制信號(hào)，第二階段基于條件信號(hào)生成視頻。

• 語(yǔ)義布局控制網(wǎng)絡(luò)：結(jié)合3D空間布局與語(yǔ)義信息，精確控制每個(gè)實(shí)體的位置。

• 攝像機(jī)適配器：通過(guò)殘差連接將攝像機(jī)姿態(tài)注入生成過(guò)程，支持復(fù)雜的攝像機(jī)運(yùn)動(dòng)。

CineMaster技術(shù)：

• 自動(dòng)化數(shù)據(jù)標(biāo)注流水線：包括實(shí)例分割、深度估計(jì)、3D點(diǎn)云與邊界框計(jì)算、實(shí)體跟蹤與3D邊界框調(diào)整。

• 實(shí)驗(yàn)與結(jié)果：在三種典型場(chǎng)景中，CineMaster的表現(xiàn)遠(yuǎn)超現(xiàn)有SOTA方法，精準(zhǔn)控制物體與攝像機(jī)運(yùn)動(dòng)。

CineMaster應(yīng)用：

• 創(chuàng)意視頻: 幫助創(chuàng)作者創(chuàng)作更具個(gè)性的視頻作品。

• 廣告推廣: 提供精準(zhǔn)、創(chuàng)新的廣告視頻制作工具。

• 教育培訓(xùn): 通過(guò)3D模型與動(dòng)畫(huà)場(chǎng)景，提高教育內(nèi)容的吸引力。

• 電影制作: 為影視內(nèi)容提供新的制作技術(shù)支持。

CineMaste對(duì)于內(nèi)容創(chuàng)作、廣告制作、電影特效、在線教育等多領(lǐng)域有比較大的影響，讓非專業(yè)用戶也能創(chuàng)作出具有電影級(jí)視覺(jué)效果的視頻效果。

項(xiàng)目地址：https://cinemaster-dev.github.io/