Light-A-Video是一個(gè)應(yīng)用于逐幀圖像重光照模型的簡(jiǎn)單應(yīng)用，主要解決光源一致性以及重光照外觀的問(wèn)題。該項(xiàng)目的目標(biāo)是提升視頻中光照效果的自然性，使得生成的視頻幀在光源和外觀上更加一致，解決了傳統(tǒng)視頻重光照方法面臨的高訓(xùn)練成本、數(shù)據(jù)稀缺性、時(shí)間一致性差以及應(yīng)用領(lǐng)域限制等問(wèn)題。

Light-A-Video功能特征：

無(wú)需訓(xùn)練：Light-A-Video采用無(wú)監(jiān)督學(xué)習(xí)的方式，不需要大規(guī)模的數(shù)據(jù)集或復(fù)雜的訓(xùn)練過(guò)程。

CLA模塊：通過(guò)雙流注意力機(jī)制，結(jié)合原始幀的高頻細(xì)節(jié)和跨幀平均后的穩(wěn)定背景光照，確保光照源的穩(wěn)定性，減少閃爍。

PLF策略：該策略逐步融合重光照效果，確保在視頻去噪過(guò)程中保持光照的一致性和平滑過(guò)渡，從而避免了逐幀處理導(dǎo)致的不自然效果。

廣泛兼容性：該方法與多種視頻生成模型兼容，如UNet和DiT，顯示了其在不同應(yīng)用場(chǎng)景中的通用性。

光照一致性：通過(guò)引入兩個(gè)核心模塊來(lái)增強(qiáng)視頻中的光照一致性：

• Consistent Light Attention (CLA)：通過(guò)增強(qiáng)自注意力機(jī)制中的跨幀交互，確保背景光源的一致性。

• Progressive Light Fusion (PLF)：利用光傳輸?shù)莫?dú)立性原理，通過(guò)線性混合來(lái)平滑光照過(guò)渡，確保視頻幀間的光照一致性。

技術(shù)流程：

• 視頻編碼與加噪：輸入視頻被編碼到潛在空間，并添加噪聲以準(zhǔn)備后續(xù)處理。

• 逐幀重光照：利用預(yù)訓(xùn)練的圖像重光照模型對(duì)每一幀進(jìn)行處理。

• CLA模塊應(yīng)用：通過(guò)增強(qiáng)跨幀交互，穩(wěn)定光照效果，保持視頻幀間的一致性。

• PLF策略實(shí)施：逐步將重光照效果融入視頻的去噪過(guò)程，確保時(shí)間上的平滑過(guò)渡。

• 視頻解碼：最終生成重光照后的視頻，保持高質(zhì)量和時(shí)間連貫性。

Light-A-Video應(yīng)用場(chǎng)景：

Light-A-Video只要為視頻編輯、電影特效制作、虛擬現(xiàn)實(shí)、廣告和游戲開(kāi)發(fā)等領(lǐng)域提供更高效、更靈活的視頻光照調(diào)整工具：

• 全視頻重光照：適用于整個(gè)視頻的重光照。

• 視頻前景重光照：結(jié)合背景生成進(jìn)行視頻前景的重光照。

Light-A-Video 由來(lái)自上海交通大學(xué)、中國(guó)科學(xué)技術(shù)大學(xué)、香港中文大學(xué)、香港科技大學(xué)、斯坦福大學(xué)等機(jī)構(gòu)的研究人員共同開(kāi)發(fā)，是首個(gè)無(wú)需預(yù)先訓(xùn)練就能夠?qū)崿F(xiàn)高質(zhì)量、時(shí)間連貫的視頻重光照模型。