提交您的產(chǎn)品 
Ai應(yīng)用
Ai資訊
AI生圖
AI生視頻
開源AI應(yīng)用平臺RelightVid：根據(jù)用戶輸入的文本描述對視頻進(jìn)行光照調(diào)整
RelightVid是什么？
RelightVid是一種視頻重照明技術(shù)，視頻版的IC Light，它可以根據(jù)用戶輸入的文本描述、背景視頻或HDR環(huán)境貼圖等條件，對視頻進(jìn)行光照調(diào)整，讓視頻在不同光照條件下呈現(xiàn)出逼真的效果。它通過特殊的模型架構(gòu)和訓(xùn)練方法，實現(xiàn)了對視頻的高質(zhì)量重照明，同時保證了視頻幀之間的連貫性，避免出現(xiàn)閃爍或跳變的情況。
RelightVid功能
文本條件重照明：用戶輸入文本描述，如“陽光透過樹葉，形成斑駁光影”，RelightVid 就能模擬出相應(yīng)光照條件下的視頻效果。
背景視頻條件重照明：以背景視頻作為光照條件，動態(tài)調(diào)整前景對象的光照，使前景與背景光照協(xié)調(diào)一致。
HDR 環(huán)境貼圖條件重照明：利用 HDR 環(huán)境貼圖精確控制光照，實現(xiàn)高質(zhì)量的重照明效果。
全場景重照明：同時對前景和背景進(jìn)行重照明，使整個場景與光照條件相匹配。
前景保留重照明：改變前景對象的光照，而保留背景不變，適用于突出前景對象的場景。
RelightVid技術(shù)原理
擴(kuò)散模型擴(kuò)展：基于預(yù)訓(xùn)練的圖像重照明擴(kuò)散模型（如 IC-Light），擴(kuò)展架構(gòu)支持視頻輸入，引入時序?qū)硬蹲綆g時間依賴性，確保重照明的時序一致性。
多模態(tài)條件聯(lián)合訓(xùn)練：可同時使用背景視頻、文本提示和 HDR 環(huán)境貼圖作為條件，通過編碼器將條件嵌入模型中，基于交叉注意力機(jī)制實現(xiàn)協(xié)同編輯。
光照不變集成（Illumination-Invariant Ensemble, IIE）：通過亮度增強(qiáng)輸入視頻并平均預(yù)測噪聲，提高模型在不同光照條件下的魯棒性，防止反照率變化。
數(shù)據(jù)增強(qiáng)管道（LightAtlas）：基于真實視頻和 3D 渲染數(shù)據(jù)生成高質(zhì)量的重照明數(shù)據(jù)對，為模型提供豐富的光照先驗知識，增強(qiáng)對復(fù)雜光照場景的適應(yīng)能力。
優(yōu)勢與局限
優(yōu)勢：
時序一致性：通過引入時序?qū)樱行ПＷC了視頻重照明的時序一致性，避免了閃爍或跳變等問題。
多模態(tài)條件控制：支持多種模態(tài)的條件控制，用戶可根據(jù)需求靈活調(diào)整光照效果。
高質(zhì)量的重照明效果：通過多種技術(shù)生成高質(zhì)量的重照明效果，使視頻更加逼真。
局限：
計算資源需求：基于深度學(xué)習(xí)模型，需要大量計算資源才能運(yùn)行，限制了其在低端設(shè)備上的應(yīng)用。
對復(fù)雜場景的處理能力：在處理非常復(fù)雜的場景時，可能會出現(xiàn)不準(zhǔn)確或不自然的光照效果。
用戶知識要求：用戶需要具備一定的視頻編輯和光照知識，才能充分利用其功能。
RelightVid使用方式
可以直接訪問RelightVid的在線Demo：https://huggingface.co/spaces/aleafy/RelightVid。
在Demo頁面上傳視頻，并根據(jù)需要輸入文本描述、選擇背景視頻或HDR環(huán)境貼圖等條件，即可進(jìn)行重照明處理。
常見問題
1. RelightVid 與傳統(tǒng)視頻重打光方法的核心區(qū)別是什么？
答：傳統(tǒng)方法多基于圖像編輯模型直接擴(kuò)展，缺乏對視頻時間連貫性的建模，且難以融合多模態(tài)輸入（如文本、動態(tài)光照）。RelightVid 通過插入可訓(xùn)練時間層和光照交叉注意力機(jī)制，顯式捕捉幀間光照依賴，并支持文本、背景視頻、HDR 地圖等多條件輸入，實現(xiàn)更自然的動態(tài)光照編輯。
2. 數(shù)據(jù)集構(gòu)建中如何平衡真實性與多樣性？
答：通過雙源數(shù)據(jù)增強(qiáng)實現(xiàn)：
野生視頻提供真實光照場景（如廚房窗光、雨夜街燈），確保真實性；
3D 渲染數(shù)據(jù)通過隨機(jī) HDR 地圖和相機(jī)軌跡生成多樣化光照組合（如熔巖火光、軟箱柔光），增強(qiáng)模型泛化能力。
兩者結(jié)合使數(shù)據(jù)集既包含真實案例，又覆蓋傳統(tǒng)方法難以獲取的極端光照條件。
3. 在技術(shù)實現(xiàn)中，如何確保重打光結(jié)果的時間一致性？
答：通過動態(tài) HDR 條件輸入和時間層雙重機(jī)制：
動態(tài) HDR 地圖作為時間序列輸入，約束每幀光照參數(shù)（如強(qiáng)度、顏色）的平滑變化；
時間層在擴(kuò)散模型的 U-Net 中引入幀間特征交互，避免相鄰幀出現(xiàn)光照突變。
此外，光照交叉注意力機(jī)制進(jìn)一步跨幀傳播光照特征，強(qiáng)化全局一致性。
項目鏈接
項目官網(wǎng)：https://aleafy.github.io/relightvid/
GitHub 倉庫：https://github.com/Aleafy/RelightVid
arXiv 論文：https://arxiv.org/pdf/2501.16330
在線體驗 ：https://huggingface.co/spaces/aleafy/RelightVid
