在視頻編輯的動(dòng)態(tài)領(lǐng)域，將運(yùn)動(dòng)從一個(gè)視頻無縫傳輸?shù)搅硪粋€(gè)視頻的能力一直是人們渴望的功能。MotionFollower 作為一種突破性的解決方案出現(xiàn)，可以在保持原始視頻的背景和主角外觀的同時(shí)實(shí)現(xiàn)精確的運(yùn)動(dòng)編輯。這種輕量級(jí)的分?jǐn)?shù)引導(dǎo)擴(kuò)散模型重新定義了視頻動(dòng)作編輯的可能性，提供無與倫比的性能和效率。

舉個(gè)例子，假設(shè)我們有兩個(gè)視頻：

源視頻：一段風(fēng)景優(yōu)美的公園視頻，視頻中的主角是一位穿著紅色衣服的女性，她正在站著沒有動(dòng)作。

目標(biāo)視頻：一段舞蹈視頻，視頻中的主角是一位穿著藍(lán)色衣服的男性，他在跳舞。

使用MotionFollower，我們可以將目標(biāo)視頻中男性的舞蹈動(dòng)作轉(zhuǎn)移到源視頻中女性的身上。

同時(shí)在將運(yùn)動(dòng)信息轉(zhuǎn)移到源視頻中的人物時(shí)，保持源視頻中人物的外觀不變，包括他們的服裝、面貌等特征，只改變他們的動(dòng)作。

技術(shù)見解：

MotionFollower 因解決了在不影響原始主角的外觀和背景的情況下修改視頻中的運(yùn)動(dòng)信息的挑戰(zhàn)而脫穎而出。 MotionFollower 利用輕量級(jí)信號(hào)控制器來控制姿勢(shì)和外觀，通過卷積塊將這些控制集成到去噪過程中，從而無需進(jìn)行大量的注意力計(jì)算。該模型采用具有重建和編輯分支的兩分支架構(gòu)，以確保保留紋理細(xì)節(jié)和復(fù)雜背景的分?jǐn)?shù)指導(dǎo)原則為指導(dǎo)。

架構(gòu)概述。在訓(xùn)練中，兩個(gè)輕量級(jí)信號(hào)控制器和U-Net是可訓(xùn)練的。

MotionFollower 的核心是能夠通過將目標(biāo)姿勢(shì)和源外觀編碼為離散信號(hào)來操縱運(yùn)動(dòng)。分?jǐn)?shù)引導(dǎo)原則增強(qiáng)了建模能力，在分?jǐn)?shù)估計(jì)過程中注入適當(dāng)?shù)闹笇?dǎo)，以保持原始視頻和編輯視頻之間的一致性。這種方法可顯著減少 GPU 內(nèi)存使用量（與 MotionEditor 等領(lǐng)先競(jìng)爭(zhēng)對(duì)手相比最多可減少 80%），同時(shí)在處理大型攝像機(jī)運(yùn)動(dòng)和復(fù)雜背景方面提供卓越的性能。

我們的 MotionFollower 與其他最先進(jìn)模型的定性比較

行業(yè)應(yīng)用：

MotionFollower 的應(yīng)用范圍遍及各個(gè)行業(yè)。在娛樂領(lǐng)域，它可以讓編輯人員將復(fù)雜的舞蹈動(dòng)作或動(dòng)作序列從參考視頻轉(zhuǎn)移到新內(nèi)容，從而徹底改變視頻制作，無需大量重新拍攝即可創(chuàng)造令人驚嘆的視覺效果。在廣告中，品牌可以制作動(dòng)態(tài)廣告，讓產(chǎn)品與不斷變化的環(huán)境互動(dòng)，從而提高觀眾的參與度和創(chuàng)造力。此外，在運(yùn)動(dòng)分析領(lǐng)域，MotionFollower可用于分析運(yùn)動(dòng)員的動(dòng)作，幫助教練和訓(xùn)練師通過可視化和比較技術(shù)來制定更好的訓(xùn)練計(jì)劃。

未來展望：

展望未來，MotionFollower 為視頻編輯技術(shù)的進(jìn)一步進(jìn)步奠定了基礎(chǔ)。未來的發(fā)展可能包括實(shí)時(shí)動(dòng)作編輯功能，擴(kuò)大其在現(xiàn)場(chǎng)直播和交互式虛擬現(xiàn)實(shí)體驗(yàn)中的使用。人工智能驅(qū)動(dòng)的增強(qiáng)功能的結(jié)合將繼續(xù)突破界限，允許對(duì)視頻內(nèi)容進(jìn)行更精確和更具創(chuàng)造性的控制。隨著技術(shù)的成熟，它將開啟視頻制作的新時(shí)代，想象力的限制是唯一的限制。

MotionFollower 不僅僅是一個(gè)工具；更是一個(gè)工具。它是視頻編輯創(chuàng)新的催化劑。通過提供輕量、高效、高效的動(dòng)作傳遞解決方案，為各領(lǐng)域的創(chuàng)作者開辟了新的可能性。這一革命性的模型為視頻動(dòng)態(tài)編輯樹立了新標(biāo)準(zhǔn)，使所有人都能進(jìn)行復(fù)雜且高質(zhì)量的編輯。