PIA是一種個(gè)性化的圖像動(dòng)畫方法，通過(guò)文本到圖像模型中的即插即用模塊實(shí)現(xiàn)個(gè)性化圖像動(dòng)畫師，可以生成具有高運(yùn)動(dòng)可控性和強(qiáng)文本和圖像對(duì)齊性的視頻，與各種個(gè)性化T2I模型兼容，無(wú)需特定調(diào)整。

所提出的 PIA 根據(jù)不同的文本提示以逼真的動(dòng)作對(duì)其進(jìn)行動(dòng)畫處理，同時(shí)保留獨(dú)具特色的風(fēng)格和高保真細(xì)節(jié)，做到外觀與運(yùn)動(dòng)的完美平衡，減輕外觀相關(guān)圖像對(duì)齊挑戰(zhàn)，專注于與運(yùn)動(dòng)相關(guān)的指導(dǎo)對(duì)齊。

PIA項(xiàng)目地址：https://pi-animator.github.io/

個(gè)性化文本到圖像 （T2I） 模型的最新進(jìn)展徹底改變了內(nèi)容創(chuàng)作，使非專業(yè)人士能夠生成具有獨(dú)特風(fēng)格的驚人圖像。雖然很有前途，但通過(guò)文本將逼真的動(dòng)作添加到這些個(gè)性化圖像中，在保留獨(dú)特的風(fēng)格、高保真細(xì)節(jié)和通過(guò)文本實(shí)現(xiàn)運(yùn)動(dòng)可控性方面帶來(lái)了重大挑戰(zhàn)。

在本文中，我們介紹了 PIA，這是一款個(gè)性化圖像動(dòng)畫器，它擅長(zhǎng)與條件圖像對(duì)齊，通過(guò)文本實(shí)現(xiàn)運(yùn)動(dòng)可控性，以及與各種個(gè)性化 T2I 模型的兼容性，而無(wú)需進(jìn)行特定調(diào)整。為了實(shí)現(xiàn)這些目標(biāo)，PIA 基于具有訓(xùn)練有素的時(shí)間對(duì)齊層的基礎(chǔ) T2I 模型構(gòu)建，允許將任何個(gè)性化 T2I 模型無(wú)縫轉(zhuǎn)換為圖像動(dòng)畫模型。

PIA 的一個(gè)關(guān)鍵組件是條件模塊的引入，該模塊利用條件幀和幀間親和力作為輸入，在親和力提示的指導(dǎo)下傳輸外觀信息，以便在潛在空間中進(jìn)行單個(gè)幀合成。這種設(shè)計(jì)減輕了內(nèi)部與外觀相關(guān)的圖像對(duì)齊的挑戰(zhàn)，并允許更專注于與運(yùn)動(dòng)相關(guān)的引導(dǎo)對(duì)齊。

PIA實(shí)現(xiàn)方式：

• 時(shí)間對(duì)齊層基礎(chǔ)T2I模型：訓(xùn)練有素，將個(gè)性化T2I模型轉(zhuǎn)換為圖像動(dòng)畫模型。

• 條件模塊：利用條件幀和幀間關(guān)聯(lián)，通過(guò)關(guān)聯(lián)提示在潛在空間傳輸外觀信息，指導(dǎo)幀合成。

PIA特點(diǎn)：

• 即插即用，根據(jù)文本提示實(shí)現(xiàn)動(dòng)畫處理。

• 保留原始風(fēng)格，高保真度細(xì)節(jié)不失真。

PIA由上海人工智能實(shí)驗(yàn)室貢獻(xiàn)。