Phenaki 是什么？ 

Phenaki 是 Google Research 的一個(gè)項(xiàng)目，其目標(biāo)是從開放域的文本描述中合成逼真的視頻?？梢灾苯訌奈谋局猩砷L(zhǎng)達(dá)數(shù)分鐘的視頻。

通過Phenaki，您還可以從靜止圖像和提示生成視頻。所提出的視頻編碼器-解碼器在時(shí)空質(zhì)量和每個(gè)視頻的令牌數(shù)量方面優(yōu)于文獻(xiàn)中當(dāng)前使用的所有每幀基線。

為了從文本生成視頻標(biāo)記，Phenaki使用以預(yù)先計(jì)算的文本標(biāo)記為條件的雙向掩碼轉(zhuǎn)換器。生成的視頻令牌隨后被去令牌化以創(chuàng)建實(shí)際視頻。

Phenaki 是視頻合成領(lǐng)域的一個(gè)突破，因?yàn)樗梢蕴幚黹_放域和時(shí)間變量提示，這與以前受數(shù)據(jù)可用性和計(jì)算成本限制的方法不同。Phenaki 還可以從靜止圖像和提示生成視頻，例如放大貓的眼睛或讓它打哈欠。Phenaki 有許多潛在的應(yīng)用，例如娛樂、教育、講故事和藝術(shù)。

Phenaki能做什么？

這段視頻火爆外網(wǎng)，谷歌把AI視頻造假搞得太真太簡(jiǎn)單了

Phenaki 優(yōu)點(diǎn)：

它可以生成可變長(zhǎng)度和質(zhì)量的視頻，最長(zhǎng)可達(dá)兩分鐘

它可以處理開放域和時(shí)間變量提示，例如故事或描述

它利用大量的圖像-文本對(duì)語(yǔ)料庫(kù)和少量的視頻-文本示例來泛化視頻數(shù)據(jù)集之外