2024年11月15日，字節(jié)跳動(dòng)的兩款視頻生成模型PixelDance和Seaweed在即夢AI平臺正式上線。目前，網(wǎng)頁版和手機(jī)端APP均已支持這兩款模型的使用，這兩款模型已面向公眾免費(fèi)開放使用，用戶可以通過即夢ai的“視頻生成”體驗(yàn)這個(gè)功能。

PixelDance模型支持文生視頻和圖生視頻，能夠生成長達(dá)10秒的高質(zhì)量視頻片段，其人物動(dòng)作接近照片的真實(shí)度，超越了OpenAI的Sora模型在復(fù)雜動(dòng)作表現(xiàn)上的限制。Seaweed模型則在圖生視頻場景體現(xiàn)出較好的首幀一致性，可以保持與用戶輸入圖的一致性，同時(shí)具有高效的生成能力，僅需60秒就能完成5秒高質(zhì)量視頻的生成，遠(yuǎn)超國內(nèi)行業(yè)標(biāo)準(zhǔn)的3-5分鐘。

模型功能

• PixelDance功能：能夠生成魔術(shù)般的特效，適合使用時(shí)序提示詞、長鏡頭等技巧。

• Seaweed功能：在圖生視頻場景中體現(xiàn)出較好的首幀一致性，保持與用戶輸入圖的一致性、色彩等細(xì)節(jié)還原。

• 鏡頭切換：PixelDance在生成10秒視頻時(shí)，切換鏡頭3-5次的效果最佳，場景和角色能保持很好的一致性。

• 視覺效果：Seaweed模型實(shí)現(xiàn)大幅度運(yùn)動(dòng)畫面流暢自然，具有真實(shí)感。

• 提示詞描述：通過小幅度、漸進(jìn)式的提示詞描述，PixelDance能生成魔術(shù)般的特效。

應(yīng)用場景

• 設(shè)計(jì)領(lǐng)域：兩款模型可以應(yīng)用于設(shè)計(jì)領(lǐng)域，幫助創(chuàng)作者實(shí)現(xiàn)更具創(chuàng)意的設(shè)計(jì)作品。

• 影視制作：在影視制作中，這些模型可以用于生成特效和復(fù)雜的場景。

• 動(dòng)畫創(chuàng)作：模型支持動(dòng)畫創(chuàng)作，能夠生成流暢自然的動(dòng)畫效果。

• 專業(yè)創(chuàng)作：經(jīng)過剪映、即夢AI等業(yè)務(wù)場景打磨，模型更好地服務(wù)于專業(yè)創(chuàng)作者和藝術(shù)家。

• 故事創(chuàng)作：即夢AI平臺提供的功能有助于故事創(chuàng)作，提升創(chuàng)作效率。

這兩款模型的發(fā)布，尤其是PixelDance，體現(xiàn)了字節(jié)跳動(dòng)在視頻生成技術(shù)上的成熟，特別是在語義理解、人物動(dòng)作處理以及多鏡頭切換的一致性方面達(dá)到了業(yè)界先進(jìn)水平。