字節(jié)跳動上線的OmniHuman模型已經(jīng)在即夢AI上線內(nèi)測，該模型采用全新的多模態(tài)視頻生成技術(shù)，用戶只需輸入一張圖片和一段音頻，就可以生成非常逼真真人視頻動畫，涵蓋從面部表情到全身動作，無論是說話、唱歌、跳舞等。

OmniHuman模型的主要功能：

• 視頻生成：能夠?qū)⑤斎氲膯螐堈掌D(zhuǎn)化為逼真的全身動態(tài)視頻，葉可讓數(shù)字人表現(xiàn)出講話、唱歌等多種自然動作。

• 多模態(tài)輸入：同時支持肖像、半身及全身等不同尺寸的圖片輸入，結(jié)合音頻內(nèi)容，數(shù)據(jù)訓(xùn)練效果良好，能夠生成高質(zhì)量的動畫視頻。

OmniHuman模型不僅支持肖像和全身視頻生成，還對不同類型的圖片，如動漫和3D卡通等非真人圖片輸入，表現(xiàn)令人滿意。即夢ai相關(guān)負(fù)責(zé)人表示，盡管OmniHuman已經(jīng)表現(xiàn)出良好的效果，但在生成影視真實級別的視頻方面仍有提升空間。OmniHuman也將將逐步開放使用，現(xiàn)在進(jìn)行小范圍內(nèi)測，并設(shè)置嚴(yán)格的安全審核機制。

OmniHuman在哪里？

登錄即夢AI，左側(cè)欄選擇視頻生成。

我正在申請內(nèi)測中...但用用戶說是對口型，效果不是很好，但有些說很贊。