阿里巴巴正式開(kāi)源通義萬(wàn)相Wan2.1視頻生成AI模型

映技派于2025-02-26發(fā)布在Ai產(chǎn)品

通義萬(wàn)相Wan2.1視頻生成AI模型.webp

Wan2.1是什么？

Wan2.1（通義萬(wàn)相2.1）是阿里巴巴于2025年2月25日正式發(fā)布的一個(gè)全新的開(kāi)源視頻生成模型，該ai模型基于Apache 2.0協(xié)議開(kāi)源，提供了14B和1.3B兩個(gè)參數(shù)規(guī)格的推理代碼和權(quán)重，支持文生視頻和圖生視頻任務(wù)。性能有非常大的提升，在多個(gè)基準(zhǔn)測(cè)試中超越了其他先進(jìn)模型，包括Sora、HunyuanVideo、Minimax、Luma、Gen3、Pika等國(guó)內(nèi)外視頻生成模型。

Wan2.1的功能：

中英文視頻生成：

Wan2.1是首個(gè)能夠生成中英文文本的視頻模型，具有強(qiáng)大的文本生成能力，能夠生成具有電影級(jí)效果的文字和動(dòng)畫(huà)。
支持多種場(chǎng)景下的字體應(yīng)用，包括特效字體、海報(bào)字體以及真實(shí)場(chǎng)景中的字體展示。

多任務(wù)支持：

提供文本到視頻（text-to-video）和圖像到視頻（image-to-video）生成。
支持視頻編輯、視頻到音頻等任務(wù)。
文本生成圖像（T2I）：支持文本到圖像生成。
視頻生成音頻（V2A）：可以為視頻自動(dòng)生成匹配的音頻。

高質(zhì)量性能：

基于混合變分自編碼器（VAE）和擴(kuò)散變換器（DiT）架構(gòu)，增強(qiáng)了時(shí)間建模和場(chǎng)景理解能力。
能夠同時(shí)生成高清視頻、動(dòng)態(tài)字幕和多語(yǔ)言配音，支持1080p分辨率和高效的編解碼。

消費(fèi)級(jí)硬件支持：

1.3B版本的Wan2.1模型僅需8.19GB顯存即可運(yùn)行，適用于RTX 4090顯卡，使得專業(yè)級(jí)視頻創(chuàng)作進(jìn)入消費(fèi)級(jí)硬件領(lǐng)域

風(fēng)格多樣化：

支持多種藝術(shù)風(fēng)格，如卡通、電影色、3D風(fēng)格、油畫(huà)、古典等。

長(zhǎng)視頻生成：

通過(guò)特征緩存機(jī)制，支持無(wú)限長(zhǎng)1080P視頻的生成。

多任務(wù)支持.webp

核心架構(gòu)

混合變分自編碼器（VAE）：用于視頻的編解碼，支持無(wú)損編解碼任意長(zhǎng)度的1080P視頻流，同時(shí)保留時(shí)序信息。
擴(kuò)散變換器（DiT）：基于視頻的DiT結(jié)構(gòu)，通過(guò)Full Attention機(jī)制確保長(zhǎng)時(shí)程時(shí)空依賴的有效建模，實(shí)現(xiàn)時(shí)空一致的視頻生成。

核心架構(gòu).webp

Wan2.1的應(yīng)用：

影視創(chuàng)作：快速打造復(fù)雜場(chǎng)景和特效，比如科幻片中的外星世界或宏大的戰(zhàn)爭(zhēng)場(chǎng)面，大幅降低制作成本和時(shí)間。
廣告營(yíng)銷：根據(jù)品牌特點(diǎn)，定制創(chuàng)意廣告視頻，提升品牌曝光度和吸引力。
教育培訓(xùn)：制作生動(dòng)的教學(xué)視頻和動(dòng)畫(huà)課件，幫助學(xué)生更直觀地理解知識(shí)點(diǎn)，豐富教學(xué)資源。
游戲娛樂(lè)：生成逼真的游戲場(chǎng)景和角色動(dòng)畫(huà)，提升游戲畫(huà)面質(zhì)感和玩家沉浸感。
短視頻與社交媒體：快速產(chǎn)出高質(zhì)量短視頻，適合社交媒體傳播，輕松吸引更多觀眾。
虛擬角色與動(dòng)畫(huà)制作：支持復(fù)雜角色動(dòng)作和場(chǎng)景設(shè)計(jì)，適用于電影、廣告或游戲中的虛擬角色創(chuàng)作。