StableAvatar

復(fù)旦大學(xué)、微軟亞洲研究院和西安交通大學(xué)等機(jī)構(gòu)的研究人員開發(fā)的一個能通過音頻直接生成唱歌或說話視頻的工具，而且視頻時長不受限制，畫面質(zhì)量也很高。

#Ai工具箱 #Ai開源項目

訪問StableAvatar

StableAvatar 簡介

StableAvatar 是由復(fù)旦大學(xué)、微軟亞洲研究院和西安交通大學(xué)等機(jī)構(gòu)的研究人員開發(fā)的一個能通過音頻直接生成唱歌或說話視頻的工具，而且視頻時長不受限制，畫面質(zhì)量也很高。

StableAvatar 核心技術(shù)

時間步感知音頻適配器：這個技術(shù)主要是防止音頻信息在轉(zhuǎn)換過程中出錯。它會把一開始的音頻信息和圖片的初始信息做“交叉注意力”處理（簡單理解就是讓兩者更好地關(guān)聯(lián)起來），再用“時間步嵌入”做調(diào)整（類似給不同時間點(diǎn)的信息做微調(diào)），最后得到更準(zhǔn)確的音頻信息，避免后面生成視頻時畫面和音頻對不上或者畫面變形。
音頻原生引導(dǎo)機(jī)制：在生成視頻的最后階段（也就是推理階段），它會利用模型自己預(yù)測的音頻和畫面信息，把這些動態(tài)變化的信息當(dāng)作“引導(dǎo)信號”，讓生成的視頻和音頻同步性更強(qiáng)，不會出現(xiàn)聲音和嘴型對不上的情況。
動態(tài)加權(quán)滑動窗口去噪策略：生成長視頻時，畫面容易卡頓或者不連貫。這個技術(shù)通過在時間維度上融合畫面的潛變量信息（可以理解為畫面的隱藏特征），讓長視頻的每一幀過渡更平滑，不會出現(xiàn)突然的跳動或者變形。

處理音頻：先把輸入的音頻通過 Wav2Vec 模型提取出音頻特征（也就是 audio embeddings），然后用前面提到的“音頻適配器”對這些特征做優(yōu)化，讓音頻信息更準(zhǔn)確。
處理參考圖像（比如人物的初始照片）：參考圖像會通過兩條路徑輸入到生成視頻的模型里：

第一條路徑：把參考圖像和零填充幀（相當(dāng)于空白幀）按時間軸拼接起來，再通過一個固定的 3D VAE 編碼器轉(zhuǎn)換成潛變量編碼（類似畫面的隱藏信息）。這個潛變量編碼會和壓縮后的視頻幀以及二值掩碼（用來標(biāo)記哪些部分需要重點(diǎn)處理）在通道軸上拼接，為后續(xù)生成畫面提供基礎(chǔ)。
第二條路徑：通過 CLIP 編碼器（一種能提取圖像關(guān)鍵特征的模型）把參考圖像轉(zhuǎn)換成 image embeddings（圖像特征），然后把這些特征輸入到去噪模塊（DiT）的每個“圖像-音頻交叉注意力模塊”里，目的是讓生成的視頻里人物的長相和參考圖像一致。

生成視頻：推理階段，原本應(yīng)該輸入的真實(shí)視頻幀會被替換成隨機(jī)噪聲（這是這類模型的常規(guī)操作），其他輸入（比如優(yōu)化后的音頻、處理好的參考圖像信息）保持不變，最終通過模型計算生成連續(xù)的視頻幀，形成完整視頻。

能生成超長視頻：以前的工具大多只能生成不到 15 秒的短視頻，而 StableAvatar 可以生成任意時長的視頻，而且畫面質(zhì)量依然很高（高保真）。
人物形象不走樣：即使生成很長的視頻，視頻里人物的臉和身體動作也能保持一致，不會出現(xiàn)臉變形、身體比例奇怪或者前后外觀不搭的問題。
不用額外處理：生成的視頻直接就能用，不需要再用其他工具去修臉（比如常見的面部置換工具 FaceFusion 或者修復(fù)模型 GFP-GAN、CodeFormer 等），省了好多麻煩。