OmniTalker 是什么？

OmniTalker是阿里巴巴通義實驗室研發(fā)的一款實時文本驅動的說話頭像ai多模態(tài)生成框架。它可以根據(jù)輸入的文本內(nèi)容，實時生成與之匹配的語音和視頻動畫。生成的語音和視頻不僅高質量，還能逼真地模擬面部表情和頭部動作，仿佛是一個真實的“數(shù)字人”在與你對話。OmniTalker支持中英文互轉，支持情感表達，比如平靜、快樂、悲傷、憤怒等等情緒并支持長視頻生成。

OmniTalker功能特點

• 多模態(tài)輸入處理：能夠感知文本、圖像、音頻和視頻等多種模態(tài)。

• 流式生成：以流式方式生成文本和自然語音響應，音頻和視頻編碼器采用按塊處理方法，解耦了對長序列多模態(tài)數(shù)據(jù)的處理。

• 音視頻精準同步：通過 TMRoPE 技術，確保視頻與音頻輸入的精準同步。

• 實時交互：支持分塊輸入和即時輸出，能夠進行完全實時交互。

• 語音生成自然流暢：在語音生成的自然性和穩(wěn)定性方面表現(xiàn)優(yōu)異，超越了許多現(xiàn)有的流式和非流式替代方案。

• 性能優(yōu)勢：在多模態(tài)基準測試中表現(xiàn)出色，音頻能力優(yōu)于類似大小的 Qwen2-Audio，并與 Qwen2.5-VL-7B 保持同等水平。

OmniTalker核心技術

1. 雙分支擴散變換器（DiT）架構

• 包含 音頻分支 和 視覺分支：

• 音頻分支：從文本中合成高質量的語音。

• 視覺分支：預測頭部姿勢和面部動態(tài)。

• 通過一個新穎的 音頻-視覺融合模塊，確保音頻和視頻輸出在時間上的同步性和風格上的一致性。

2. 上下文參考學習

• OmniTalker 能夠從單個參考視頻中捕獲語音和面部風格特征，無需額外的風格提取模塊。這意味著，無論輸入的文本是什么，OmniTalker 都能夠生成與參考視頻風格高度一致的語音和視頻內(nèi)容。

3. 實時性與高效性

• OmniTalker 能夠以 25 FPS 的速度實時生成語音和視頻，這在同類技術中是非常領先的。這種高效的推理速度使得 OmniTalker 可以應用于實時視頻聊天、虛擬直播等場景，為用戶帶來流暢的交互體驗。

OmniTalker應用場景

• 智能語音助手：處理用戶的語音指令，實時生成語音回應。

• 多模態(tài)內(nèi)容創(chuàng)作：同時處理文本、圖像和視頻輸入，生成相應的文本或語音描述。

• 教育與培訓：生成虛擬教師，根據(jù)教學內(nèi)容生成語音和視頻。

• 虛擬客服與助手：創(chuàng)建虛擬客服或助手，實時生成語音和視頻回應。

• 娛樂與媒體：創(chuàng)建虛擬主播、演員，實時生成表演內(nèi)容。

OmniTalker優(yōu)勢

• 高質量生成：生成的語音和視頻內(nèi)容質量高，能精準復制參考視頻的風格，包括語音語調、節(jié)奏和面部表情的細微變化。

• 零樣本學習：無需大量訓練數(shù)據(jù)，可根據(jù)輸入文本和參考視頻快速生成內(nèi)容，適應不同場景和需求。

• 實時交互：以25 FPS的速度實時生成語音和視頻，延遲低，適用于實時視頻聊天、虛擬直播等場景。

項目官網(wǎng)：https://humanaigc.github.io/omnitalker/

技術論文：https://arxiv.org/pdf/2504.02433v1