MuseSteamer 是百度在 2025 年 7 月 2 日發(fā)布的視頻生成模型。它能同時(shí)生成畫面、音效和臺(tái)詞，是首個(gè)實(shí)現(xiàn)中文音視頻一體化生成的模型，改變了傳統(tǒng) aiGC 視頻先畫面后配音的模式。百度還同步推出了 AI 視頻創(chuàng)作平臺(tái) “繪想”。

功能特點(diǎn)：

• 音視頻一體化生成：全球首個(gè)實(shí)現(xiàn)中文音視頻一體化生成的視頻模型，能夠?qū)崿F(xiàn)畫面與音效、人聲臺(tái)詞的協(xié)同創(chuàng)作，打破了傳統(tǒng)AIGC視頻“先畫面后配音”的割裂流程。
  

• 多模態(tài)輸入：支持中文文本提示、參考圖像等輸入方式。

• 視頻生成：可生成長達(dá) 10 秒的動(dòng)態(tài)視頻，畫質(zhì)出色，能靈活控制場景、動(dòng)作和鏡頭感，實(shí)現(xiàn)音視一體化。比如生成的古裝武俠視頻，人物動(dòng)作、表情自然，運(yùn)鏡專業(yè)。

• 一體化生成：能同步生成畫面、音效和臺(tái)詞，聲音與畫面自然匹配，提升視頻的完整性和藝術(shù)表現(xiàn)力。

• 中文語義理解：精準(zhǔn)理解中文語義，通過優(yōu)化數(shù)據(jù)體系，確保文本指令與視覺元素的語義對(duì)齊。

• 視頻描述語言：采用精細(xì)化的視頻結(jié)構(gòu)化描述語言，涵蓋畫面細(xì)節(jié)、主體運(yùn)動(dòng)軌跡、風(fēng)格屬性和鏡頭語言等，保障模型對(duì)畫面細(xì)節(jié)的遵循。

技術(shù)突破：

• 億級(jí)中文多模態(tài)數(shù)據(jù)清洗：深度清洗大量中文多模態(tài)數(shù)據(jù)，確保訓(xùn)練數(shù)據(jù)的高質(zhì)量。

• 精細(xì)化視頻結(jié)構(gòu)化描述語言：提升模型對(duì)視頻內(nèi)容的理解和生成能力。

• 多目標(biāo)強(qiáng)化學(xué)習(xí)：優(yōu)化路徑，保證視頻動(dòng)作幅度的同時(shí)，保持主體內(nèi)容的一致性穩(wěn)定輸出。

產(chǎn)品矩陣及適用人群：

• Lite 版：720p，生成速度快（30 秒），價(jià)格實(shí)惠，適合追求性價(jià)比的用戶。

• Turbo 版：720p，擅長生成人物、動(dòng)漫視頻，動(dòng)作一致性好，運(yùn)動(dòng)幅度大，表情自然，適合大部分創(chuàng)作者，已上線繪想平臺(tái)并開啟限時(shí)免費(fèi)公測。

• Pro 版：1080p，電影級(jí)畫質(zhì)和運(yùn)鏡，表現(xiàn)力強(qiáng)，適合專業(yè)創(chuàng)作者和影視生產(chǎn)機(jī)構(gòu)。

• 有聲版：各清晰度均支持一體化生成音效及臺(tái)詞，適合對(duì)同期聲和畫面有高要求的用戶。

應(yīng)用場景：

• 視頻創(chuàng)作：幫助創(chuàng)作者突破創(chuàng)意瓶頸，快速生成高質(zhì)量視頻。

• 廣告制作：為廣告視頻制作提供高效解決方案，提升吸引力。

• 教育與培訓(xùn)：生成教育視頻和動(dòng)畫，直觀解釋復(fù)雜概念。

• 個(gè)人娛樂：用戶上傳圖片即可生成個(gè)性化視頻，分享個(gè)人故事。