MM-StoryAgent是什么？

MM-StoryAgent是上海交大和阿里開源的一款ai多模態(tài)故事生成系統(tǒng)，采用多智能體范式，能生成沉浸式的有聲故事書視頻。它融合了文本、圖像、音頻等多種元素，借助大型語(yǔ)言模型和一些專業(yè)工具，自動(dòng)生成包含文字、圖像以及多聲道音頻（旁白、音效、背景音樂）的故事視頻，可用于兒童故事快速創(chuàng)作。

MM-StoryAgent功能特點(diǎn)

• 創(chuàng)作高質(zhì)量故事：依據(jù)輸入的故事設(shè)定，通過(guò)多智能體、多階段的流程創(chuàng)作故事。采用自上而下構(gòu)思草稿、自下而上生成素材的方式，解決手動(dòng)干預(yù)、場(chǎng)景編排和敘事一致等問題。

• 生成多模態(tài)內(nèi)容：結(jié)合文本、圖像、語(yǔ)音、音樂等模態(tài)生成沉浸式故事視頻。將任務(wù)分解后分配給不同的專業(yè)“智能體”，如負(fù)責(zé)故事設(shè)計(jì)、故事板生成、視頻創(chuàng)建等，模擬專業(yè)制作流程。

• 支持定制化工作流：提供可靠且可定制的工作流程，用戶能通過(guò)配置文件等方式自定義智能體行為，定義自己的專業(yè)工具來(lái)提升各組件生成質(zhì)量。

• 增強(qiáng)角色一致性：生成過(guò)程中注重角色和主題的一致性。采用定制化的圖像轉(zhuǎn)視頻方法和新的故事板生成流程，保證鏡頭間主體一致。

• 自動(dòng)化且靈活：利用大型語(yǔ)言模型和專業(yè)工具，能將簡(jiǎn)單提示自動(dòng)轉(zhuǎn)換為多模態(tài)數(shù)字故事，無(wú)需參考視頻就能生成連貫內(nèi)容。

• 便于評(píng)估優(yōu)化：提供故事主題列表和評(píng)估標(biāo)準(zhǔn)，方便用戶評(píng)估生成故事的質(zhì)量并進(jìn)行改進(jìn)。

MM-StoryAgent核心技術(shù)

• 多智能體框架運(yùn)作機(jī)制：通過(guò)多階段寫作流程和多智能體協(xié)作創(chuàng)作故事，整合視覺、聽覺和敘事元素，帶來(lái)全方位感官體驗(yàn)。

• 定制圖像轉(zhuǎn)視頻方法：引入LoRA-BE這種定制的圖像轉(zhuǎn)視頻方法，增強(qiáng)鏡頭內(nèi)時(shí)間一致性，提升視頻視覺質(zhì)量。

MM-StoryAgent使用方法

1. 獲取源代碼：訪問MM_StoryAgent的GitHub倉(cāng)庫(kù)（見下面鏈接），下載源代碼。

2. 安裝依賴項(xiàng)：按照項(xiàng)目文檔說(shuō)明，安裝Python庫(kù)等必要的軟件包。

3. 配置環(huán)境：設(shè)置開發(fā)環(huán)境，確保依賴項(xiàng)正確安裝，可能需要配置一些環(huán)境變量。

4. 準(zhǔn)備輸入數(shù)據(jù)：準(zhǔn)備好故事設(shè)定、角色描述、場(chǎng)景信息等數(shù)據(jù)用于故事創(chuàng)作。

5. 運(yùn)行生成過(guò)程：使用提供的腳本或命令行工具啟動(dòng)生成流程，可通過(guò)指定輸入數(shù)據(jù)和參數(shù)定制故事。

6. 查看評(píng)估結(jié)果：生成的視頻形式的故事輸出后，查看并評(píng)估質(zhì)量和效果，按需調(diào)整。

7. 優(yōu)化迭代：根據(jù)評(píng)估結(jié)果調(diào)整輸入數(shù)據(jù)或參數(shù)，重新運(yùn)行生成流程優(yōu)化故事內(nèi)容和表現(xiàn)力 。

GitHub倉(cāng)庫(kù)：https://github.com/X-PLUG/MM_StoryAgent