StoryDiffusion 是一款由南開大學(xué)HVision團(tuán)隊(duì)開發(fā)的人工智能工具，主要功能包括生成連貫的圖像和視頻故事，以及漫畫生成創(chuàng)作。StoryDiffusion利用一致性自注意力（Consistent Self-Attention）技術(shù)，能夠在無(wú)需訓(xùn)練的情況下生成主題一致的圖像，這些圖像可以用于講述故事或作為后續(xù)內(nèi)容生成的輸入。

StoryDiffusion 能夠保持角色的一致性，生成多圖漫畫和長(zhǎng)視頻，這對(duì)于需要連貫敘事的廣告、電影等領(lǐng)域尤為重要。

StoryDiffusion主要功能特征：

• 角色連貫性保持：StoryDiffusion能夠通過(guò)一致性自注意力機(jī)制生成主題一致的圖像和視頻，確保在多圖漫畫和長(zhǎng)視頻中角色風(fēng)格和服裝的一致性，從而實(shí)現(xiàn)連貫的故事敘述。

• 多場(chǎng)景應(yīng)用：該工具不僅適用于漫畫生成，還可以應(yīng)用于圖像轉(zhuǎn)視頻等多種場(chǎng)景。用戶可以通過(guò)提供一系列條件圖像，利用Image-to-Video模型生成視頻，這對(duì)于廣告、電影等領(lǐng)域提供了新的創(chuàng)意方式和制作手段。

• 教育材料設(shè)計(jì)：教育工作者可以使用StoryDiffusion來(lái)設(shè)計(jì)教育視頻或互動(dòng)故事，這些內(nèi)容有助于提高學(xué)習(xí)者的參與度和興趣。

• 長(zhǎng)范圍圖像生成功能：特別適合制作連貫的廣告故事，增強(qiáng)品牌形象。這種功能使得StoryDiffusion在廣告和品牌推廣方面具有顯著優(yōu)勢(shì)。

• 即插即用無(wú)需訓(xùn)練：研究團(tuán)隊(duì)將一致性自注意力插入到現(xiàn)有圖像生成模型的U-Net架構(gòu)中，并重用原有的自注意力權(quán)重，以保持無(wú)需訓(xùn)練和即插即用的特性。

• 高效能與穩(wěn)健性：StoryDiffusion在保持角色特性的同時(shí)，還能夠很好地符合提示描述，顯示出其穩(wěn)健性。這表明該方法在定量指標(biāo)上取得了最佳性能。

StoryDiffusion通過(guò)一致性自注意力機(jī)制，不僅能夠生成連貫的圖像和視頻，還能應(yīng)用于多種實(shí)際場(chǎng)景，如教育、廣告和娛樂等，同時(shí)具備高效能和穩(wěn)健性。

GitHub 項(xiàng)目：相關(guān)項(xiàng)目已經(jīng)在 GitHub 上獲得了 1k 的 Star 量，GitHub 地址為：https://github.com/HVision-NKU/StoryDiffusion。

論文和演示：有關(guān) StoryDiffusion 的更多技術(shù)細(xì)節(jié)和實(shí)驗(yàn)結(jié)果可以在論文《StoryDiffusion: Consistent Self-Attention for long-range image and video generation》中找到，論文地址為：https://arxiv.org/pdf/2405.01434v1