周四，Stability AI 宣布推出 Stable Diffusion 3，這是該公司圖像生成 ai 模型的最新和最強(qiáng)大的版本。該模型采用擴(kuò)散變換架構(gòu)，顯著提高了在多主題提示、圖像質(zhì)量和拼寫能力方面的性能。

 Stable Diffusion 3使用更新的“擴(kuò)散變壓器”，該技術(shù)于 2022 年首創(chuàng)，但在 2023 年進(jìn)行了修訂，現(xiàn)已實(shí)現(xiàn)可擴(kuò)展性。OpenAI 令人印象深刻的視頻生成器 Sora 顯然也遵循類似的原理（該論文的合著者 Will Peebles 繼續(xù)共同領(lǐng)導(dǎo) Sora 項(xiàng)目）。 Stable Diffusion 3 系列模型（采用稱為“提示”的文本描述并將其轉(zhuǎn)換為匹配圖像）的大小范圍從 8 億到 80 億個(gè)參數(shù)不等。尺寸范圍允許不同版本的模型在各種設(shè)備（從智能手機(jī)到服務(wù)器）上本地運(yùn)行。

Stable Diffusion 3的性能提升與改進(jìn)：

1、增強(qiáng)的多主題處理能力：新模型顯著提升了對包含多個(gè)主題或元素的提示的理解和處理能力。這使得用戶能夠在單一提示中描述更為復(fù)雜的場景，而模型則能夠基于這些描述更準(zhǔn)確地生成圖像。

2、圖像質(zhì)量提升：Stable Diffusion 3在生成圖像的質(zhì)量上實(shí)現(xiàn)了顯著提升，包括更精細(xì)的細(xì)節(jié)表現(xiàn)、更準(zhǔn)確的顏色匹配以及更自然的光影效果。這些進(jìn)步讓生成的圖像更逼真，更好地捕捉用戶的創(chuàng)意意圖。

3、改善的拼寫和文本處理：該版本在處理包含文本元素的圖像時(shí)（例如標(biāo)語、標(biāo)簽等），展現(xiàn)了更優(yōu)的拼寫和文本理解能力。這意味著模型能更準(zhǔn)確地識別和渲染提示中的文字，即便是在復(fù)雜的視覺背景下也能做到。

4、采用新型擴(kuò)散變換技術(shù)：Stable Diffusion 3引入了一種新型擴(kuò)散變換技術(shù)，類似于Sora，為模型賦予了更強(qiáng)大的圖像生成能力。Transformer是一種深度學(xué)習(xí)模型，專為逐步構(gòu)建圖像細(xì)節(jié)而設(shè)計(jì)，以產(chǎn)生高質(zhì)量的視覺內(nèi)容。

5、流匹配及其他技術(shù)改進(jìn)：模型整合了流匹配技術(shù)及其他技術(shù)改進(jìn)，以進(jìn)一步提高生成圖像的質(zhì)量和多樣性。流匹配技術(shù)幫助模型更好地理解和模擬圖像中的動態(tài)元素和結(jié)構(gòu)，讓生成的圖像在視覺上更加連貫和自然。

6、利用Transformer技術(shù)的進(jìn)步：Stable Diffusion 3充分利用了Transformer技術(shù)的最新進(jìn)展，不僅擴(kuò)展了模型的能力，還使其能夠處理多模態(tài)輸入。這意味著模型能夠處理更復(fù)雜和多樣化的數(shù)據(jù)類型，如結(jié)合文本和圖像的輸入，從而在理解和生成圖像內(nèi)容方面提供更多的靈活性和精確度。

盡管目前已經(jīng)提及了一些關(guān)鍵的技術(shù)創(chuàng)新，Stability AI計(jì)劃很快發(fā)布更多的技術(shù)細(xì)節(jié)。這些細(xì)節(jié)將為技術(shù)社區(qū)和感興趣的用戶提供對Stable Diffusion 3技術(shù)基礎(chǔ)和創(chuàng)新點(diǎn)的深入了解。

盡管Stable Diffusion 3尚未得到廣泛應(yīng)用，Stability卻表示，測試一旦結(jié)束，用戶便能免費(fèi)下載其權(quán)重，并在本地環(huán)境中運(yùn)行它。Stability在聲明中提到：“正如之前模型的預(yù)覽階段一樣，這一階段對于在正式發(fā)布前收集反饋、優(yōu)化性能和提升安全性極為重要。”

最近，Stability一直在探索多種圖像合成技術(shù)。除了SDXL和SDXL Turbo外，該公司上周還推出了Stable Cascade，這是一種通過三階段過程將文字生成圖像的合成技術(shù)。另外，Stability AI的另一款文生視頻和圖生視頻產(chǎn)品Stable Video，也在這次公測中推出，為用戶提供了更多選擇。