MakeAnything 是新加坡國(guó)立大學(xué)開(kāi)發(fā)的一個(gè)基于擴(kuò)散變換器（Diffusion Transformers）的序列生成模型，可通過(guò)文本描述生成序列圖像，憑借強(qiáng)大的生成能力提供一致性多子圖拼圖。

MakeAnything 功能特性：

• 擴(kuò)散Transformer ：利用擴(kuò)散Transformer 的卓越性能，實(shí)現(xiàn)復(fù)雜圖像的生成。

• 文本到圖像：支持將文本描述轉(zhuǎn)變?yōu)槎喾N樣式的圖像，通過(guò)訓(xùn)練和提示詞增強(qiáng)生成效果。

• 子圖一致性：確保在圖像生成流程中生成的多子圖在視覺(jué)上具備一致性。

MakeAnything 技術(shù)特點(diǎn)：

該模型結(jié)合了不對(duì)稱(chēng)低秩適應(yīng)（LoRA）技術(shù)與ReCraft 模型，這使生成過(guò)程更為高效，還能將靜態(tài)圖像轉(zhuǎn)換為可解釋的創(chuàng)作流程，讓用戶(hù)清晰知曉每個(gè)步驟，從而解決在生成多步驟序列時(shí)保持邏輯連貫性和視覺(jué)一致性的問(wèn)題。

MakeAnything 使用步驟:

• 準(zhǔn)備訓(xùn)練數(shù)據(jù)：依據(jù)任務(wù)要求準(zhǔn)備文本與圖像數(shù)據(jù)集，通常需開(kāi)展數(shù)據(jù)清洗與格式整理工作。

• 模型訓(xùn)練：采用不對(duì)稱(chēng)LoRA 方法在 MakeAnything 數(shù)據(jù)集上展開(kāi)訓(xùn)練，調(diào)整模型以提升其生成能力。

• 生成內(nèi)容：完成訓(xùn)練后，用戶(hù)可以輸入文本提示，模型會(huì)據(jù)此生成相關(guān)的圖像和其他多模態(tài)內(nèi)容。

• 后處理：生成的內(nèi)容可在后處理階段進(jìn)行進(jìn)一步優(yōu)化，像是調(diào)整色彩或者增加細(xì)節(jié)，使其更契合用戶(hù)需求。

MakeAnything 應(yīng)用范圍：

• 雕刻設(shè)計(jì)：用于生成雕刻設(shè)計(jì)的草圖和3D模型。

• 繪畫(huà)創(chuàng)作：應(yīng)用于自動(dòng)化藝術(shù)繪畫(huà)，為創(chuàng)作者帶來(lái)新的靈感。

• 汽車(chē)變形：在汽車(chē)設(shè)計(jì)領(lǐng)域，實(shí)現(xiàn)不同視角和風(fēng)格的變形效果。

• 手工藝和DIY：用戶(hù)能夠生成涵蓋各種手工藝技術(shù)的分步驟指導(dǎo)，以開(kāi)展實(shí)際操作。

• 烹飪和食譜：可以生成詳細(xì)的烹飪步驟，幫助用戶(hù)學(xué)習(xí)制作復(fù)雜菜肴的過(guò)程。

Github：https://github.com/showlab/MakeAnything