Nexus-Gen是ModelScope 團(tuán)隊(duì)開源的圖像模型，其圖像理解、生成和編輯能力可與 GPT-4o 媲美。該模型融合了 MLLMs 的文本建模與擴(kuò)散模型的圖像渲染技術(shù)，并采用獨(dú)特的高維特征空間建模方式，有效解決了傳統(tǒng)自回歸模型在推理時(shí)易出現(xiàn)的誤差累積問題。通過分別訓(xùn)練自回歸和擴(kuò)散模型，Nexus-Gen 的圖像生成質(zhì)量得到明顯。此外，它還使用了開源社區(qū)提供的 25M 數(shù)據(jù)進(jìn)行訓(xùn)練，以推動(dòng) All-to-All 模型的發(fā)展。

Nexus-Gen功能特征

1. 圖像理解

• 精準(zhǔn)識(shí)別與分析：Nexus-Gen能夠準(zhǔn)確理解圖像中的各種元素，包括物體、場(chǎng)景、文字等。例如，在光學(xué)字符識(shí)別（OCR）任務(wù)中，它可以高精度地識(shí)別圖像中的文字內(nèi)容，并理解其語義。

• 多領(lǐng)域適應(yīng)性：該模型在多個(gè)領(lǐng)域表現(xiàn)出色，涵蓋通用視覺問答、語言理解、計(jì)數(shù)、代碼解析、數(shù)學(xué)和科學(xué)任務(wù)等。例如，在視覺問答任務(wù)中，它可以根據(jù)圖像內(nèi)容回答復(fù)雜的問題，如“圖中有哪些動(dòng)物，它們?cè)谧鍪裁?？?/p>

• 上下文理解：Nexus-Gen不僅關(guān)注圖像本身，還能結(jié)合文本描述理解圖像的上下文。例如，當(dāng)給出一張帶有說明文字的圖像時(shí)，它可以根據(jù)文本和圖像的結(jié)合來更準(zhǔn)確地解釋圖像內(nèi)容。

2. 圖像生成

• 高質(zhì)量圖像合成：Nexus-Gen可以生成高質(zhì)量的圖像，無論是簡(jiǎn)單的物體還是復(fù)雜的場(chǎng)景。例如，根據(jù)文本描述“一只在草地上奔跑的金色獵犬”，它可以生成一張清晰、逼真的圖像。

• 創(chuàng)意與細(xì)節(jié)：該模型能夠根據(jù)文本提示生成具有創(chuàng)意和細(xì)節(jié)的圖像。例如，描述“未來城市的夜景，霓虹燈閃爍，飛行汽車穿梭其中”，它可以生成具有未來感和科技感的圖像。

• 風(fēng)格化生成：Nexus-Gen支持多種風(fēng)格的圖像生成，包括寫實(shí)風(fēng)格、卡通風(fēng)格、油畫風(fēng)格等。用戶可以通過指定風(fēng)格來生成符合需求的圖像。

3. 圖像編輯

• 多樣化編輯操作：Nexus-Gen支持多種圖像編輯操作，包括對(duì)象修改、對(duì)象添加、對(duì)象移除、顏色更改和風(fēng)格轉(zhuǎn)換等。例如，用戶可以要求“將這張照片中的紅色花朵改為藍(lán)色”，或者“在圖片中添加一只蝴蝶”。

• 精準(zhǔn)控制：該模型能夠根據(jù)文本指令精準(zhǔn)地進(jìn)行編輯操作。例如，用戶可以要求“將圖片中的天空換成夕陽背景”，Nexus-Gen能夠準(zhǔn)確識(shí)別并替換背景。

• 多步驟編輯流程：Nexus-Gen可以處理復(fù)雜的多步驟編輯任務(wù)。例如，用戶可以要求“先將圖片中的舊車換成新車，然后將背景改為城市街道”，它能夠依次完成這些操作。

Nexus-Gen應(yīng)用場(chǎng)景

1. 內(nèi)容創(chuàng)作

• 創(chuàng)意設(shè)計(jì)：設(shè)計(jì)師可以利用Nexus-Gen快速生成創(chuàng)意圖像，作為設(shè)計(jì)的起點(diǎn)或靈感來源。例如，在設(shè)計(jì)廣告海報(bào)時(shí)，可以根據(jù)文案生成初步的視覺效果。

• 插畫與繪畫：藝術(shù)家可以使用該模型生成插畫或繪畫的草圖，然后在此基礎(chǔ)上進(jìn)行進(jìn)一步創(chuàng)作。例如，根據(jù)故事描述生成插畫草圖，節(jié)省創(chuàng)作時(shí)間。

2. 廣告與營銷

• 廣告素材生成：廣告公司可以利用Nexus-Gen快速生成廣告所需的圖像素材。例如，根據(jù)廣告文案生成產(chǎn)品展示圖、場(chǎng)景圖等。

• 個(gè)性化廣告：根據(jù)用戶的需求和偏好，生成個(gè)性化的廣告圖像。例如，根據(jù)用戶的興趣生成符合其喜好的產(chǎn)品推薦圖像。

3. 游戲開發(fā)

• 游戲場(chǎng)景與角色生成：游戲開發(fā)者可以利用Nexus-Gen生成游戲中的場(chǎng)景和角色。例如，根據(jù)游戲劇情描述生成游戲地圖或角色形象。

• 游戲素材庫擴(kuò)展：快速生成大量游戲素材，豐富游戲內(nèi)容。例如，生成不同風(fēng)格的建筑、道具等。

4. 教育與培訓(xùn)

• 教學(xué)輔助：教師可以利用Nexus-Gen生成教學(xué)所需的圖像，幫助學(xué)生更好地理解課程內(nèi)容。例如，在自然科學(xué)教學(xué)中生成動(dòng)植物的圖像。

• 虛擬實(shí)驗(yàn)室：生成虛擬實(shí)驗(yàn)場(chǎng)景和操作步驟的圖像，幫助學(xué)生進(jìn)行虛擬實(shí)驗(yàn)。例如，生成化學(xué)實(shí)驗(yàn)的圖像，展示實(shí)驗(yàn)過程。

5. 娛樂與社交

• 個(gè)性化頭像與圖片：用戶可以根據(jù)自己的喜好生成個(gè)性化的頭像或圖片，用于社交媒體。例如，生成帶有個(gè)人特色的卡通頭像。

• 創(chuàng)意照片編輯：在社交媒體上分享創(chuàng)意照片編輯作品。例如，將普通照片編輯成具有藝術(shù)風(fēng)格的圖像，增加趣味性。

安裝與使用

安裝步驟

• 安裝DiffSynth - Studio：從源碼克隆并安裝，命令為git clone https://github.com/modelscope/DiffSynth-Studio.git，進(jìn)入目錄后執(zhí)行pip install -e.。

• 安裝依賴：執(zhí)行pip install -r requirements.txt。

• 若要進(jìn)行微調(diào)，安裝ms - swift：pip install ms-swift -U。

• 準(zhǔn)備模型：運(yùn)行python download_models.py。

功能腳本使用

圖像理解：運(yùn)行python image_understanding.py。

圖像生成

• 使用詳細(xì)提示進(jìn)行圖像生成：運(yùn)行python image_generation.py。

• 使用Nexus - Gen進(jìn)行提示潤(rùn)色并生成圖像：運(yùn)行python image_generation_with_selfpolish.py。

圖像編輯：運(yùn)行python image_editing.py。

項(xiàng)目鏈接

論文：https://arxiv.org/pdf/2504.21356

github：https://github.com/modelscope/Nexus-Gen

modelscope：https://www.modelscope.cn/models/DiffSynth-Studio/Nexus-Gen

https://www.modelscope.cn/collections/ImagePulse----tulvmaidong-7c3b8283a43e40