Openai于2025年3月25日正式宣布在GPT-4o模型中集成圖像編輯和視覺生成功能，用戶可以通過對(duì)話式來生成圖像、修改現(xiàn)有視覺內(nèi)容，甚至設(shè)計(jì)復(fù)雜的材料，如圖表、菜單和地圖等。

功能特點(diǎn)：

• 實(shí)時(shí)迭代：用戶可以實(shí)時(shí)迭代圖像請(qǐng)求，例如要求生成“城市中的蝸牛”，然后通過改變背景或添加配飾來細(xì)化場(chǎng)景。

• 復(fù)雜指令處理：該系統(tǒng)能夠處理更復(fù)雜的圖像構(gòu)圖指令。

• 文本渲染改進(jìn)：GPT-4o在圖像中渲染清晰且結(jié)構(gòu)化的文本方面有了顯著提升，使其能夠更好地生成信息圖表、圖表、標(biāo)志等專業(yè)視覺內(nèi)容。

• “修復(fù)”功能：用戶可以對(duì)現(xiàn)有圖像進(jìn)行“修復(fù)”，編輯前景和背景元素，即使照片中有人物也適用。

性能與速度

雖然GPT-4o處理圖像請(qǐng)求的速度比其前身DALL·E 3慢，但生成的圖像更準(zhǔn)確、更詳細(xì)。圖像生成可能需要長(zhǎng)達(dá)一分鐘的時(shí)間。

數(shù)據(jù)訓(xùn)練

OpenAI表示，GPT-4o的圖像能力訓(xùn)練使用了“公開可用的數(shù)據(jù)”，以及來自合作伙伴（如Shutterstock）的專有內(nèi)容。

技術(shù)改進(jìn)

• 多模態(tài)生成：GPT-4o的圖像生成器與文本生成器集成在同一模型中，能夠更好地結(jié)合文本和圖像。

• 自回歸生成方式：與DALL-E 3等擴(kuò)散模型不同，GPT-4o采用自回歸方式，從左到右、從上到下逐步生成圖像，這可能是其文本渲染和對(duì)象綁定能力更強(qiáng)的原因。

這個(gè)功能更新現(xiàn)在對(duì)OpenAI每月200美元的Pro計(jì)劃訂閱用戶開放，然后擴(kuò)展到免費(fèi)和Plus層級(jí)用戶，還有就是通過OpenAI API的開發(fā)者。

詳細(xì)情況：https://openai.com/index/introducing-4o-image-generation/