提交您的產(chǎn)品 
Ai應用
Ai資訊
AI生圖
AI生視頻
開源AI應用平臺UNO：字節(jié)跳動開發(fā)的一個多主體條件圖像生成模型
UNO是什么？
UNO是由字節(jié)跳動研究團隊開發(fā)的多主體條件圖像生成模型，通過擴散變換器的上下文生成能力，生成高一致性的多主體配對數(shù)據(jù)。
UNO核心特點
多圖像條件生成：支持單主體和多主體驅動的圖像生成，能夠根據(jù)一張或多張參考圖像生成新的圖像。
漸進式跨模態(tài)對齊：通過逐步對齊不同模態(tài)（如文本和圖像）來提高生成一致性，分為兩個階段。第一階段使用單主體上下文生成數(shù)據(jù)來微調(diào)預訓練的文本到圖像模型，使其成為一個主體到圖像模型；第二階段繼續(xù)在生成的多主體數(shù)據(jù)對上進行訓練。
通用旋轉位置嵌入：支持多種分辨率和長寬比的圖像生成，能夠有效緩解在擴展視覺主體控制時出現(xiàn)的屬性混淆問題。
UNO關鍵機制：
漸進式跨模態(tài)對齊（Progressive Cross-Modal Alignment）：分為兩個階段。第一階段使用單主體上下文生成的數(shù)據(jù)微調(diào)預訓練的文本到圖像模型，使其成為一個主體到圖像模型；第二階段繼續(xù)在生成的多主體數(shù)據(jù)對上進行訓練。
通用旋轉位置嵌入（Universal Rotary Position Embedding，UnoPE）：能夠有效緩解在擴展視覺主體控制時出現(xiàn)的屬性混淆問題，支持多種分辨率和長寬比的圖像生成。
UNO工作原理
UNO利用擴散變換器的上下文生成能力，生成高一致性的多主體配對數(shù)據(jù)。它從一個文本到圖像模型迭代訓練而來，通過其獨特的漸進式跨模態(tài)對齊和通用旋轉位置嵌入等機制，實現(xiàn)了在單主體和多主體驅動生成中既能保持高一致性又能確?？煽匦?。
UNO應用場景
單主體生成：根據(jù)一張參考圖像生成圖像，例如可以根據(jù)一張時鐘的圖片生成一個時鐘在海灘上的圖像。
多主體生成：根據(jù)多張參考圖像生成圖像，比如將一個玩偶的圖片和水晶球的圖片作為參考，生成玩偶在水晶球中的圖像。
上下文生成：通過上下文提示生成高一致性的圖像，比如給出“一個帶有紅色太陽傘的海灘上的時鐘”這樣的提示，結合時鐘的參考圖像，生成符合描述的圖像。
UNO使用方法
環(huán)境配置：
創(chuàng)建虛擬環(huán)境并安裝依賴：
python -m venv uno_env source uno_env/bin/activate pip install -r requirements.txt
下載模型權重：自動下載（運行推理腳本時代碼自動下載），或手動使用huggingface-cli下載權重到指定目錄。
推理示例：運行以下命令生成圖像：
python inference.py --prompt "A clock on the beach is under a red sun umbrella" --image_paths "assets/clock.png" --width 704 --height 704
訓練：運行訓練腳本：
accelerate launch train.py
相關鏈接
項目主頁：https://bytedance.github.io/UNO
GitHub倉庫：https://github.com/bytedance/UNO
arXiv論文：https://arxiv.org/abs/2504.02160
演示：https://huggingface.co/spaces/bytedance-research/UNO-FLUX
