MagicColor是什么？

MagicColor 是由香港科技大學(xué)（廣州）提出的一款基于擴(kuò)散模型的多實(shí)例線稿上色框架。用戶僅需上傳一張黑白線稿和若干參考圖像，系統(tǒng)便能在數(shù)秒內(nèi)自動完成精準(zhǔn)且自然的色彩填充，同時保持多個實(shí)例之間的一致性。與傳統(tǒng)方法相比，MagicColor 實(shí)現(xiàn)了一步到位的上色，大大提升設(shè)計(jì)效率。

MagicColor 核心功能

• 一鍵式上色：用戶只需提供線稿圖像和參考圖像，系統(tǒng)自動完成上色。

• 多實(shí)例處理：能夠自動識別并區(qū)分線稿中的多個實(shí)例（如多個角色），并為每個實(shí)例分配合適的顏色。

• 高效生成：從上傳到生成結(jié)果僅需幾秒，適合快速創(chuàng)作場景。

MagicColor 技術(shù)原理

• 自訓(xùn)練策略：解決多實(shí)例訓(xùn)練數(shù)據(jù)不足的問題。

• 實(shí)例引導(dǎo)器：為每個實(shí)例提供顏色信息。

• 邊緣損失與細(xì)粒度顏色匹配：提高視覺質(zhì)量和顏色匹配的準(zhǔn)確性。

MagicColor 應(yīng)用場景

• 動漫制作：快速生成彩色角色圖，提升創(chuàng)作效率。

• 游戲角色設(shè)計(jì)：高效產(chǎn)出符合風(fēng)格的角色圖像。

• 廣告插圖：快速生成高質(zhì)量的插圖。

MagicColor 優(yōu)勢

• 細(xì)節(jié)處理：在保持圖像邊緣清晰度和避免顏色混淆方面表現(xiàn)優(yōu)異。

• 靈活性：支持多種風(fēng)格的參考圖像，如真人照片、動漫截圖等。

• 快速生成：從上傳到完成僅需幾秒，節(jié)省大量時間。

MagicColor安裝使用方法

一、環(huán)境搭建

1. 創(chuàng)建 Python 環(huán)境：

conda create -n MagicColor python=3.10
pip install -r requirements.txt

2. 克隆倉庫：

git clone https://github.com/YinHan-Zhang/MagicColor.git
cd MagicColor

二、數(shù)據(jù)準(zhǔn)備

準(zhǔn)備數(shù)據(jù)集，格式如下：

data/
├── dir_name
├── masks/
├── dir_name.jpg  # 線稿圖像
├── dir_name_1.jpg  # 參考圖像 1
├── ...

下載預(yù)訓(xùn)練權(quán)重（見 GitHub 說明）。

三、推理

運(yùn)行推理腳本：

cd scripts
bash multi_ref_infer.sh

四、訓(xùn)練

運(yùn)行訓(xùn)練腳本：

cd scripts
bash multi_ref_train.sh

五、交互界面

啟動 Gradio 應(yīng)用：

cd inference
python gradio_app.py

MagicColor可自動將黑白線稿轉(zhuǎn)化為色彩鮮艷的圖像，支持真人照片、動漫截圖等多種風(fēng)格參考圖像，支持PNG 和 JPG 格式，大大提升動漫設(shè)計(jì)、游戲角色創(chuàng)作效率。