圖像上色（Image Colorization）是一項經(jīng)典的計算機視覺任務(wù)，在許多現(xiàn)實世界的應(yīng)用中具有巨大的潛力，例如老照片修復(fù)、電影重制和藝術(shù)創(chuàng)作等。給定一個灰度圖像，圖像上色旨在恢復(fù)其缺失的兩個顏色通道，這個問題具有多模態(tài)不確定性，因為一個物體可能有多個似是而非的顏色。因此，圖像上色一直是一個具有挑戰(zhàn)性的問題。

隨著 DDColor 的推出，圖像著色領(lǐng)域見證了變革性的飛躍，這是一種使用雙解碼器的新方法。DDColor 是魔搭大模型最新的圖像上色算法，輸入一張黑白圖像，返回上色處理后的彩色圖像，并能夠?qū)崿F(xiàn)自然生動的上色效果。

DDColor 由阿里巴巴集團達(dá)摩院的 Xiaoyang Kang、Tao Yang、Wenqi Ouyang、Peiran 任、Lingzhi Li 和 Xuansong Xie 開發(fā)，在產(chǎn)生逼真的色彩方面脫穎而出，尤其是在具有多個對象和不同上下文的復(fù)雜場景中。

DDColor使用雙解碼器技術(shù)，能夠同時考慮色彩分布和像素級詳細(xì)信息，能實現(xiàn)高度真實的圖像上色效果。

DDColor 不僅能給歷史黑白照片上色，還能對動漫或游戲中的風(fēng)景進行真實風(fēng)格的上色。將動畫場景轉(zhuǎn)化為現(xiàn)實生活風(fēng)格。

DDColor使用了雙解碼器來處理圖片：

一個是恢復(fù)圖片的結(jié)構(gòu)，另一個是決定圖片每個部分的顏色。

這項技術(shù)的創(chuàng)新之處在于它不需要像以前的方法那樣依賴于人工設(shè)置的規(guī)則，而是能夠自己學(xué)習(xí)圖片的內(nèi)容并決定合適的顏色。

通過這種方式，DDColor可以更準(zhǔn)確地給復(fù)雜場景的圖片上色，減少顏色錯誤涂抹的問題，并且使得最終的圖片看起來色彩更豐富、更自然。

DDColor安裝：

步驟1：設(shè)置環(huán)境

首先設(shè)置 Python 環(huán)境。確保已安裝 PyTorch，因為 DDColor 的神經(jīng)網(wǎng)絡(luò)實現(xiàn)嚴(yán)重依賴此框架。

步驟2：數(shù)據(jù)準(zhǔn)備

準(zhǔn)備用于訓(xùn)練和測試的數(shù)據(jù)集。DDColor 適用于灰度和彩色圖像。對于訓(xùn)練，請使用包含各種圖像的數(shù)據(jù)集來捕獲不同的顏色空間和場景。

步驟3：模型架構(gòu)

定義 DDColor 的體系結(jié)構(gòu)，包括像素解碼器和顏色解碼器。確保您的模型架構(gòu)與數(shù)據(jù)集的復(fù)雜性保持一致。

如何使用DDColor？

在 ModelScope 框架上，提供輸入圖片，即可以通過簡單的 Pipeline 調(diào)用來使用圖像上色模型。

總之，DDColor 使用多尺度視覺特征來優(yōu)化可學(xué)習(xí)的顏色標(biāo)記（即顏色查詢），并在自動圖像著色方面實現(xiàn)最先進的性能。

論文 & 代碼

論文鏈接：https://arxiv.org/abs/2212.11613

ModelScope應(yīng)用：https://www.modelscope.cn/models/damo/cv_ddcolor_image-colorization/summary

開源代碼：https://github.com/piddnad/DDColor