Diffutoon 是一項突破性的卡通著色進步，植根于擴散模型，可將逼真的視頻無縫地轉變?yōu)閯勇曈X風格。該方法將卡通著色挑戰(zhàn)分解為四個可辨別的方面：風格化、一致性增強、結構指導和著色。其主要卡通著色管道由植根于動漫風格擴散原理的多模塊去噪模型推動，擁有令人印象深刻的渲染詳細、高分辨率和長時間視頻的能力。編輯分支的合并有助于根據(jù)提供的提示進行內(nèi)容操作。通過閃存注意力的戰(zhàn)略集成巧妙地緩解了 GPU 內(nèi)存限制，從而實現(xiàn)高達 1536 x 1536 的分辨率。

Diffutoon 能夠以動漫風格渲染出細致、高分辨率、以及延長時間的視頻。它還可以通過額外的分支編輯內(nèi)容。Diffutoon 的有效性通過數(shù)值指標和人類評估進行評估。值得注意的是，Diffutoon 在我們的實驗中超越了開源和閉源基線方法。

Diffutoon 的主要功能：

• 將真實感視頻轉換成各種動漫風格

• 根據(jù)用戶提示編輯視頻內(nèi)容，例如改變顏色或添加特效。
  

• 詳細保留了光照、頭發(fā)和姿勢等細節(jié)，同時保持了與動畫風格密切相關的視覺效果。

• 保持視頻內(nèi)容的一致性，避免閃爍和失真。

• 能夠生成高分辨率、長時間的視頻。

Diffutoon 的主要特點：

• 高分辨率輸出：Diffutoon 可以處理超高分辨率的視頻，使其適合專業(yè)級動畫和視頻項目。

• 一致性增強：它確?？鐜娘L格化一致，這對于保持動畫序列的視覺連貫性至關重要。

• 可編輯內(nèi)容：該方法允許根據(jù)提示進行內(nèi)容編輯，為創(chuàng)作過程提供靈活性。

• 結構指導和著色：Diffutoon 結合了結構指導和著色，以增強風格化輸出的視覺吸引力和準確性。

Diffutoon 應用：

• 動畫制作：Diffutoon 可用于動畫創(chuàng)作，將真人鏡頭或其他類型的視頻轉換為動畫風格的動畫。

• 視頻編輯：它能夠根據(jù)提示編輯視頻內(nèi)容，這使其成為希望將動漫美學融入其項目的視頻編輯者的強大工具。

• 創(chuàng)意項目：藝術家和創(chuàng)作者可以使用 Diffutoon 在其視頻內(nèi)容中嘗試不同的風格和效果。

論文：https://arxiv.org/pdf/2401.16224

Github：https://github.com/modelscope/DiffSynth-Studio

項目：https://ecnu-cilab.github.io/DiffutoonProjectPage/