提交您的產(chǎn)品 
Ai應(yīng)用
Ai資訊
AI生圖
AI生視頻
開源AI應(yīng)用平臺
ToonComposer
ToonComposer簡介
ToonComposer是騰訊推出的一款動畫生成工具，它能將動畫制作里“補幀”和“上色”這兩個步驟合并成“生成后原畫”階段，讓動畫制作流程變得更簡單。
ToonComposer功能特點
多方式輸入生成動畫：ToonComposer可以用文本、草圖或者圖片來生成動畫。比如輸入“貓咪穿著宇航服在月球上追蝴蝶”，就能生成包含多個分鏡的動畫腳本。
自動完善動畫細節(jié)：根據(jù)輸入的關(guān)鍵幀草圖和彩色參考幀，自動補全中間幀并上色，最終生成連貫的卡通視頻。
風(fēng)格轉(zhuǎn)換與自定義：內(nèi)置20多種常見卡通風(fēng)格模板，能一鍵切換，也支持自定義風(fēng)格。
動態(tài)編輯分鏡：通過拖拽分鏡卡片，可以調(diào)整順序、修改動作和鏡頭參數(shù)，實現(xiàn)直觀的編輯效果。
區(qū)域控制功能：可以指定空白區(qū)域，讓模型根據(jù)畫面其他部分生成合理內(nèi)容，減少手動繪制的工作量。
技術(shù)優(yōu)勢
稀疏草圖注入機制：借助位置編碼映射和位置感知殘差技術(shù)，把稀疏關(guān)鍵幀草圖精準融入模型，實現(xiàn)對時間的精確控制。
空間低秩適配器（SLRA）：調(diào)整模型的空間表現(xiàn)來適配卡通風(fēng)格，同時保留時間上的連貫性，讓生成的動作更自然。
區(qū)域控制能力：能指定空白區(qū)域，讓模型依據(jù)上下文生成合適內(nèi)容，減少人工繪制量。
ToonComposer使用方法
硬件與系統(tǒng)要求：需要配備NVIDIA GPU（顯存不低于16GB）、Python 3.10和PyTorch 2.6.0。
安裝步驟
git clone https://github.com/TencentARC/ToonComposer cd ToonComposer conda create -n tooncomposer python=3.10 -y conda activate tooncomposer pip install -r requirements.txt pip install flash-attn==2.8.0.post2 --no-build-isolation
啟動界面
運行命令：python app.py --device cuda:0 --resolution 480p ，然后在瀏覽器打開http://localhost:7860，就能看到Gradio界面。
界面操作
文本提示：輸入描述動畫內(nèi)容的文字，例如“A girl with long hair waves her hand.” 。
彩色參考幀：上傳一張尺寸為480×480或者608×608的彩色圖片，一般放在第0幀。
關(guān)鍵幀線稿：在時間軸上選好幀號，上傳對應(yīng)的線稿，最少需要1張。
區(qū)域蒙版（可選）：用黑色筆刷在線稿上涂黑，讓模型自動生成該區(qū)域的內(nèi)容。
高級設(shè)置：可以調(diào)整提示詞強度（CFG Scale）和線稿控制力（Position - aware Residual Scale）。
生成動畫：點擊“Generate”，等進度條走完，就能播放并下載生成的動畫。
優(yōu)勢與效果
減少手工勞動：明顯降低了動畫制作里補幀和上色環(huán)節(jié)的手工工作量。
高質(zhì)量生成：在多個測試中，ToonComposer在視覺質(zhì)量、運動一致性和制作效率方面都比現(xiàn)有方法表現(xiàn)更好。
靈活性高：支持在任意時間點插入多張關(guān)鍵幀線稿，能實現(xiàn)更精細的運動控制。
應(yīng)用場景
動畫制作
傳統(tǒng)卡通：快速生成中間幀和完成上色，減少手工勞動，提高制作效率。
在線與直播動畫：支持實時生成，適合在線卡通制作和直播動畫場景。
3D動畫：探索在3D動畫制作里的應(yīng)用可能性。
教育領(lǐng)域：可以制作生動的教育動畫，幫助學(xué)生更直觀地理解復(fù)雜概念。
營銷與廣告：能快速生成動畫創(chuàng)意雛形，用于廣告制作。
游戲開發(fā)：可輔助游戲開發(fā)，快速生成角色和場景動畫，用于原型設(shè)計。
Github：https://github.com/TencentARC/ToonComposer
