Motionshop，ai角色動畫工具，通過先進(jìn)的視頻處理和3D渲染技術(shù)，Motionshop能夠自動檢測視頻中的人物，并替換成3D卡通角色模型，生成有趣的AI視頻。同時不改變視頻中的其他場景和人物，被替換的3D角色能完整復(fù)刻原視頻中人物的動作，動作保持一致。

Motionshop項目主頁：https://aigc3d.github.io/motionshop/

Motionshop的技術(shù)原理：

1、視頻處理和背景提?。?利用視頻處理技術(shù)，從原始視頻中分離出人物，留下無人的背景。這一步涉及復(fù)雜的圖像分析和處理，以確保背景的完整性和連貫性。

角色檢測： Motionshop使用基于變換器的框架緊密融合文本信息與現(xiàn)有封閉集檢測器，實(shí)現(xiàn)零樣本對象檢測。

分割與追蹤： 成功檢測目標(biāo)后，通過視頻對象分割追蹤方法跟蹤像素級目標(biāo)區(qū)域。

修補(bǔ)： 視頻中剩余的圖像區(qū)域通過視頻修補(bǔ)技術(shù)完成，包括遞歸流完成、圖像和特征域的雙域傳播等。

2、姿勢估計： 這一步驟使用姿勢估計技術(shù)來分析視頻中人物的動作。它涉及到對人體動作的捕捉和分析，使用CVFFS方法估計穩(wěn)定的人體姿勢，并采用SMPL人體模型表示3D人體。

3、3D卡通角色動畫生成： 根據(jù)估計出的姿勢和動作，生成相應(yīng)的3D動畫人物。這個過程需要確保3D模型的動作與原視頻中的人物動作相匹配。

4、光照估計： 為了讓3D模型更自然地融入原視頻背景，需要估計視頻中的光照條件，并對3D模型進(jìn)行相應(yīng)的光照處理。

5、高性能渲染： Motionshop使用如TIDE這樣的高性能光線追蹤渲染器對3D卡通角色模型進(jìn)行渲染，確保其具有高度的真實(shí)感和視覺效果。

6、視頻合成： 最后，Motionshop將渲染好的3D卡通角色合成回?zé)o人背景視頻中，生成最終的視頻成果。

Motionshop如何使用：

上傳一段視頻，AI自動識別視頻中的運(yùn)動主體人物，并一鍵替換成有趣的3D角色模型，生成與眾不同的AI視頻。

第一步：上傳一個包含人物的視頻（請保證人物完整，視頻時長不超過15秒）；

第二步：選擇視頻中要替換的人物（自動選擇）；

第三步：選擇要替換的虛擬角色模型并點(diǎn)擊生成，等待10分鐘即可生成結(jié)果。

Motionshop基本上可以平替Wonder Studio。Wonder Studio可以自動化將現(xiàn)實(shí)場景中的人物轉(zhuǎn)換替代成CG 角色，還可以進(jìn)行動畫、燈光和合成。