MagicEdit是字節(jié)發(fā)表的視頻剪輯方法，這是一個(gè)多模態(tài)框架，是一款主打多模態(tài)輸入生成的多模態(tài)框架，可以將文本、視頻和音頻等不同輸入方式轉(zhuǎn)化為動(dòng)作信號(hào)，從而生成和動(dòng)畫化一個(gè)虛擬人物。

具體來(lái)說(shuō)，MagicAvatar可以通過(guò)簡(jiǎn)單的文本提示來(lái)創(chuàng)建虛擬人物，也可以根據(jù)源視頻生成跟隨給定動(dòng)作的虛擬人物。此外，MagicAvatar還可以對(duì)特定主題的虛擬人物進(jìn)行動(dòng)畫化。它還將在未來(lái)推出根據(jù)音頻輸入創(chuàng)建虛擬人物的功能。

與直接生成視頻的方式不同，MagicAvatar明確地將視頻生成分為兩個(gè)階段：

（1）多模式信息到motion

（2）motion到video。

第一階段將多模式輸入轉(zhuǎn)換為motion信息（例如，人體姿勢(shì)、深度、密度），而第二階段生成由這些motion信號(hào)引導(dǎo)的video。

MagicAvatar通過(guò)簡(jiǎn)單地提供幾個(gè)目標(biāo)人物的圖像來(lái)生成視頻。我們通過(guò)各種應(yīng)用程序展示了MagicAvatar的靈活性，包括文本引導(dǎo)和視頻引導(dǎo)的化身生成，以及多模式化身動(dòng)畫。

MagicEdit還支持多種編輯應(yīng)用，包括視頻風(fēng)格化、局部編輯、視頻混合（Video-MagicMix等功能。視頻風(fēng)格化就是能夠?qū)⒃匆曨l轉(zhuǎn)換成具有特定風(fēng)格，創(chuàng)建具有不同主題和背景的新場(chǎng)景，比如現(xiàn)實(shí)、卡通等。

MagicEdit為用戶提供了一款出色的文生視頻編輯工具。用戶只需使用自然語(yǔ)言提示，就能輕松地改變視頻的風(fēng)格、場(chǎng)景，甚至替換視頻中的對(duì)象或添加元素，同時(shí)保持原視頻的動(dòng)作和外觀不變。此外，MagicEdit還提供了視頻混合功能，允許用戶創(chuàng)造出全新概念。

另外，MagicAvatar還支持用戶上傳目標(biāo)人物的圖片，來(lái)為特定人物生成動(dòng)畫，實(shí)現(xiàn)個(gè)性化需求。

字節(jié)跳動(dòng)的ai視頻項(xiàng)目：MagicAvatar和MagicEdit，展現(xiàn)了在多模態(tài)輸入和視頻編輯領(lǐng)域的驚人潛力。