LiveSketch是一款ai生成視頻工具，用戶通過(guò)文本提示將靜態(tài)素描轉(zhuǎn)化為動(dòng)畫，它提供了一種簡(jiǎn)單直觀的方法，使他們的素描變得生動(dòng)活潑。無(wú)論是用于講故事、插圖、網(wǎng)站設(shè)計(jì)還是演示文稿，LiveSketch都能賦予靜態(tài)素描圖生命，使其更加豐富有趣。

只需要簡(jiǎn)短的一句文本提示，LiveSketch就能讓寥寥幾筆涂鴉成真，輸出生動(dòng)活潑的的SVG動(dòng)畫片段，而且易于編輯和調(diào)整，可以通過(guò)文本控制動(dòng)畫的動(dòng)作和幅度。

草圖是人類用來(lái)直觀、最通用的工具之一，用于直觀地傳達(dá)他們的想法。動(dòng)畫草圖為思想的表達(dá)打開了另一個(gè)維度，并被設(shè)計(jì)師廣泛用于各種目的。 

草圖動(dòng)畫是一個(gè)費(fèi)力的過(guò)程，需要豐富的經(jīng)驗(yàn)和專業(yè)的設(shè)計(jì)技能。 在這項(xiàng)工作中，我們針對(duì)LiveSketch提出了一種方法，該方法只需提供指示所需運(yùn)動(dòng)的文本提示，即可自動(dòng)將運(yùn)動(dòng)添加到單主題草圖中（因此，“為它注入生命”）。 輸出是以矢量表示形式提供的簡(jiǎn)短動(dòng)畫，可以輕松編輯LiveSketch。 

我們的方法不需要大量的訓(xùn)練，而是利用大型預(yù)訓(xùn)練文本到視頻擴(kuò)散模型的運(yùn)動(dòng)先驗(yàn)，使用分?jǐn)?shù)蒸餾損失來(lái)指導(dǎo)筆畫的位置。 為了促進(jìn)自然和流暢的運(yùn)動(dòng)，并更好地保留草圖的外觀，我們通過(guò)兩個(gè)組件對(duì)學(xué)習(xí)到的運(yùn)動(dòng)進(jìn)行建模。第一個(gè)控制小的局部變形，第二個(gè)控制全局仿射變換。

 令人驚訝的是，我們發(fā)現(xiàn)，即使是難以自行生成草圖視頻的模型，LiveSketch仍然可以作為動(dòng)畫抽象表示的有用骨干。

LiveSketch有很大局限性。首先，目前來(lái)說(shuō)，它只能通過(guò)簡(jiǎn)單地修改描述運(yùn)動(dòng)的提示，對(duì)生成結(jié)果進(jìn)行一定程度的控制。這些修改和控制僅限于模型可以創(chuàng)建的小動(dòng)作，且文本提示需要與初始草圖的語(yǔ)義一致，當(dāng)主體包含多個(gè)對(duì)象時(shí)，則無(wú)法進(jìn)行區(qū)分了。

未來(lái)，LiveSketch這類技術(shù)或許還能在藝術(shù)創(chuàng)作、兒童教育等領(lǐng)域大放異彩，大大降低藝術(shù)創(chuàng)造的門檻，提升教育的趣味性和互動(dòng)性。