LivePortrait，利用AI技術(shù)將靜態(tài)照片轉(zhuǎn)換為視頻，展現(xiàn)逼真的面部表情和動(dòng)作。LivePortrait開源項(xiàng)目來自中國快手科技和復(fù)旦大學(xué)，使用經(jīng)過特殊訓(xùn)練的模型，可以將視頻或網(wǎng)絡(luò)攝像頭中的動(dòng)畫轉(zhuǎn)換為動(dòng)畫，并將動(dòng)作轉(zhuǎn)換為圖像或照片。

LivePortrait 利用基于隱式關(guān)鍵點(diǎn)的框架從單個(gè)源圖像創(chuàng)建逼真的視頻動(dòng)畫。這種方法平衡了計(jì)算效率和可控性，使其成為各種應(yīng)用的實(shí)用工具。

LivePortrait的Comfyui版本：https://github.com/shadowcz007/comfyui-liveportrait

LivePortrait功能征：

• 將靜態(tài)照片轉(zhuǎn)換為動(dòng)畫視頻；

• 生成逼真的面部表情和動(dòng)作；

• 支持不同風(fēng)格的動(dòng)畫生成；

• 允許用戶上傳視頻并同步面部動(dòng)作。

• 提供個(gè)性化視頻溝通工具，提升溝通效果；

LivePortrait 如何生成 AI 內(nèi)容

LivePortrait 的動(dòng)畫過程涉及兩個(gè)階段的訓(xùn)練流程：

第一階段：基礎(chǔ)模型訓(xùn)練

在第一階段，從頭開始訓(xùn)練基礎(chǔ)模型。此階段涉及優(yōu)化外觀提取器（F）、運(yùn)動(dòng)提取器(M)、變形模塊(W)和解碼器(G)。這些組件協(xié)同工作，分別從源圖像和駕駛視頻中提取和合成外觀和運(yùn)動(dòng)。

第二階段：拼接和重定向模塊培訓(xùn)

在第二階段，之前訓(xùn)練的組件被凍結(jié)，重點(diǎn)轉(zhuǎn)移到優(yōu)化拼接和重定向模塊。這些模塊通過對(duì)眼睛和嘴唇等特定面部特征提供更精細(xì)的控制來提高動(dòng)畫質(zhì)量，從而實(shí)現(xiàn)更詳細(xì)和更具表現(xiàn)力的動(dòng)畫。

LivePortrait 的主要特點(diǎn)

效率和速度：LivePortrait 實(shí)現(xiàn)了驚人的生成速度，在使用 PyTorch 的 RTX 4090 GPU 上達(dá)到每幀 12.8 毫秒。這種效率使其適合實(shí)時(shí)應(yīng)用。

高品質(zhì)動(dòng)畫：通過將訓(xùn)練數(shù)據(jù)擴(kuò)展至約6900萬個(gè)高質(zhì)量幀并采用混合圖像視頻訓(xùn)練策略，LivePortrait確保了卓越的動(dòng)畫質(zhì)量和泛化能力。

先進(jìn)的可控性：拼接和重定向模塊可以精確控制面部特征，從而實(shí)現(xiàn)詳細(xì)的動(dòng)畫。用戶可以控制眼睛和嘴唇運(yùn)動(dòng)的程度，增強(qiáng)生成視頻的真實(shí)感。

多功能性：LivePortrait支持寫實(shí)、油畫、雕塑、3D渲染等多種風(fēng)格。這種多功能性使其適用于從創(chuàng)意內(nèi)容到專業(yè)視頻制作的廣泛應(yīng)用。

LivePortrait應(yīng)用群體

內(nèi)容創(chuàng)作者和影響者：LivePortrait 使內(nèi)容創(chuàng)作者和影響者能夠從單個(gè)圖像生成高質(zhì)量的動(dòng)畫視頻，通過逼真的動(dòng)畫增強(qiáng)其內(nèi)容。

電影制片人和動(dòng)畫師：專業(yè)電影制作人和動(dòng)畫師可以使用 LivePortrait 高效創(chuàng)建逼真的角色動(dòng)畫，從而節(jié)省制作過程中的時(shí)間和資源。

營銷人員和廣告商：營銷人員和廣告商可以利用 LivePortrait 制作引人入勝的動(dòng)態(tài)視頻廣告，通過逼真的動(dòng)畫吸引觀眾的注意力。

教育工作者和電子學(xué)習(xí)開發(fā)人員：教育內(nèi)容可以通過動(dòng)畫肖像變得更具互動(dòng)性和吸引力，從而使學(xué)習(xí)材料對(duì)學(xué)生更具吸引力。

游戲開發(fā)商：游戲開發(fā)者可以使用 LivePortrait 創(chuàng)建逼真的角色動(dòng)畫，通過逼真的表情和動(dòng)作增強(qiáng)整體游戲體驗(yàn)。

LivePortrait的Comfyui版本：

Liveportrait comfyui：https://github.com/shadowcz007/comfyui-liveportrait