單張肖像照片 + 語(yǔ)音音頻 = 實(shí)時(shí)生成的超現(xiàn)實(shí)說(shuō)話臉部視頻，具有精確的唇音同步、逼真的面部行為和自然的頭部運(yùn)動(dòng)。VASA-1是微軟亞洲研究院開(kāi)發(fā)的一種前沿人工智能技術(shù)，它能夠?qū)我混o態(tài)圖像和一段語(yǔ)音音頻轉(zhuǎn)換成逼真的對(duì)話面部動(dòng)畫。這項(xiàng)技術(shù)通過(guò)精確的音頻與唇部動(dòng)作同步以及捕捉大量面部細(xì)微表情和自然頭部動(dòng)作，實(shí)現(xiàn)了生成具有豐富表情和動(dòng)態(tài)面部表情的視頻。

VASA-1能夠?qū)螐堨o態(tài)圖片與音頻文件結(jié)合，生成具有動(dòng)態(tài)面部表情和頭部動(dòng)作的視頻，使圖片中的人物仿佛“活”了起來(lái)。此技術(shù)不僅可以使用ai生成的人像圖片，也可以使用真實(shí)的照片，例如美國(guó)總統(tǒng)的形象，使其動(dòng)起來(lái)并說(shuō)話。

VASA-1主要功能特征：

• 逼真的唇音同步：VASA-1能夠生成與輸入語(yǔ)音音頻精確同步的唇部動(dòng)作，提供高度逼真的說(shuō)話效果。

• 解耦能力：VASA-1具有獨(dú)立控制嘴唇運(yùn)動(dòng)、表情、眼睛注視方向等面部動(dòng)態(tài)特征的能力。

• 安全與監(jiān)控：VASA-1技術(shù)還可以應(yīng)用于安全與監(jiān)控領(lǐng)域。

• 面部潛在空間構(gòu)建：通過(guò)構(gòu)建一個(gè)面部潛在空間來(lái)生成動(dòng)態(tài)的面部表情和頭部動(dòng)作。

• 高圖像生成質(zhì)量和高效的運(yùn)行速度：VASA-1實(shí)現(xiàn)了逼真逼真的實(shí)時(shí)說(shuō)話人臉，具有高圖像生成質(zhì)量和高效的運(yùn)行速度。

• 3D技術(shù)輔助標(biāo)記人臉面部特征：微軟還利用3D技術(shù)輔助標(biāo)記人臉面部特征，并設(shè)計(jì)了額外的損失函數(shù)，這使得VASA-1不僅能夠生成高品質(zhì)的面部視頻，還能有效地捕捉和重現(xiàn)面部3D結(jié)構(gòu)。

VASA-1技術(shù)通過(guò)其先進(jìn)的深度學(xué)習(xí)架構(gòu)和多種尖端技術(shù)的應(yīng)用，實(shí)現(xiàn)了高度逼真的音頻驅(qū)動(dòng)的對(duì)話面部動(dòng)畫，包括但不限于唇音同步、豐富的面部表情、解耦能力、安全與監(jiān)控應(yīng)用、高圖像生成質(zhì)量和高效的運(yùn)行速度，以及有效的面部3D結(jié)構(gòu)捕捉和重現(xiàn)。

VASA-1是一個(gè)創(chuàng)新的AI工具，它通過(guò)結(jié)合靜態(tài)圖像或繪畫與音頻文件，最終生成逼真的視頻，這一過(guò)程幾乎沒(méi)有人工痕跡，使得生成的視頻看起來(lái)非常自然。盡管研究人員承認(rèn)，與所有其他模型一樣，VASA-1目前還無(wú)法妥善處理頭發(fā)等非剛性元素，但其整體效果要比其他同類模型更為優(yōu)秀。

VASA-1的強(qiáng)大能力也帶來(lái)了潛在的風(fēng)險(xiǎn)，尤其是它可能被濫用于創(chuàng)建深度偽造視頻，這些視頻可以逼真地模仿真實(shí)人物，讓人難以分辨真?zhèn)?。微軟亞洲研究院在發(fā)布VASA-1之前已經(jīng)采取了謹(jǐn)慎的態(tài)度，他們并未公開(kāi)任何在線演示、API、產(chǎn)品或相關(guān)實(shí)施細(xì)節(jié)，以確保技術(shù)不會(huì)被濫用，并且正在積極研究如何防止不良行為者利用VASA-1進(jìn)行不正當(dāng)活動(dòng)。