Voicebox，Meta ai開發(fā)的一種先進(jìn)的生成式AI語音模型，可以執(zhí)行語音生成任務(wù)，例如編輯、采樣和風(fēng)格化，但它并沒有經(jīng)過專門訓(xùn)練來通過上下文學(xué)習(xí)來完成這些任務(wù)。

Voicebox可以生成高質(zhì)量的音頻剪輯并編輯預(yù)先錄制的音頻（例如消除汽車?yán)然蚬贩吐暎?，同時(shí)保留音頻的內(nèi)容和風(fēng)格。該模型也是多語言的，可以產(chǎn)生六種語言的語音。

Voicebox功能特征：

Voicebox 的多功能性可實(shí)現(xiàn)多種任務(wù)，包括：

• 上下文文本到語音合成：使用短至兩秒的音頻樣本，Voicebox 可以匹配音頻風(fēng)格并將其用于文本到語音生成。

• 語音編輯和降噪：Voicebox 可以重新創(chuàng)建被噪音打斷的語音部分或替換說錯(cuò)的單詞，而無需重新錄制整個(gè)語音。例如，您可以識(shí)別被狗吠打斷的語音片段，將其裁剪，然后指示 Voicebox 重新生成該片段 - 就像用于音頻編輯的橡皮擦一樣。

• 跨語言風(fēng)格遷移：當(dāng)給定某人的語音樣本和一段英語、法語、德語、西班牙語、波蘭語或葡萄牙語文本時(shí)，Voicebox 可以讀出任何這些語言的文本，即使樣本語音并且文本是不同語言的。這項(xiàng)功能將來可以用來幫助人們以自然、真實(shí)的方式進(jìn)行交流，即使他們說的語言不同。

• 多樣化的語音采樣：從多樣化的數(shù)據(jù)中學(xué)習(xí)后，Voicebox 可以生成更能代表人們?cè)诂F(xiàn)實(shí)世界中以及上述六種語言中交談方式的語音。

Voicebox優(yōu)點(diǎn)：

• 先進(jìn)的噪音消除和風(fēng)格轉(zhuǎn)換工具可提高音頻質(zhì)量和多功能性。

• 對(duì)50,000+小時(shí)語音數(shù)據(jù)的廣泛訓(xùn)練確保了聲音的高精度和自然聽起來。

• 使用六種不同語言的能力使其成為全球應(yīng)用和跨語言任務(wù)的理想選擇。

Voicebox缺點(diǎn)：

• 由于潛在的濫用而導(dǎo)致的可用性有限可能會(huì)限制合法用戶和開發(fā)人員的訪問。

未來，像 Voicebox 這樣的多用途生成人工智能模型可以為虛擬助手和虛擬宇宙中的非玩家角色提供自然的聲音。它們可以讓視障人士聽到人工智能用聲音朗讀朋友的書面信息，為創(chuàng)作者提供新工具來輕松創(chuàng)建和編輯視頻音軌等等。

Voicebox 是我們生成式人工智能研究向前邁出的重要一步，我們期待繼續(xù)在音頻領(lǐng)域進(jìn)行探索，并看看其他研究人員如何在我們的工作基礎(chǔ)上繼續(xù)發(fā)展。