OpenVoice，一種多功能的即時(shí)語(yǔ)音克隆方法，只需要參考說(shuō)話者的一小段音頻剪輯即可復(fù)制他們的聲音并生成多種語(yǔ)言的語(yǔ)音。OpenVoice 支持對(duì)語(yǔ)音風(fēng)格進(jìn)行精細(xì)控制，包括情感、口音、節(jié)奏、停頓和語(yǔ)調(diào)，以及復(fù)制參考揚(yáng)聲器的音調(diào)顏色。OpenVoice 還實(shí)現(xiàn)了零樣本跨語(yǔ)言語(yǔ)音克隆，適用于未包含在大規(guī)模說(shuō)話人訓(xùn)練集中的語(yǔ)言。OpenVoice 的計(jì)算效率也很高，其成本比性能較差的商用 API 低數(shù)十倍。

OpenVoice論文：https://arxiv.org/pdf/2312.01479.pdf

OpenVoice項(xiàng)目：https://github.com/myshell-ai/OpenVoice

OpenVoice特征：

準(zhǔn)確的色調(diào)顏色克隆。OpenVoice可以準(zhǔn)確克隆參考音色，生成多種語(yǔ)言和口音的語(yǔ)音。

靈活的語(yǔ)音風(fēng)格控制。OpenVoice 支持對(duì)語(yǔ)音風(fēng)格（如情感和口音）以及其他風(fēng)格參數(shù)（包括節(jié)奏、停頓和語(yǔ)調(diào)）進(jìn)行精細(xì)控制。

零樣本跨語(yǔ)言語(yǔ)音克隆。生成的語(yǔ)音的語(yǔ)言和參考語(yǔ)音的語(yǔ)言都不需要在大規(guī)模說(shuō)話人多語(yǔ)言訓(xùn)練數(shù)據(jù)集中呈現(xiàn)。

OpenVoice用法：

1.靈活的語(yǔ)音風(fēng)格控制。請(qǐng)參閱 demo_part1.ipynb，了解 OpenVoice 如何對(duì)克隆的語(yǔ)音實(shí)現(xiàn)靈活的樣式控制的示例用法。

2.跨語(yǔ)言語(yǔ)音克隆。請(qǐng)參閱 demo_part2.ipynb，了解 MSML 訓(xùn)練集中可見(jiàn)或未可見(jiàn)的語(yǔ)言示例。

3. 高級(jí)用法?；緭P(yáng)聲器型號(hào)可以替換為用戶喜歡的任何型號(hào)（任何語(yǔ)言和風(fēng)格）。請(qǐng)使用演示中演示的功能來(lái)提取新基座揚(yáng)聲器的音色嵌入。se_extractor.get_se

4. 生成自然語(yǔ)音的技巧。有許多單說(shuō)話人或多說(shuō)話人的 TTS 方法可以生成自然語(yǔ)音，并且很容易獲得。只需將基本揚(yáng)聲器型號(hào)替換為您喜歡的型號(hào)，您就可以將語(yǔ)音自然度提升到您想要的水平。

語(yǔ)言

我們只支持此版本模型重量的英文和中文。OpenVoice 可以適應(yīng)任何其他語(yǔ)言，只要提供基礎(chǔ)揚(yáng)聲器即可。

自 2023 年 5 月以來(lái)，OpenVoice 一直在為 myshell.ai 的即時(shí)語(yǔ)音克隆功能提供支持。截止到2023年11月，語(yǔ)音克隆模式已被全球用戶使用數(shù)千萬(wàn)次，見(jiàn)證了平臺(tái)用戶爆發(fā)式增長(zhǎng)。