Muyan-TTS是什么？

Muyan-TTS 是一由北京沐言智語發(fā)布的開源、可訓(xùn)練的TTS模型，專為播客而設(shè)計(jì)，預(yù)算控制在 5 萬美元以內(nèi)。Muyan-TTS用超過 100,000 小時(shí)的播客音頻數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，支持零樣本 TTS 合成，能夠生成高質(zhì)量語音，還支持通過幾十分鐘的目標(biāo)語音進(jìn)行說話人自適應(yīng)調(diào)整。

Muyan-TTS模型特點(diǎn)

• 大規(guī)模預(yù)訓(xùn)練：Muyan-TTS 基于 Llama-3.2-3B 模型，使用超過 10 萬小時(shí)的播客音頻數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，能夠?qū)崿F(xiàn)零樣本文本到語音ai合成，生成高質(zhì)量的語音。

• 支持說話人適應(yīng)：通過幾十分鐘的目標(biāo)說話人語音數(shù)據(jù)，Muyan-TTS 可以進(jìn)一步適應(yīng)特定說話人的聲音特征，從而實(shí)現(xiàn)高度定制化的語音合成。

• 架構(gòu)設(shè)計(jì)：Muyan-TTS 采用 GPT-SoVITS 的兩階段結(jié)構(gòu)，語言模型部分以 Llama-3.2-3B 為 backbone 繼續(xù)預(yù)訓(xùn)練，解碼器部分使用 SoVITS 架構(gòu)，結(jié)合了 LLM 的語義建模能力和 VITS 模型的音素到音素（G2P）特性，有效減少了幻覺現(xiàn)象。

• 數(shù)據(jù)處理：構(gòu)建了包含超過 100,000 小時(shí)高質(zhì)量語音和對(duì)應(yīng)轉(zhuǎn)錄的并行語料庫(kù)，適用于播客等長(zhǎng)音頻場(chǎng)景的 TTS 訓(xùn)練。

開源與訓(xùn)練

• 開源信息：Muyan-TTS 完全開源，提供了完整的數(shù)據(jù)收集和處理流程、詳細(xì)的訓(xùn)練方法以及優(yōu)化的推理框架。其代碼和模型可在 GitHub 上找到。

• 訓(xùn)練成本：在訓(xùn)練成本方面，假設(shè) A10 和 A100 GPU 的租賃價(jià)格分別為每小時(shí) 0.5 美元和 1 美元，Muyan-TTS 的總訓(xùn)練成本約為 50,540 美元。

性能表現(xiàn)

• 零樣本合成：在 LibriSpeech 數(shù)據(jù)集上，Muyan-TTS 的零樣本合成性能表現(xiàn)出色，其詞錯(cuò)誤率僅次于 CosyVoice2，且平均意見得分高于 Spark-TTS 和 GPT-SoVITS v3。

• 監(jiān)督微調(diào)模型：經(jīng)過監(jiān)督微調(diào)的 Muyan-TTS-SFT 在語音質(zhì)量和說話人相似度上優(yōu)于基礎(chǔ)模型，但在 WER 上略有下降。

• 推理速度：Muyan-TTS 的推理速度在所有測(cè)試模型中最快，僅需 0.33 秒即可合成 1 秒的語音，適合實(shí)時(shí)語音生成場(chǎng)景。

Muyan-TTS應(yīng)用場(chǎng)景

Muyan-TTS 適用于多種音頻內(nèi)容形式，比如主持人旁白、訪談復(fù)刻、語音摘要等。兼顧合成質(zhì)量、個(gè)性化能力和運(yùn)行效率，適合播客等長(zhǎng)音頻場(chǎng)景。

限制

• 依賴于解碼器中的 G2P 模塊，需要完整的音素序列才能進(jìn)行合成，無法實(shí)現(xiàn)流式推理。

• 訓(xùn)練數(shù)據(jù)主要為英語，多語言語音合成能力有限。

• 由于訓(xùn)練語料中缺乏指令級(jí)標(biāo)注，Muyan-TTS 目前不支持指令跟隨 TTS 任務(wù)。

Muyan-TTS安裝與使用

安裝步驟

1. 克隆倉(cāng)庫(kù)并創(chuàng)建虛擬環(huán)境：

git clone https://github.com/MYZY-AI/Muyan-TTS.git
cd Muyan-TTS
conda create -n muyan-tts python=3.10 -y
conda activate muyan-tts
make build

2. 安裝 FFmpeg（Ubuntu 系統(tǒng)）：

sudo apt update
sudo apt install ffmpeg

3. 下載模型：

• Muyan-TTS 和 Muyan-TTS-SFT 模型可從 Hugging Face 或 ModelScope 下載。

• 還需要下載 chinese-hubert-base 的權(quán)重。

• 將所有下載的模型放在 pretrained_models 目錄下。

使用方法

運(yùn)行以下命令進(jìn)行語音合成：

python tts.py

核心推理代碼如下：

async def main(model_type, model_path):
tts = Inference(model_type, model_path, enable_vllm_acc=False)
wavs = await tts.generate(
ref_wav_path="assets/Claire.wav",
prompt_text="Although the campaign was not a complete success, it did provide Napoleon with valuable experience and prestige.",
text="Welcome to the captivating world of podcasts, let's embark on this exciting journey together."
)
output_path = "logs/tts.wav"
with open(output_path, "wb") as f:
f.write(next(wavs))  
print(f"Speech generated in {output_path}")

github倉(cāng)庫(kù)：https://github.com/MYZY-AI/Muyan-TTS