IndexTTS是B站基于XTTS和Tortoise開發(fā)的文本轉(zhuǎn)語音模型，具備工業(yè)級零樣本TTS能力。針對中文場景創(chuàng)新采用字符-拼音混合建模，可快速修正發(fā)音錯誤，結(jié)合Conformer條件編碼器與BigVGAN2解碼器，提升了訓(xùn)練穩(wěn)定性、音色還原度和輸出音質(zhì)。

核心功能：

?支持中英雙語

?中文拼音糾錯：輸入拼音調(diào)整多音字發(fā)音（如"長"可指定"zhǎng"或"cháng"）

?標(biāo)點(diǎn)停頓控制：通過標(biāo)點(diǎn)符號控制語音停頓節(jié)奏

?音質(zhì)增強(qiáng)：Conformer編碼器提取音色特征，BigVGAN2解碼器提升波形生成質(zhì)量

?情感分離控制：獨(dú)立調(diào)節(jié)情緒表達(dá)與說話人音色

?精準(zhǔn)時長控制：支持標(biāo)記數(shù)設(shè)定或自回歸生成兩種模式

技術(shù)亮點(diǎn)：

?中文混合建模：輸入層兼容純文本/拼音混合輸入，自動預(yù)測未標(biāo)注拼音，降低詞錯誤率

?Conformer編碼器：融合卷積與自注意力機(jī)制，強(qiáng)化音色韻律建模

?BigVGAN2解碼器：基于GAN架構(gòu)的波形生成器，兼顧計算效率與音質(zhì)表現(xiàn)

主要優(yōu)勢：

? 多音字精準(zhǔn)發(fā)音

? 自然停頓節(jié)奏

? 高保真音質(zhì)

? 快速語音克隆

? 中英雙語支持

典型應(yīng)用：

IndexTTS合成語音情緒自然飽滿，貼近真人， 廣泛適用于智能助手 | 有聲讀物 | 視頻配音 | 智能客服 | 教育工具等場景。

性能表現(xiàn)

?自然度和一致性：在自然度、內(nèi)容一致性和零樣本語音克隆上，IndexTTS 比 XTTS 等現(xiàn)有模型有明顯改進(jìn)。

?訓(xùn)練和推理效率：訓(xùn)練過程較簡單，推理速度更快，性能超過 Fish-Speech、CosyVoice2、FireRedTTS、F5-TTS 等主流開源 TTS 系統(tǒng)。

?代碼本利用率：對比矢量量化（VQ）和有限舒爾量化（FSQ），解決了代碼本塌陷問題，代碼本利用率接近 100%。

部署方式：

1. 克隆GitHub代碼庫

2. 安裝PyTorch等依賴

3. 準(zhǔn)備并預(yù)處理音頻數(shù)據(jù)

4. 訓(xùn)練或加載預(yù)訓(xùn)練模型

5. 調(diào)參生成音頻文件

項(xiàng)目地址：https://github.com/index-tts/index-tts