最近，TTS領(lǐng)域爆發(fā)了。就在chatTTS開源之后，Byte發(fā)布了seed-tts，效果很好。

Seed-TTS，是由字節(jié)跳動開發(fā)的高質(zhì)量文本到語音（TTS）模型，Seed-TTS模型能夠生成與人類語音幾乎沒有區(qū)別的語音。

作為語音生成的基礎(chǔ)模型，Seed-TTS 在語音上下文學(xué)習(xí)方面表現(xiàn)出色，在說話者相似度和自然度方面的表現(xiàn)在客觀和主觀評估方面都與真實(shí)人類語音相匹配。

Seed-TTS在無需訓(xùn)練的情況下，只需要簡短的語音片段即可克隆生成高度自然且富有表現(xiàn)力的語音，可以勝任讀小說、配音等任務(wù)。

Seed-TTS還提供了對各種語音屬性的高級控制能力，包括但不限于情感、語調(diào)、說話風(fēng)格等，還可以通過編輯文本來編輯生成的語音。

Seed-TTS可以修改音頻中的內(nèi)容，同時(shí)保持音色、音調(diào)和情感不變。

Seed-TTS能進(jìn)行語速調(diào)節(jié)，自由控制音頻速度。

Seed-TTS 對各種語音屬性（例如情感）提供卓越的可控性，并且能夠?yàn)橐巴庹f話者生成高度表現(xiàn)力和多樣化的語音。

此外，我們提出了一種用于語音分解的自蒸餾方法，以及一種強(qiáng)化學(xué)習(xí)方法來增強(qiáng)模型的魯棒性、說話人的相似性和可控性。我們還提出了 Seed-TTS 模型的非自回歸 (NAR) 變體，名為 Seed-TTS DiT ，它采用完全基于擴(kuò)散的架構(gòu)。與之前基于 NAR 的 TTS 系統(tǒng)不同，Seed-TTS DiT 不依賴于預(yù)先估計(jì)的音素持續(xù)時(shí)間，并通過端到端處理執(zhí)行語音生成。我們證明該變體在客觀和主觀評估中都達(dá)到了與基于語言模型的變體相當(dāng)?shù)男阅?，并展示了其在語音編輯中的有效性。

論文：https://arxiv.org/abs/2406.02430