CosyVoice是一款基于語音量化編碼的語音生成大模型，一個可以深度融合文本理解和語音生成的一項新型語音合成技術，它對語音進行離散化編碼，并依托大模型技術，實現(xiàn)自然流暢的語音生成體驗。與傳統(tǒng)語音生成技術相比，CosyVoice能夠精準解析并詮釋各類文本內(nèi)容，將其轉化為宛如真人般的自然語音。

你只需提供3~10s的原始音頻，CosyVoice即可生成模擬音色，甚至包括韻律、情感等細節(jié)，包括跨語種語音生成。

CosyVoice項目官網(wǎng)：https://www.modelscope.cn/studios/iic/CosyVoice-300M

CosyVoice源碼地址：https://github.com/FunAudioLLM/CosyVoice

CosyVoice API地址：https://help.aliyun.com/zh/model-studio/developer-reference/cosvoice-large-model-for-speech-synthesis/?spm=a2c4g.11186623.0.0.56f01751Ke29mh

CosyVoice功能特征：

• 高度擬人化：采用阿里通義語音實驗室自研的CosyVoice 生成式神經(jīng)網(wǎng)絡語音大模型算法，使生成的語音在語調(diào)、韻律、情感表達等方面達到超擬人程度。

• 多語言：CosyVoice支持中英日粵韓5種語言的生成，專注自然語音生成，支持多語言、音色和情感控制，效果顯著優(yōu)于傳統(tǒng)語音生成模型。

• 多樣化音色選擇：提供海量優(yōu)質的音庫資源，包括不同性別、年齡、方言以及各種特色聲音，滿足用戶在不同場景下的個性化需求。無論是新聞播報的莊重嚴肅，還是故事講述的情感豐富，都能輕松駕馭。

• 實時高效合成：系統(tǒng)具有出色的響應速度和流式語音合成處理能力，無論是長篇文檔還是短句指令，都能實現(xiàn)快速、準確的實時語音合成。

• 情感和韻律控制：CosyVoice支持富語言聲音事件以及多情感的高擬人語音生成，例如笑聲、語氣詞等，以及不同情感表現(xiàn)的高擬人語音生成。

• 聲音克隆：只需提供3~10s的原始音頻，CosyVoice即可克隆生成模擬音色，甚至包括韻律、情感等細節(jié)，包括跨語種語音生成。

CosyVoice應用：

CosyVoice適用于多種應用場景，如智能客服、有聲讀物、車載導航、教育輔導等。

智能設備/機器人播報的語音內(nèi)容，如智能客服機器人、智能音箱、數(shù)字人、語音助手等。

音視頻創(chuàng)作中需要將文字轉為語音播報的場景，如小說閱讀、新聞播報、影視解說、劇本配音等。

CosyVoice極大地拓寬了語音交互的可能性，提升用戶體驗的同時，也為企業(yè)智能化轉型提供了強大支持。

同最近大火的ChatTTS對比，可以發(fā)現(xiàn)CosyVoice的合成音頻在內(nèi)容一致性上更高，CosyVoice對生成語音的情感、韻律進行細粒度的控制，生音頻在情感表現(xiàn)力上得到明顯提升，并且沒有很少存在幻覺額外多字的現(xiàn)象。CosyVoice很好地建模了合成文本中的語義信息，在內(nèi)容一致性和說話人相似度上超越人類。