Hibiki是Kyutai Labs開發(fā)的支持法語和英語的高保真實時語音翻譯模型，可以保留原聲特點并進行實時翻譯，邊聽邊翻譯，像同聲傳譯一樣實時輸出，同時生成語音和文字翻譯。

Hibiki功能特征：

• 多流語言模型架構(gòu)：Hibiki采用了類似于Moshi的多流架構(gòu)，這使得它能夠同時處理源語言和目標(biāo)語言的語音，實現(xiàn)語音到語音（S2ST）和語音到文本（S2TT）的無縫轉(zhuǎn)換。

• 保留聲音特征：Hibiki模型的一大亮點是生成的語音聽起來比較自然流暢，接近人類的正常說話方式。

• 自動調(diào)整語速：Hibiki智能地根據(jù)源語言的語義內(nèi)容調(diào)整翻譯后的語音語速，確保翻譯的流暢性和準(zhǔn)確性。

• 實時翻譯：可以在短時間內(nèi)完成語音到語音或者語音到文字的翻譯轉(zhuǎn)換。比如在進行跨國旅行交流時，當(dāng)一方說完一句話，幾乎能立刻得到翻譯后的結(jié)果并播放出來，是不是很方便。

• 設(shè)備端運行的小模型：Hibiki-M是Hibiki的輕量化版本，擁有17億參數(shù)，能夠在移動設(shè)備如iPhone上實時運行，無需依賴云端處理，這展示了模型優(yōu)化和壓縮技術(shù)的先進性。

• 自適應(yīng)翻譯：Hibiki能夠較為精準(zhǔn)地識別不同口音的語音輸入。例如，無論是標(biāo)準(zhǔn)的英式英語、美式英語，還是帶有地方特色的印度英語等。

• 多語言支持：除了法語和英語，Hibiki的多流音頻-文本語言模型還可以擴展為其他語言的翻譯，增加其應(yīng)用的靈活性和適應(yīng)性。

Hibiki技術(shù)：

Hibiki是一種通過精確的同步算法，能迅速地將一種語言的語音翻譯成另一種語言的語音或文本的解碼模型。這一技術(shù)的核心在于它多流語言模型，能夠在語音識別和翻譯過程中，實時生成音頻和文本輸出。還有，Hibiki還支持聲音特征遷移，可以在翻譯過程中保留說話者的語調(diào)和情感，使翻譯的效果更自然和真實。

不過，由于需要進行語音數(shù)據(jù)的傳輸和云計算處理，它對網(wǎng)絡(luò)的要求較高。如果網(wǎng)絡(luò)信號不好，可能會出現(xiàn)識別錯誤或者翻譯延遲的現(xiàn)象。

Hibiki應(yīng)用場景:

• 商務(wù)會議：對于跨國商務(wù)人士，在會議或者商務(wù)宴請等場合，Hibiki可以幫助與會者進行即時翻譯，消除語言障礙。

• 在線教育：在教育平臺中，Hibiki能夠提供實時語音翻譯，幫助不同語言背景的學(xué)生進行更好的學(xué)習(xí)和交流。

• 旅游翻譯：在國外旅游時，方便游客與當(dāng)?shù)厝诉M行簡單的交流，如問路、點餐等。游客可以直接對著手機說出自己的需求，然后得到翻譯后的語音或文字回復(fù)。

• 醫(yī)患溝通：在醫(yī)院等場所，Hibiki可以輔助醫(yī)生與患者之間的溝通。

GitHub: https://github.com/kyutai-labs/hibiki

HuggingFace: https://huggingface.co/collections/kyutai/hibiki-fr-en-67a48835a3d50ee55d37c2b5

arXiv論文: https://arxiv.org/pdf/2502.03382