StreamSpeech，一個(gè)可以實(shí)現(xiàn)流媒體語音輸入的實(shí)時(shí)翻譯模型，用于離線和同步語音識(shí)別、語音翻譯和語音合成。它可以在實(shí)時(shí)通信中將語音即時(shí)翻譯成另一種語言，同時(shí)輸出對(duì)應(yīng)的目標(biāo)語音。

它不僅能將語音翻譯成另一種語言，還能將語音內(nèi)容實(shí)時(shí)轉(zhuǎn)錄為文本。用戶可以同時(shí)獲得語音和文本兩種形式的翻譯結(jié)果，而且翻譯過程是同步進(jìn)行的，無需等待整個(gè)語音輸入結(jié)束，從而實(shí)現(xiàn)低延遲的實(shí)時(shí)翻譯。

StreamSpeech還能在翻譯過程中展示實(shí)時(shí)的語音識(shí)別結(jié)果，幫助用戶即時(shí)了解翻譯進(jìn)度。

StreamSpeech還可以無縫集成到各種應(yīng)用和設(shè)備中，如翻譯耳機(jī)、會(huì)議系統(tǒng)、直播平臺(tái)等，為用戶提供便捷的翻譯服務(wù)。無論是在個(gè)人設(shè)備上使用，還是在大型會(huì)議系統(tǒng)中應(yīng)用，Simul-S2ST都能提供穩(wěn)定的性能。

StreamSpeech應(yīng)用場(chǎng)景：

• 國際會(huì)議中，使用StreamSpeech進(jìn)行同聲傳譯。

• 跨國公司使用StreamSpeech進(jìn)行遠(yuǎn)程會(huì)議，實(shí)現(xiàn)實(shí)時(shí)多語言溝通。

• 語言學(xué)習(xí)者使用StreamSpeech練習(xí)不同語言的聽力和口語。

StreamSpeech亮點(diǎn)：

• StreamSpeech 在離線和同步語音到語音翻譯方面均實(shí)現(xiàn)了 SOTA 性能。

• StreamSpeech 通過“一體化”無縫模型執(zhí)行流式 ASR、同步語音到文本翻譯和同步語音到語音翻譯。

• StreamSpeech可以在同聲翻譯過程中呈現(xiàn)中間結(jié)果（即ASR或翻譯結(jié)果），提供更全面的低延遲通信體驗(yàn)。

StreamSpeech非常適用于需要實(shí)時(shí)跨語言交流的專業(yè)人士。它通過減少翻譯延遲，使得不同語言背景的人們能夠無障礙地進(jìn)行實(shí)時(shí)對(duì)話。"

官網(wǎng)：https://ictnlp.github.io/StreamSpeech-site/

Github：https://github.com/ictnlp/StreamSpeech

論文：https://arxiv.org/abs/2406.03049