WhisperFusion 建立在開源工具 WhisperLive 和 WhisperSpeech 的功能之上。WhisperFusion可以讓你和ai聊天機(jī)器人進(jìn)行超低延遲對話，同時它還整合了Mistral模型，增強(qiáng)對轉(zhuǎn)錄文本上下文的理解。使得WhisperFusion能更好地理解人說的每句話背后的意思。

WhisperFusion 的主要功能：

1、實(shí)時語音轉(zhuǎn)文本：利用 OpenAI WhisperLive 進(jìn)行轉(zhuǎn)換將口語實(shí)時轉(zhuǎn)換為文本，方便進(jìn)行后續(xù)的處理和回應(yīng)。

2、整合大語言模型：通過加入 Mistral 這樣的大語言模型，WhisperFusion 能夠更好地理解轉(zhuǎn)換成文字的語音內(nèi)容，提高回應(yīng)的準(zhǔn)確性和相關(guān)性。

3、性能優(yōu)化：使用 TensorRT 技術(shù)對語言模型和 Whisper 進(jìn)行了優(yōu)化，確保了快速、高效的處理能力，特別是在實(shí)時語音轉(zhuǎn)文本的應(yīng)用中。

4、推理加速：利用 torch.compile 對 WhisperSpeech 進(jìn)行優(yōu)化，通過即時編譯（JIT）PyTorch 代碼，進(jìn)一步加快了處理速度，減少了延遲。

5、易于使用：提供預(yù)構(gòu)建的 Docker 容器，包含了所有必要的組件和模型，用戶可以很容易地開始使用 WhisperFusion，體驗(yàn)其功能。

了解WhisperLive和WhisperSpeech：

WhisperLive 是 OpenAI 的 Whisper 的一個實(shí)時轉(zhuǎn)錄應(yīng)用程序，它使用 OpenAI Whisper 模型將語音輸入轉(zhuǎn)換為文本輸出。它可用于轉(zhuǎn)錄來自麥克風(fēng)的實(shí)時音頻輸入和預(yù)先錄制的音頻文件。與依賴連續(xù)音頻流的傳統(tǒng)語音識別系統(tǒng)不同，我們使用語音活動檢測 （VAD） 來檢測語音的存在，并且僅在檢測到語音時才將音頻數(shù)據(jù)發(fā)送到 Whisper。這有助于減少發(fā)送到 Whisper 模型的數(shù)據(jù)量，并提高轉(zhuǎn)錄輸出的準(zhǔn)確性。查看我們的轉(zhuǎn)錄帖子和 WhisperLive 存儲庫了解更多詳情。

WhisperSpeech 是開源文本轉(zhuǎn)語音技術(shù)領(lǐng)域的重大進(jìn)步。該模型由 Collabora 開發(fā)，其重點(diǎn)是提供聽起來自然的語音以改善溝通。其目的是創(chuàng)建一個具有多語言功能的適應(yīng)性強(qiáng)且無縫集成的 TTS 模型。

WhisperFusion通過使用 WhisperLive 和 WhisperSpeech 的快速處理能力以及低延遲的通信實(shí)現(xiàn)，您可以實(shí)現(xiàn)實(shí)時、高效、智能的通信。這種適應(yīng)性可確保您的模式在業(yè)務(wù)擴(kuò)展時保持領(lǐng)先一步，同時滿足客戶的需求，這是提供一流服務(wù)的標(biāo)志。