Open-LLM-VTuber是什么？

Open-LLM-VTuber是一個開源的語音交互式 ai 虛擬形象，支持實時語音對話、視覺感知以及 Live2D 動畫形象，并且可以完全離線運行。它支持 Windows、macOS 和 Linux 系統(tǒng)，并提供了豐富的功能和高度的可定制性。

Open-LLM-VTuber功能亮點

跨平臺支持：支持 Windows、macOS 和 Linux 系統(tǒng)，適配英偉達(dá)和非英偉達(dá) GPU，支持 CPU 運行或云 API 調(diào)用。

離線模式：完全離線運行，使用本地模型，確保隱私安全。

實時語音對話：支持免提語音交互，用戶可以通過語音與虛擬主播進(jìn)行自然流暢的交流。

視覺感知：能夠捕捉用戶的面部表情變化以及環(huán)境中的光線、色彩等動態(tài)信息。虛擬主播會根據(jù)感知數(shù)據(jù)作出動態(tài)反應(yīng)，例如用戶微笑時，虛擬主播也會回以笑容。

Live2D 虛擬形象： 使用 Live2D 技術(shù)，虛擬主播的表情和動作極為逼真，從細(xì)微的眨眼、挑眉到肢體擺動都栩栩如生。

長期記憶：輕松回顧過往對話，內(nèi)置 Mem0、EVI 等多種記憶模塊，還能通過簡單接口快速接入自定義記憶系統(tǒng)。

高級交互功能：

• 支持視覺感知（攝像頭、屏幕錄制和截圖）。

• 語音打斷功能（無需耳機，AI 不會聽到自己的聲音）。

• 觸摸反饋和 Live2D 表情支持。

• 寵物模式（透明背景、全局置頂、鼠標(biāo)穿透）。

• AI 主動說話、內(nèi)心 OS 顯示和聊天記錄持久化。

廣泛的模型支持：

• 大語言模型（LLM）：支持 Ollama、OpenAI、Gemini、Claude 等。

• 語音識別（ASR）：支持 sherpa-onnx、FunASR、Whisper 等。

• 語音合成（TTS）：支持 MeloTTS、Coqui-TTS、Edge TTS 等。

高度可定制：

• 支持導(dǎo)入自定義 Live2D 模型、修改 Prompt 和音色克隆。

• 模塊化設(shè)計，通過簡單的配置文件修改來切換各種功能模塊。

• Agent自由實現(xiàn)：繼承并實現(xiàn) Agent 接口，接入任何架構(gòu)的 Agent，如 HumeAI EVI、OpenAI Her、Mem0 等。
  

Open-LLM-VTuber應(yīng)用場景

• 直播互動：可以通過自定義虛擬主播形象用于娛樂直播，吸引觀眾并提供互動體驗。

• 虛擬助手：作為個人虛擬助手，提供信息查詢、日程管理等功能。

• 聊天伴侶：用戶可以根據(jù)自己的需求打造專屬的虛擬伴侶，如虛擬女友、男友或?qū)櫸铩?/p>

• 創(chuàng)意內(nèi)容創(chuàng)作：用于制作個性化視頻、動畫等。

Open-LLM-VTuber使用方法

1. 本地部署：

1. 克隆項目代碼并安裝依賴。

2. 配置 conf.yaml 文件，選擇所需的 LLM、ASR 和 TTS 模型。

3. 使用命令行工具（如 uv）運行項目。

2. 更新與卸載：

• 使用 uv run update.py 進(jìn)行更新。

• 卸載時需清理項目文件夾及可能的緩存路徑。

3. 客戶端使用：

• 提供網(wǎng)頁版和桌面客戶端，支持窗口模式和桌寵模式。

• 支持多語言對話和 TTS 翻譯。

Open-LLM-VTuber實現(xiàn)技術(shù)

• 語音識別（ASR）：支持多種開源和商業(yè) ASR 引擎。

• 大語言模型（LLM）：支持多種主流 LLM，推理后端可靈活切換。

• 語音合成（TTS）：支持多種 TTS 技術(shù)，提供個性化語音合成。

• Live2D 集成：使用 Live2D SDK 實現(xiàn)虛擬形象的動態(tài)渲染。

• 模塊化設(shè)計：支持自定義模塊擴展，方便開發(fā)者集成新的功能。

項目官網(wǎng)：https://docs.llmvtuber.com/

GitHub倉庫地址：https://github.com/Open-LLM-VTuber/Open-LLM-VTuber