MoshiVis是什么？

MoshiVis 是一個(gè)在Moshi基礎(chǔ)上開發(fā)的一款視覺語音模型，并保持了Moshi的低延遲和自然對(duì)話能力，能夠以自然對(duì)話風(fēng)格討論圖像內(nèi)容。支持多輪對(duì)話，可以描述圖片的文字內(nèi)容并回答有關(guān)于圖片的問題。

它通過交叉注意力機(jī)制將視覺信息融入語音流，同時(shí)保持低延遲和低內(nèi)存占用。MoshiVis 提供了多種后端支持（如 PyTorch、Rust、MLX），并發(fā)布了預(yù)訓(xùn)練模型和合成視覺對(duì)話數(shù)據(jù)集，適用于實(shí)時(shí)語音交互場(chǎng)景。

MoshiVis核心功能

• 視覺與語音結(jié)合：MoshiVis 在 Moshi 的基礎(chǔ)上增加了視覺理解能力，能夠?qū)D像信息融入語音對(duì)話中。通過擴(kuò)展核心 Transformer 架構(gòu)，引入交叉注意力機(jī)制，將視覺信息注入語音流中。

• 低延遲與低內(nèi)存占用：為了保持低延遲并減少內(nèi)存使用，MoshiVis 的交叉注意力投影權(quán)重在各層之間共享，并通過門控機(jī)制調(diào)節(jié)視覺輸入流。

• 自然對(duì)話風(fēng)格：模型在融入視覺能力的同時(shí)，保留了 Moshi 原有的自然對(duì)話風(fēng)格。

MoshiVis技術(shù)架構(gòu)

• 基礎(chǔ)模型：基于 Moshi，一個(gè) 7B 參數(shù)的語音-文本基礎(chǔ)模型。

• 視覺編碼器：使用 PaliGemma2 家族的預(yù)訓(xùn)練凍結(jié) 400M 視覺編碼器。

• 適配器參數(shù)：在 Moshi 基礎(chǔ)上增加了約 206M 的適配器參數(shù)，用于視覺信息的處理。

• 交叉注意力機(jī)制：通過交叉注意力模塊將視覺信息注入語音流，同時(shí)通過門控機(jī)制調(diào)節(jié)視覺輸入的影響。

MoshiVis模型發(fā)布

• 模型變體：發(fā)布了基于 Moshika（女聲）的 MoshiVis 模型，包含完整的模型權(quán)重，包括語音編解碼器、文本分詞器、圖像編碼器和基礎(chǔ) Moshi 模型。

• 后端支持：提供了三種后端支持，包括 PyTorch、Rust 和 MLX，支持不同的量化格式（如 BF16、Q8_0 等）。

• 許可證：模型權(quán)重（不包括視覺編碼器）在 CC-BY 4.0 許可下發(fā)布，視覺編碼器在 Gemma 許可下發(fā)布。

MoshiVis使用方式

• WebUI 前端：提供了 WebUI 前端，支持回聲消除，提升模型表現(xiàn)。用戶可以通過預(yù)構(gòu)建的靜態(tài)版本或自行編譯源代碼來使用。

• 后端運(yùn)行：

• PyTorch：需要約 24GB GPU 內(nèi)存，不支持量化。

• Rust：支持 GPU 加速，需要 Rust 工具鏈和 CUDA（或 macOS 上的 Metal）。

• MLX：支持 bfloat16 和量化（q4、q8）格式。

• 運(yùn)行命令：提供了詳細(xì)的運(yùn)行命令，用戶可以根據(jù)需要選擇不同的后端和量化格式。

相關(guān)鏈接：

GitHub項(xiàng)目：https://github.com/kyutai-labs/moshivis

HuggingFace模型：https://huggingface.co/collections/kyutai/moshivis-v01-67cef4acae6a5d75d6d6c883

演示：https://vis.moshi.chat/

論文：https://arxiv.org/abs/2503.15633