Linly-Dubbing是一款開(kāi)源的多語(yǔ)言ai配音和視頻翻譯工具。Linly-Dubbing可以自動(dòng)將視頻翻譯成其他語(yǔ)言并生成字幕、克隆視頻中說(shuō)話(huà)者的聲音并自動(dòng)配音、進(jìn)行口型同步。

Linly-Dubbing主要特征：

• 自動(dòng)下載視頻：支持從YouTube等網(wǎng)站下載視頻

• 多語(yǔ)言支持：支持中文和多種語(yǔ)言的配音和字幕翻譯。

• AI語(yǔ)音識(shí)別：準(zhǔn)確的語(yǔ)音識(shí)別、語(yǔ)音文本轉(zhuǎn)換和說(shuō)話(huà)人識(shí)別。

• LLM翻譯：結(jié)合領(lǐng)先的大型語(yǔ)言模型（如GPT），可以快速準(zhǔn)確地翻譯，保證翻譯的專(zhuān)業(yè)性和自然性。

• 語(yǔ)音克隆：通過(guò)語(yǔ)音克隆技術(shù)，生成與原視頻配音高度相似的聲音，保持情感和語(yǔ)氣的一致性。

• 口型同步：通過(guò)保持口型同步，配音可以與視頻畫(huà)面高度一致，提高視頻的真實(shí)性和互動(dòng)性。

• 靈活的上傳和翻譯：用戶(hù)可以上傳視頻并選擇翻譯語(yǔ)言和標(biāo)準(zhǔn)，以確保個(gè)性化和靈活性。

Linly-Dubbing技術(shù)細(xì)節(jié)

語(yǔ)音識(shí)別

WhisperX ：OpenAI Whisper語(yǔ)音識(shí)別系統(tǒng)的擴(kuò)展，可以將語(yǔ)音內(nèi)容轉(zhuǎn)錄為文本，與視頻幀精確對(duì)齊，生成帶時(shí)間戳的字幕文件，并支持多說(shuō)話(huà)人識(shí)別。

FunASR ：一款綜合語(yǔ)音識(shí)別工具包，提供語(yǔ)音識(shí)別、語(yǔ)音活動(dòng)檢測(cè)、標(biāo)點(diǎn)符號(hào)恢復(fù)等功能，特別針對(duì)中文語(yǔ)音進(jìn)行了優(yōu)化。

語(yǔ)音合成

集成了Edge TTS、XTTS、CosyVoice等多種先進(jìn)的語(yǔ)音合成工具。

Edge TTS ：微軟提供的高質(zhì)量文本到語(yǔ)音轉(zhuǎn)換服務(wù)，支持多種語(yǔ)言和語(yǔ)音風(fēng)格，生成自然流暢的語(yǔ)音輸出。

XTTS ：Coqui 提供的先進(jìn)的深度學(xué)習(xí)文本轉(zhuǎn)語(yǔ)音工具包，專(zhuān)注于語(yǔ)音克隆和多語(yǔ)言語(yǔ)音合成，可以通過(guò)短音頻片段實(shí)現(xiàn)語(yǔ)音克隆并生成逼真的語(yǔ)音輸出。

CosyVoice ：阿里巴巴同義實(shí)驗(yàn)室開(kāi)發(fā)的多語(yǔ)言語(yǔ)音理解與合成模型，支持多種語(yǔ)言的高質(zhì)量語(yǔ)音合成和跨語(yǔ)言語(yǔ)音克隆。

字幕翻譯

使用OpenAI API和Qwen模型進(jìn)行多語(yǔ)言字幕翻譯。

OpenAI API ：使用OpenAI的GPT-4和GPT-3.5-turbo進(jìn)行高質(zhì)量的字幕翻譯。這些模型以其自然語(yǔ)言理解和文本生成能力而聞名，適用于對(duì)話(huà)生成和文本分析。

Qwen ：開(kāi)源的本地化大規(guī)模語(yǔ)言模型，支持多語(yǔ)言翻譯，可以經(jīng)濟(jì)高效地處理多種語(yǔ)言的文本。

谷歌翻譯：集成谷歌翻譯作為翻譯功能的補(bǔ)充，提供廣泛的語(yǔ)言支持和良好的翻譯質(zhì)量。

聲音分離

使用 Demucs 和 UVR5 技術(shù)將人聲與伴奏分開(kāi)。

|Demucs ：Facebook 研究團(tuán)隊(duì)開(kāi)發(fā)的聲音分離模型，可以分離混合音頻中的不同聲源，包括樂(lè)器、人聲和背景聲音。廣泛應(yīng)用于音樂(lè)制作和影視后期制作。

UVR5（Ultimate Vocal Remover） ：一款高效的人聲伴奏分離工具，可以提取接近原始立體聲的伴奏，性能優(yōu)于其他類(lèi)似工具如RX9、RipX和SpectraLayers 9。

口型同步

借鑒Linly-Talker，我們專(zhuān)注于數(shù)字人唇同步技術(shù)，結(jié)合計(jì)算機(jī)視覺(jué)和語(yǔ)音識(shí)別技術(shù)，將虛擬角色的唇同步與配音精確匹配，達(dá)到高度自然的同步效果。該技術(shù)適用于動(dòng)畫(huà)人物、虛擬主播、教育視頻中的旁白等多種場(chǎng)景。

視頻處理

Linly-Dubbing提供添加字幕、插入背景音樂(lè)、調(diào)節(jié)音量和播放速度等功能，用戶(hù)可以自定義視頻內(nèi)容，使其更具吸引力和個(gè)性化。

yt-dlp 的集成： yt-dlp 是一個(gè)功能強(qiáng)大的開(kāi)源命令行工具，設(shè)計(jì)用于從 YouTube 和其他網(wǎng)站下載視頻和音頻。該工具具有廣泛的參數(shù)選項(xiàng)，允許用戶(hù)根據(jù)自己的需要微調(diào)下載行為。無(wú)論是選擇特定格式、分辨率，還是提取音頻，yt-dlp 都提供了靈活的解決方案。