Seed-Music是字節(jié)跳動開發(fā)的音樂生成模型。用戶可以通過輸入多模態(tài)數(shù)據(jù)（例如文本描述、音頻參考、樂譜、聲音提示等）來生成音樂，并且它提供方便的后期編輯功能，例如修改歌詞或旋律。

Seed-Music 將自回歸語言模型與擴(kuò)散模型相結(jié)合，以提供對生成音樂的精確控制，同時保持生成音樂的質(zhì)量。

Seed-Music還支持用戶上傳簡短的語音片段，系統(tǒng)會將其轉(zhuǎn)換為完整的歌曲。

此外，Seed-Music不僅支持聲樂、器樂生成，還支持歌聲合成、歌聲轉(zhuǎn)換、音樂編輯等功能，適合不同的用戶群體。

Seed-Music主要特點:

• 高品質(zhì)音樂生成

• 支持聲樂和器樂作品的生成。用戶可以通過文字、音頻等方式輸入，實現(xiàn)多元化的音樂創(chuàng)作。

• 受控音樂生成

• 提供細(xì)粒度的音樂控制，允許用戶根據(jù)歌詞、風(fēng)格描述、參考音頻、樂譜等生成符合自己需求的音樂。

• 多模態(tài)輸入：Seed-Music支持多種輸入方式，如歌詞、曲風(fēng)描述、參考音頻、樂譜、語音提示等，實現(xiàn)細(xì)粒度控制。

• 風(fēng)格控制：用戶可以通過文字或音頻引用指定音樂的風(fēng)格、節(jié)奏、旋律等，生成符合自己需求的作品。

聲音合成與轉(zhuǎn)換

• 歌聲合成：生成多種語言的自然且富有表現(xiàn)力的歌聲。

• 零采樣歌唱轉(zhuǎn)換：只需10秒的語音或歌唱錄音即可轉(zhuǎn)換成不同風(fēng)格的音樂。

• Lyrics2Song ：將輸入的歌詞轉(zhuǎn)換為帶伴奏的聲樂，支持短音樂和長音樂生成。

• 音頻提示和風(fēng)格轉(zhuǎn)移：支持音頻延續(xù)和風(fēng)格轉(zhuǎn)移，根據(jù)現(xiàn)有音頻生成類似風(fēng)格的新音樂。

• 器樂生成：生成高品質(zhì)的純器樂，適合無歌詞的場景。

音樂后期編輯

• 支持歌詞和旋律的修改，允許用戶直接在生成的音頻上進(jìn)行編輯和調(diào)整。

• 歌詞和旋律編輯：Seed-Music提供了交互工具，允許用戶直接在生成的音頻中編輯歌詞和旋律，方便后期調(diào)整。

• 音樂混音編曲：系統(tǒng)不僅可以生成完整的歌曲，還支持對生成的歌曲進(jìn)行修改，如調(diào)整樂器聲部、混音效果等。

多風(fēng)格、多語言支持

• Seed-Music可以生成涵蓋多種音樂風(fēng)格（如流行、古典、爵士、電子等）的作品，并支持多語言演唱生成，適合全球用戶。

• 實時生成和流媒體支持

• 支持實時音樂生成和流媒體輸出，提高用戶交互性和創(chuàng)作效率。

Seed-Music應(yīng)用：

• 歌詞生成歌曲：用戶可以輸入歌詞，Seed-Music 能夠自動生成完整的歌曲。這對于創(chuàng)作歌詞但缺乏作曲能力的用戶非常有幫助。

• 音樂編輯：Seed-Music 提供了高靈活度的音樂編輯功能。用戶可以通過領(lǐng)譜（lead sheet）來增減音軌或改變風(fēng)格，從而獲得不同版本的音樂作品。

• 跨語種聲樂轉(zhuǎn)換：該系統(tǒng)支持將中文人聲轉(zhuǎn)換為英文聲樂輸出，擴(kuò)大了創(chuàng)作的可能性和多樣性。

• 音頻片段生成完整歌曲：即使是短小的音頻片段，Seed-Music 也能將其擴(kuò)展為完整的歌曲，這對于需要快速生成音樂內(nèi)容的用戶非常實用。

• 多模態(tài)輸入生成音樂：支持通過文本描述、音頻參考、樂譜等多種方式輸入來生成音樂，滿足不同用戶的創(chuàng)作需求。

另外，Seed-Music還具備克隆人聲生成歌曲的功能，提供精細(xì)的音符級調(diào)整，適合多語言的音樂創(chuàng)作。

相關(guān)資訊：

字節(jié)跳動旗下有哪些產(chǎn)品