琴樂大模型是由騰訊琴實驗室和騰訊 ai Lab 聯(lián)合研發(fā)的 AI 音樂大模型，具備豐富的 AI 作曲和編曲能力。只需輸入中英文關(guān)鍵詞、描述性語句或音頻，琴樂大模型就可直接生成音樂。

琴樂大模型主要功能特點：

• 音樂生成：琴樂大模型能夠根據(jù)用戶提供的中英文關(guān)鍵詞、描述性語句或音頻輸入，智能生成音樂，實現(xiàn)音樂的自動創(chuàng)作。

• 樂譜生成：除了生成音頻，琴樂大模型還能生成詳細的樂譜，包含旋律、和弦、伴奏和打擊樂等多個軌道，為用戶提供了豐富的音樂結(jié)構(gòu)。

• 自動編輯：模型支持對生成的樂譜進行一系列自動編輯操作，包括續(xù)寫樂譜、重新生成特定的音軌或小節(jié)、調(diào)整配器、修改樂器類型和節(jié)奏。

• 音頻文本對齊：通過對比學習技術(shù)，琴樂大模型構(gòu)建了一個共享特征空間，將音頻標簽或文本描述與音頻本身進行對齊，為生成模型提供條件控制信號，增強了音樂生成的相關(guān)性和準確性。

• 樂譜/音頻表征提?。耗Ｐ湍軌?qū)纷V或音頻轉(zhuǎn)換成一系列離散的特征（token）序列，這些序列為大語言模型的預(yù)測提供了基礎(chǔ)。

• 大語言模型預(yù)測：使用decoder-only結(jié)構(gòu)，琴樂大模型通過特征預(yù)測（next token prediction）訓練，預(yù)測出的序列可以轉(zhuǎn)換回樂譜或音頻，實現(xiàn)了從文本到音樂的轉(zhuǎn)換。

• 音頻恢復(fù)：通過流匹配和聲碼器技術(shù)，琴樂大模型能夠?qū)㈩A(yù)測出的音頻表征序列恢復(fù)成可聽音頻，增強了音頻的真實感和質(zhì)量。

• 音樂理論遵循：在生成音樂的過程中，琴樂大模型遵循音樂理論，確保旋律、和弦、節(jié)拍等元素符合音樂邏輯和人類審美。

琴樂大模型應(yīng)用領(lǐng)域

• 音樂創(chuàng)作：為專業(yè)音樂人提供高效的作曲和編曲工具，簡化創(chuàng)作過程中的繁瑣任務(wù)。
  

• 教育領(lǐng)域：幫助學生理解和學習音樂理論，通過自動生成的樂譜進行實踐練習。

• 娛樂產(chǎn)業(yè)：普通用戶也可以通過簡單操作體驗音樂創(chuàng)作的魅力，增加互動性和娛樂性。

騰訊音樂天琴實驗室面向QQ音樂、全民k歌、騰訊音樂人、酷我、酷狗等產(chǎn)品的多媒體與AI應(yīng)用型技術(shù)研究與落地。負責的明星項目包括QQ音樂上的聽歌識曲、哼唱識別、翻唱識別、歌詞時間戳、臻品音質(zhì)、DMEE、mv視頻剪輯、字幕識別、明星識別；全民K歌上的唱歌評分、智能修音、智能音效、歌聲合成；懶人暢聽上的AI朗讀、AI文稿；直播互動上的智能品鑒、高光識別、端云一體視頻質(zhì)量提升。同時還在探索元宇宙中的虛擬人技術(shù)，以虛擬形象、虛擬舞蹈、歌唱表情生成、音樂燈光秀等為核心的小天小琴兄妹虛擬人即將面世，敬請期待。

目前，琴樂大模型相關(guān)技術(shù)已經(jīng)上線騰訊音樂啟明星平臺，用戶可以免費注冊體驗。