提交您的產(chǎn)品 
Ai應(yīng)用
Ai資訊
AI生圖
AI生視頻
開(kāi)源AI應(yīng)用平臺(tái)MusicInfuser：一個(gè)可以根據(jù)音樂(lè)和文本生成舞蹈視頻的模型
MusicInfuser 是什么？
MusicInfuser 是一個(gè)將文本到視頻擴(kuò)散模型與音樂(lè)對(duì)齊的項(xiàng)目，能夠根據(jù)音樂(lè)和文本生成舞蹈視頻。它通過(guò)引入音樂(lè)-視頻交叉注意力機(jī)制，使生成的視頻能夠與音樂(lè)節(jié)奏同步。
MusicInfuser 功能
音樂(lè)驅(qū)動(dòng)的舞蹈視頻生成：根據(jù)輸入的音樂(lè)和文本提示生成高質(zhì)量的舞蹈視頻。
靈活的文本提示：用戶(hù)可以通過(guò)文本提示指定舞蹈風(fēng)格、場(chǎng)景、舞者特征等。
支持長(zhǎng)序列生成：雖然模型最初是基于 73 幀序列訓(xùn)練的，但可以外推生成更長(zhǎng)的視頻序列。
隨機(jī)種子控制：通過(guò)設(shè)置隨機(jī)種子，用戶(hù)可以生成不同的舞蹈結(jié)果。
MusicInfuser 應(yīng)用
創(chuàng)意視頻制作：為視頻創(chuàng)作者提供音樂(lè)驅(qū)動(dòng)的舞蹈視頻生成工具，提升內(nèi)容創(chuàng)作效率。
娛樂(lè)與表演：用于生成個(gè)性化的舞蹈表演視頻，適用于虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)等場(chǎng)景。
教育與培訓(xùn)：幫助舞蹈學(xué)習(xí)者通過(guò)生成的視頻更好地理解舞蹈動(dòng)作與音樂(lè)節(jié)奏的配合。
MusicInfuser 使用方法
一、安裝
1. 克隆倉(cāng)庫(kù)：
git clone https://github.com/SusungHong/MusicInfuser cd MusicInfuser
2. 創(chuàng)建并激活 Conda 環(huán)境：
conda create -n musicinfuser python=3.10 conda activate musicinfuser
3. 安裝依賴(lài)：
pip install -r requirements.txt pip install -e ./mochi --no-build-isolation
4. 下載模型權(quán)重：
python ./music_infuser/download_weights.py weights/
二、推理（生成視頻）
運(yùn)行以下命令生成視頻：
python inference.py --input-file {MP3或MP4文件路徑} \
--prompt {文本提示} \
--num-frames {生成的幀數(shù)}input-file：輸入文件（MP3 或 MP4），從中提取音頻。
prompt：生成舞蹈的文本提示。提示越具體，生成結(jié)果通常越好，但過(guò)于具體可能會(huì)降低音頻的影響。默認(rèn)值為 "a professional female dancer dancing K-pop in an advanced dance setting in a studio with a white background, captured from a front view"。
num-frames：生成的幀數(shù)。默認(rèn)值為 145。
其他可選參數(shù)：
seed：隨機(jī)種子，用于控制生成結(jié)果的隨機(jī)性。默認(rèn)值為 None。
cfg-scale：文本提示的分類(lèi)器自由引導(dǎo)（CFG）比例。默認(rèn)值為 6.0。
三、訓(xùn)練
1. 數(shù)據(jù)預(yù)處理：
bash music_infuser/preprocess.bash -v {數(shù)據(jù)集路徑} -o {處理后的視頻輸出目錄} -w {預(yù)訓(xùn)練的 Mochi 模型路徑} --num_frames {幀數(shù)}2. 運(yùn)行訓(xùn)練：
bash music_infuser/run.bash -c music_infuser/configs/music_infuser.yaml -n 1
注意：當(dāng)前實(shí)現(xiàn)僅支持單 GPU 訓(xùn)練，訓(xùn)練 73 幀序列需要大約 80GB 的顯存。
相關(guān)鏈接
GitHub 項(xiàng)目頁(yè)面：https://github.com/SusungHong/MusicInfuser
論文：https://arxiv.org/abs/2503.14505
