提交您的產(chǎn)品 
Ai應(yīng)用
Ai資訊
AI生圖
AI生視頻
開源AI應(yīng)用平臺(tái)Aero-1-Audio：LMMs-Lab開發(fā)的一款緊湊型音頻模型
Aero-1-Audio是什么？
Aero-1-Audio是由LMMs-Lab開發(fā)的一款緊湊型音頻模型，基于Qwen-2.5-1.5B語言模型構(gòu)建，擁有 24.2 億參數(shù)，采用MIT許可協(xié)議。它能高效處理多種音頻任務(wù)，適合在資源受限情況下部署高質(zhì)量音頻處理功能的場景，比如手機(jī)語音助手、會(huì)議記錄和轉(zhuǎn)寫系統(tǒng)、或者課堂實(shí)時(shí)語音轉(zhuǎn)寫等等。
Aero-1-Audio模型特點(diǎn)
高效性能：Aero-1-Audio 基于 Qwen-2.5-1.5B 構(gòu)建，不過雖然參數(shù)規(guī)模較小，但是在多個(gè)音頻基準(zhǔn)測(cè)試中都很出色，甚至超越了許多更大規(guī)模的ai模型，比如 Whisper、Qwen-2-Audio 和 ElevenLabs/Scribe。
訓(xùn)練效率高：Aero-1-Audio模型僅用 16 個(gè) H100 GPU 在一天內(nèi)完成訓(xùn)練，使用了約 50 億個(gè) tokens（相當(dāng)于 5 萬小時(shí)音頻）的高質(zhì)量過濾數(shù)據(jù)。
長音頻處理能力強(qiáng)：Aero-1-Audio 能夠不需要分割就可以處理長達(dá) 15 分鐘的連續(xù)音頻輸入，這在當(dāng)前的音頻模型中比較少見。
性能評(píng)估
語音識(shí)別任務(wù)：在 AMI、LibriSpeech 和 SPGISpeech 等數(shù)據(jù)集上，Aero-1-Audio 的詞錯(cuò)誤率（WER）最低。在長語音 ASR 測(cè)試中，它的性能下降幅度最小。
音頻理解任務(wù)：在音頻分析與理解、語音指令跟隨和音頻場景理解等多個(gè)維度上，Aero-1-Audio 表現(xiàn)都比較出色，優(yōu)于或媲美其他大型模型。
技術(shù)優(yōu)勢(shì)
動(dòng)態(tài)批大小：Aero-1-Audio 使用基于 token 長度的動(dòng)態(tài)批處理策略，提高了計(jì)算資源利用率。
序列打包：通過序列打包技術(shù)結(jié)合 Liger 內(nèi)核融合，平均模型 FLOP 利用率（MFU）從 0.03 提升至 0.34，訓(xùn)練效率得到提高。
Aero-1-Audio應(yīng)用場景
Aero-1-Audio 只要應(yīng)用在教育、醫(yī)療、娛樂等領(lǐng)域，比如自動(dòng)生成講座筆記、輔助醫(yī)生記錄病歷、實(shí)時(shí)生成視頻字幕等。
Aero-1-Audio使用方法
安裝依賴：需安裝特定版本的 transformers 庫，命令為python3 -m pip install transformers@git+https://github.com/huggingface/transformers@v4.51.3-Qwen2.5-Omni-preview。
簡單演示：通過導(dǎo)入相關(guān)庫和函數(shù)，加載音頻，使用AutoProcessor和AutoModelForCausalLM類，構(gòu)建輸入并生成輸出，實(shí)現(xiàn)音頻處理，如轉(zhuǎn)錄音頻。
批量推理：類似簡單演示，可處理多個(gè)音頻，需調(diào)整輸入數(shù)據(jù)格式和參數(shù)設(shè)置，如設(shè)置填充方向等。
常見問題
問：Aero-1-Audio 與其他大型音頻模型相比，優(yōu)勢(shì)體現(xiàn)在哪些方面？
答：Aero-1-Audio 參數(shù)使用更高效，訓(xùn)練數(shù)據(jù)量比 Qwen-Omni 和 Phi-4 等模型小超 100 倍，但性能仍具競爭力。它還能準(zhǔn)確處理長達(dá) 15 分鐘的連續(xù)音頻輸入，這在其他模型很少見的。
問：使用 Aero-1-Audio 模型進(jìn)行推理前，需要做哪些準(zhǔn)備工作？
答：需安裝特定版本的 transformers 庫，命令為python3 -m pip install transformers@git+https://github.com/huggingface/transformers@v4.51.3-Qwen2.5-Omni-preview。若想提升性能，可安裝flash-attn，命令為pip install --no-build-isolation flash-attn，不想使用flash attn時(shí)，也可選擇sdpa或eager。
問：Aero-1-Audio 的訓(xùn)練數(shù)據(jù)有什么特點(diǎn)？
答：訓(xùn)練數(shù)據(jù)來自 20 多個(gè)公開數(shù)據(jù)集，約 50 億個(gè)標(biāo)記，對(duì)應(yīng)約 5 萬小時(shí)音頻數(shù)據(jù)。相比其他模型，它的訓(xùn)練數(shù)據(jù)量小但樣本效率高，能讓模型在較小數(shù)據(jù)量下達(dá)到有競爭力的性能。
HuggingFace：https://huggingface.co/lmms-lab/Aero-1-Audio
