MILS（Meta Interpretive Learning System），Meta發(fā)布的無需訓(xùn)練就能讓LLM獲得多模態(tài)能力的開源ai模型，與傳統(tǒng)的訓(xùn)練方法不同，MILS旨在無需額外的特定任務(wù)訓(xùn)練就能賦予大型語言模型（LLMs）處理視覺和聽覺任務(wù)的能力，它能看懂圖片視頻、聽懂聲音，零樣本學(xué)習(xí)。

MILS結(jié)合了深度學(xué)習(xí)和解釋性學(xué)習(xí)的優(yōu)勢，能夠在多種任務(wù)中表現(xiàn)出色，尤其是在需要理解和推理的復(fù)雜場景中。

MILS主要有兩個模塊，一個生成器，負(fù)責(zé)生成候選方案； 一個評分器，用于評估生成器生成候選方案的質(zhì)量，通過迭代過程在無額外訓(xùn)練的情況下實現(xiàn)多模態(tài)任務(wù)的解決。

MILS的特點(diǎn)包括支持多種語言和多模態(tài)輸入，能夠處理文本、圖像和音頻數(shù)據(jù)，MILS可用于多種多模態(tài)任務(wù)，像圖像/視頻/音頻描述、圖像生成增強(qiáng)、風(fēng)格遷移等。

MILS關(guān)鍵特點(diǎn)與工作原理

• 零樣本生成：MILS的核心在于其零樣本學(xué)習(xí)能力，意味著模型能夠在沒有直接針對特定模態(tài)任務(wù)進(jìn)行訓(xùn)練的情況下，解決多模態(tài)問題。它通過迭代反饋機(jī)制，逐步改進(jìn)生成的輸出，從而達(dá)到高質(zhì)量的多模態(tài)描述或生成。

• 迭代反饋循環(huán)：在生成過程中，MILS首先讓語言模型基于文本提示生成一個初步的多模態(tài)輸出（如圖像描述）。然后，這個輸出被用作輸入，模型再次嘗試生成或優(yōu)化，通過不斷的自我反饋和修正，最終達(dá)到滿意的解決方案。

• 利用預(yù)訓(xùn)練模型的潛力：MILS依賴于大型語言模型的預(yù)訓(xùn)練知識，這些模型已經(jīng)學(xué)習(xí)了大量的文本數(shù)據(jù)，從而能夠理解復(fù)雜的語義和上下文。通過這種方式，MILS能夠利用這些模型的內(nèi)在能力，跨越到理解和生成圖像、聲音等非文本數(shù)據(jù)。

論文：https://arxiv.org/pdf/2501.18096

Github：https://github.com/facebookresearch/MILS