RAG-FiT 是一個(gè)通過對(duì)特別創(chuàng)建的 RAG 增強(qiáng)數(shù)據(jù)集進(jìn)行微調(diào)來提高大型語言模型（LLMs）使用外部信息能力的庫。它通過數(shù)據(jù)增強(qiáng)技術(shù)，幫助模型更好地從外部數(shù)據(jù)源中檢索信息，從而生成更準(zhǔn)確和上下文相關(guān)的內(nèi)容。

RAG-FiT的目的是解決傳統(tǒng)LLM+RAG系統(tǒng)中的一些關(guān)鍵問題，比如檢索到大量不相關(guān)文檔、輸入信息過長(zhǎng)影響效率、以及不必要的計(jì)算資源浪費(fèi)。

核心特點(diǎn)

• 數(shù)據(jù)增強(qiáng)與微調(diào)：RAG-FiT提供了一套流程來創(chuàng)建專門的數(shù)據(jù)集，這些數(shù)據(jù)集被設(shè)計(jì)用來優(yōu)化模型對(duì)檢索信息的利用。通過參數(shù)高效的微調(diào)（PEFT），模型可以在不顯著增加模型大小的情況下學(xué)習(xí)如何更好地利用外部信息。

• 優(yōu)化檢索過程：它包括一個(gè)相似度檢索器，能夠從大型語料庫中高效召回與查詢相關(guān)的文檔，減少噪聲信息的干擾。

• 雙標(biāo)簽文檔評(píng)分：引入了一個(gè)分類器，該分類器不僅判斷文檔是否包含答案（事實(shí)信息判斷），還評(píng)估文檔是否對(duì)生成回答有利（模型偏好），從而提高了檢索信息的相關(guān)性和質(zhì)量。

• 自我知識(shí)識(shí)別：通過分析查詢是否需要額外的檢索信息，減少不必要的檢索操作，這有助于提高效率并減少輸入的令牌數(shù)量。

• 子文檔級(jí)令牌減少：進(jìn)一步優(yōu)化檢索到的信息，通過選擇性地組合和壓縮文檔片段，確保輸入給LLM的信息更加精煉和相關(guān)。

RAG-FiT作用：

• 個(gè)性化推薦：通過分析用戶的歷史數(shù)據(jù)和偏好，RAG-FiT能夠提供個(gè)性化的內(nèi)容推薦，提升用戶體驗(yàn)。

• 多模態(tài)學(xué)習(xí)：RAG-FiT可以結(jié)合文本、圖像等多種數(shù)據(jù)類型，增強(qiáng)模型在處理復(fù)雜任務(wù)時(shí)的能力。

• 實(shí)時(shí)信息更新：在動(dòng)態(tài)環(huán)境中，RAG-FiT能夠?qū)崟r(shí)檢索和整合最新的信息，確保生成的內(nèi)容始終保持最新和相關(guān)。

• 跨領(lǐng)域應(yīng)用：RAG-FiT的靈活性使其能夠適用于多個(gè)領(lǐng)域，如醫(yī)療、金融、教育等，幫助不同領(lǐng)域的專業(yè)人士獲取所需的信息和支持。

RAG-FiT的應(yīng)用：

• 知識(shí)問答：通過結(jié)合外部知識(shí)庫，RAG-FiT能夠在回答用戶問題時(shí)提供更為準(zhǔn)確的信息，尤其是在專業(yè)領(lǐng)域。

• 文本生成：在生成文本時(shí)，RAG-FiT可以從外部數(shù)據(jù)源中檢索相關(guān)信息，增強(qiáng)生成內(nèi)容的準(zhǔn)確性和相關(guān)性。

• 數(shù)據(jù)增強(qiáng)：RAG-FiT可以用于創(chuàng)建增強(qiáng)的數(shù)據(jù)集，通過對(duì)現(xiàn)有數(shù)據(jù)進(jìn)行擴(kuò)展，提升模型的訓(xùn)練效果。

• 實(shí)驗(yàn)研究：RAG-FiT還可以用于學(xué)術(shù)研究，幫助研究人員探索和驗(yàn)證不同的RAG架構(gòu)和方法的有效性

GitHub：https://github.com/IntelLabs/RAG-FiT