??MergeKit??:一個(gè)用于合并預(yù)訓(xùn)練語(yǔ)言模型的開(kāi)源工具包
Mergekit是什么?
Mergekit 是一個(gè) Python 工具,能將多個(gè)大模型合并成一個(gè),發(fā)揮各自?xún)?yōu)勢(shì)。比如,模型A寫(xiě)作厲害,模型 B 編程出色,mergekit 就能把它們合起來(lái),變成一個(gè)更強(qiáng)的模型。它還能在 CPU 或 GPU 上合并,建議先用高精度模型合并,之后再量化和校準(zhǔn)。這個(gè)ai項(xiàng)目很受開(kāi)發(fā)者歡迎,比如有人用它把教育內(nèi)容改成游戲主題,讓創(chuàng)作更高效、更有趣。

Mergekit主要功能
模型合并:將多個(gè)預(yù)訓(xùn)練語(yǔ)言模型合并為一個(gè)多功能模型,無(wú)需額外訓(xùn)練或集成計(jì)算開(kāi)銷(xiāo)。
多種合并算法:支持多種合并方法,如線性插值、球面線性插值(SLERP)、任務(wù)算術(shù)(Task Arithmetic)、TIES、DARE 等。
硬件友好:支持在 CPU 或 GPU 上運(yùn)行,最低只需 8GB 顯存。
低內(nèi)存使用:采用惰性加載張量技術(shù),降低內(nèi)存占用。
參數(shù)插值:支持參數(shù)值的插值梯度,提供更細(xì)粒度的控制。
分層組裝:支持從不同模型的層片段中拼接組裝語(yǔ)言模型(“Frankenmerging”)。
專(zhuān)家混合合并:將多個(gè)密集模型合并為專(zhuān)家混合模型。
LoRA 提?。簭奈⒄{(diào)模型中提取 PEFT 兼容的低秩近似。
進(jìn)化合并方法:包含一些實(shí)驗(yàn)性的進(jìn)化合并方法。
Mergekit主要特點(diǎn)
跨平臺(tái)執(zhí)行:支持GPU和CPU執(zhí)行,最低8GB VRAM即可加速。
低內(nèi)存使用:通過(guò)懶加載張量實(shí)現(xiàn)。
多種合并算法:包括線性插值、SLERP、任務(wù)算術(shù)等,未來(lái)還會(huì)增加更多算法。
圖形用戶(hù)界面(GUI):提供基于Arcee的GUI,簡(jiǎn)化合并過(guò)程。
安裝與使用
安裝
git clone https://github.com/arcee-ai/mergekit.git cd mergekit pip install -e .
使用
mergekit-yaml config.yml ./output-dir --cuda
Mergekit應(yīng)用場(chǎng)景
模型能力融合:將不同專(zhuān)業(yè)領(lǐng)域的模型合并為一個(gè)多功能模型。
性能優(yōu)化:結(jié)合不同模型的優(yōu)勢(shì),提升整體性能。
資源受限環(huán)境下的優(yōu)化:在計(jì)算資源有限的情況下創(chuàng)建更小但功能強(qiáng)大的模型。
個(gè)性化模型定制:根據(jù)特定需求定制模型。
模型研究與實(shí)驗(yàn):為研究人員提供靈活的平臺(tái),探索不同的合并策略。
Github:https://github.com/arcee-ai/mergekit
提交您的產(chǎn)品
Ai應(yīng)用
Ai資訊
AI生圖
AI生視頻
開(kāi)源AI應(yīng)用平臺(tái)










