提交您的產(chǎn)品 
Ai應(yīng)用
Ai資訊
AI生圖
AI生視頻
開源AI應(yīng)用平臺
LLM Engineer Toolkit
LLM Engineer Toolkit簡介
LLM Engineer Toolkit是什么？
LLM Engineer Toolkit是一個(gè)精心整理的LLM工具庫，它將120多個(gè)與LLM相關(guān)的庫按照功能和用途進(jìn)行了細(xì)致分類，涵蓋了從訓(xùn)練微調(diào)、應(yīng)用開發(fā)、推理服務(wù)到安全評估等 LLM 開發(fā)全流程所需的工具。
LLM Engineer Toolkit工具分類
1. LLM訓(xùn)練和微調(diào)
unsloth：快速微調(diào)LLM，減少內(nèi)存占用。
PEFT：參數(shù)高效微調(diào)庫。
TRL：通過強(qiáng)化學(xué)習(xí)訓(xùn)練Transformer語言模型。
DeepSpeed：分布式訓(xùn)練和推理優(yōu)化庫。
2. LLM應(yīng)用開發(fā)
LangChain：開發(fā)基于LLM的應(yīng)用。
Llama Index：為LLM應(yīng)用提供數(shù)據(jù)框架。
Haystack：端到端LLM框架，支持與Transformer模型和向量搜索集成。
3. LLM推理
vLLM：高吞吐量、內(nèi)存高效的推理引擎。
LightLLM：輕量級、可擴(kuò)展的推理框架。
TensorRT-LLM：Nvidia框架，用于優(yōu)化LLM推理。
4. LLM服務(wù)
Langcorn：自動(dòng)將LangChain應(yīng)用部署為FastAPI服務(wù)。
LitServe：支持批量、流式傳輸和GPU自動(dòng)擴(kuò)展的快速服務(wù)引擎。
5. LLM數(shù)據(jù)提取
Crawl4AI：開源的LLM友好型網(wǎng)絡(luò)爬蟲。
Docling：文檔解析工具。
PyMuPDF4LLM：用于提取PDF內(nèi)容的工具。
6. LLM數(shù)據(jù)生成
DataDreamer：合成數(shù)據(jù)生成庫。
fabricator：靈活的合成數(shù)據(jù)生成框架。
7. LLM安全與監(jiān)控
LLM Guard：LLM交互的安全工具。
Weights & Biases：跟蹤LLM性能。
Helicone：開源的LLM可觀測性平臺。
8. LLM評估
Ragas：LLM應(yīng)用評估工具。
LangTest：提供多種測試類型，評估LLM的準(zhǔn)確性、偏見和魯棒性。
9. LLM嵌入模型
Sentence-Transformers：最先進(jìn)的文本嵌入模型。
Text Embedding Inference：高性能嵌入模型推理工具。
10. 其他
LLM Transparency Tool：分析Transformer模型內(nèi)部機(jī)制的工具。
mergekit：合并預(yù)訓(xùn)練LLM的工具。
llm-engineer-toolkit工具庫GitHub倉庫：https://github.com/KalyanKS-NLP/llm-engineer-toolkit
