Proxyless LLM Websearch是什么？

Proxyless LLM Websearch是一個(gè)無需代理的LLM網(wǎng)絡(luò)搜索引擎，支持多引擎搜索、智能解析和異步處理，支持URL內(nèi)容解析和網(wǎng)頁爬取，結(jié)合LangGraph實(shí)現(xiàn)模塊化智能體鏈路，專為大語言模型的外部知識(shí)調(diào)用場景而設(shè)計(jì)。

Proxyless LLM Websearch特性

• 無需代理：通過Playwright配置國內(nèi)瀏覽器支持，無需代理也能進(jìn)行網(wǎng)絡(luò)搜索。

• 多搜索引擎支持：支持Bing、夸克、百度、搜狗等主流搜索引擎，增強(qiáng)信息來源多樣性。

• 意圖識(shí)別：系統(tǒng)能夠根據(jù)用戶的輸入內(nèi)容，自動(dòng)判斷是進(jìn)行網(wǎng)絡(luò)搜索還是解析URL。

• 查詢分解：根據(jù)用戶的搜索意圖，自動(dòng)將查詢分解為多個(gè)子任務(wù)，并依次執(zhí)行，從而提升搜索的相關(guān)性與效率。

• 智能體架構(gòu)：基于LangGraph封裝的“web_search”與“l(fā)ink_parser”。

• 異步并發(fā)任務(wù)處理：支持異步并發(fā)任務(wù)處理，可高效處理多個(gè)搜索任務(wù)。

• 內(nèi)容處理優(yōu)化

• 內(nèi)容切片：將網(wǎng)頁長內(nèi)容按段切分。

• 內(nèi)容重排：智能重排序，提高信息相關(guān)性。

• 內(nèi)容過濾：自動(dòng)剔除無關(guān)或重復(fù)內(nèi)容。

• 多端支持

• FastAPI后端接口：可集成到任意系統(tǒng)中。

• Gradio Web UI：可快速部署成可視化應(yīng)用。

• 瀏覽器插件支持：支持Edge，提供智能URL解析插件，直接在瀏覽器中發(fā)起網(wǎng)頁解析與內(nèi)容提取請(qǐng)求。

安裝使用

克隆倉庫：

git clone https://github.com/itshyao/proxyless-llm-websearch.git
cd proxyless-llm-websearch

安裝依賴：

pip install -r requirements.txt
python -m playwright install

環(huán)境變量配置：

需要配置 OPENai_API_KEY、OPENAI_BASE_URL、MODEL_NAME、EMBEDDING_MODEL_NAME、EMBEDDING_API_KEY、EMBEDDING_BASE_URL 等環(huán)境變量。

運(yùn)行示例：

運(yùn)行 demo：

python demo.py

運(yùn)行 FastAPI 后端接口：

python api_serve.py

運(yùn)行 Gradio Web UI：

python gradio_demo.py

測試效果

基于阿里的 WebWalkerQA 高難度問答數(shù)據(jù)集，與火山方舟、百煉等知名在線檢索接口對(duì)比，proxyless-llm-websearch 取得了最高的正確率和最低的錯(cuò)誤率

Github庫：https://github.com/itshyao/proxyless-llm-websearch