ScoreFlow是什么？

ScoreFlow是一種自動(dòng)化多智能體工作流生成與優(yōu)化方法，它通過基于梯度的連續(xù)空間優(yōu)化技術(shù)，結(jié)合Score-DPO，不斷改進(jìn)協(xié)作流程，從而提升模型性能。它在問答、編程、數(shù)學(xué)推理等多個(gè)基準(zhǔn)測(cè)試中比現(xiàn)有的方法都更優(yōu)，并支持小模型以更低推理成本超越大模型。ScoreFlow由芝加哥大學(xué)、普林斯頓大學(xué)和牛津大學(xué)的團(tuán)隊(duì)開發(fā)。

ScoreFlow功能特征

• 高效優(yōu)化：利用連續(xù)空間的梯度優(yōu)化技術(shù)，提升模型性能。

• 偏好優(yōu)化：結(jié)合Score-DPO，集成了 Score-DPO，這是一種直接偏好優(yōu)化方法的變體，考慮定量反饋，優(yōu)化模型輸出。

• 小模型優(yōu)勢(shì)：幫助小模型在性能上超越大模型，降低推理成本。

• 多任務(wù)支持：覆蓋問答、編程、數(shù)學(xué)推理等多種應(yīng)用場(chǎng)景。

實(shí)驗(yàn)結(jié)果

• 在六個(gè)不同的基準(zhǔn)測(cè)試（包括問答、編碼和數(shù)學(xué)推理）中，ScoreFlow 相比現(xiàn)有基線實(shí)現(xiàn)了 8.2% 的改進(jìn)。

• ScoreFlow 還能夠在較低的推理成本下，使較小的模型超越較大的模型。

ScoreFlow應(yīng)用場(chǎng)景

• 問答系統(tǒng)：提升問答模型的準(zhǔn)確性和效率。

• 編程輔助：優(yōu)化代碼生成模型，提高編程效率。

• 數(shù)學(xué)推理：增強(qiáng)模型在數(shù)學(xué)問題解決中的表現(xiàn)。

• 多智能體協(xié)作：優(yōu)化多智能體工作流，提升整體任務(wù)效率。

ScoreFlow使用方法

硬件準(zhǔn)備：需要80-90GB顯存。

環(huán)境設(shè)置：

• 使用 conda 創(chuàng)建一個(gè)新的虛擬環(huán)境，并安裝必要的依賴項(xiàng)。

• 下載數(shù)據(jù)集并將其解壓縮到項(xiàng)目目錄中。

優(yōu)化過程：

• 通過迭代優(yōu)化模型，逐步提高性能。

• 使用 generate.py 和 evaluate.py 腳本進(jìn)行優(yōu)化。

• 可以通過增加迭代次數(shù)來調(diào)整優(yōu)化過程。

推理：

• 在測(cè)試集上運(yùn)行推理，評(píng)估模型的最終性能。

Github項(xiàng)目：https://github.com/Gen-Verse/ScoreFlow