EasyEdit2是什么？

EasyEdit2是浙江大學(xué)團隊開發(fā)的易于使用的LLM編輯導(dǎo)向框架，與 EasyEdit 不同，它能在推理時實時導(dǎo)向大語言模型，通過可插拔導(dǎo)向向量實現(xiàn)測試時控制、無需訓(xùn)練，具備可調(diào)節(jié)性和可組合性，可應(yīng)用于安全、情感、個性等多種場景。其架構(gòu)包含數(shù)據(jù)集、方法、向量庫和評估模塊四個核心組件，使用時按準(zhǔn)備訓(xùn)練數(shù)據(jù)、生成導(dǎo)向向量、應(yīng)用到模型、驗證結(jié)果四個步驟操作。

功能特點

• 實時控制：EasyEdit2 通過可插拔的操控向量，在模型推理階段實現(xiàn)實時、無需訓(xùn)練的控制。

• 即插即用：用戶無需修改模型權(quán)重，即可無縫應(yīng)用或移除操控方法。

• 易用性：用戶無需深厚技術(shù)背景，僅需一個示例，即可有效引導(dǎo)和調(diào)整模型響應(yīng)。

• 可調(diào)節(jié)性與組合性：用戶可以精確調(diào)整干預(yù)強度和方向，并結(jié)合多種操控技術(shù)，實現(xiàn)細(xì)粒度控制。

• 多樣化應(yīng)用場景：支持多種測試時干預(yù)功能，涵蓋安全性、情感傾向、個性特征、推理模式、事實準(zhǔn)確性及語言特性等方面。

核心模塊

• 操控向量生成器（Steering Vector Generator）：自動生成操控向量，用于影響模型行為。

• 操控向量應(yīng)用器（Steering Vector Applier）：將生成的操控向量應(yīng)用到模型中，以實現(xiàn)對模型行為的調(diào)整。

應(yīng)用場景

• 安全性：抵御越獄攻擊、減少社會偏見、降低隱私泄露風(fēng)險。

• 情感傾向：控制模型輸出的情感從消極轉(zhuǎn)向積極。

• 個性特征：定制模型的個性。

• 推理模式：干預(yù)推理過程，防止過度思考。

• 事實準(zhǔn)確性：更新模型知識，保持其知識的時效性。

• 語言特性：定制語言風(fēng)格以滿足特定需求。

使用方法

1. 準(zhǔn)備訓(xùn)練數(shù)據(jù)，如定義訓(xùn)練數(shù)據(jù)集和生成數(shù)據(jù)集。

2. 使用BaseVectorGenerator生成導(dǎo)向向量。

3. 通過BaseVectorApplier將向量應(yīng)用到模型，并生成導(dǎo)向后的輸出。

4. 驗證導(dǎo)向后的模型輸出結(jié)果，使用完后可重置模型。

常見問題

問：EasyEdit2 與 EasyEdit 的主要區(qū)別是什么？

答：EasyEdit 通過更新內(nèi)部參數(shù)或引入額外參數(shù)實現(xiàn)知識編輯，而 EasyEdit2 能在推理時實時導(dǎo)向大語言模型，且無需重新訓(xùn)練，通過可插拔導(dǎo)向向量實現(xiàn)多種控制功能。

問：EasyEdit2 如何實現(xiàn)對大語言模型的多場景應(yīng)用？

答：EasyEdit2 利用其可調(diào)節(jié)性和可組合性，通過控制干預(yù)強度和組合多種導(dǎo)向技術(shù)，針對不同場景需求對模型進行調(diào)整。例如在安全場景加強安全性，在情感場景調(diào)整模型情感等。

問：EasyEdit2 使用過程中涉及哪些核心類和配置文件？

答：使用過程中涉及BaseVectorGenerator和BaseVectorApplier這兩個核心類，分別用于生成導(dǎo)向向量和應(yīng)用向量；還涉及配置文件，如使用OmegaConf.load('./hparams/Steer/config.yaml')加載配置。

相關(guān)鏈接

項目主頁：https://zjunlp.github.io/project/EasyEdit2

GitHub倉庫：https://github.com/zjunlp/EasyEdit

arXiv：https://arxiv.org/abs/2504.15133

Hugging Face：https://huggingface.co/papers/2504.15133