Open R1 是一個(gè)由 Hugging Face 發(fā)起的DeepSeek-R1的完全開(kāi)源再現(xiàn)項(xiàng)目，目的是完全復(fù)現(xiàn) DeepSeek R1 模型的訓(xùn)練過(guò)程。項(xiàng)目的目標(biāo)是構(gòu)建 DeepSeek-R1 流程中缺失的部分，為研究和工業(yè)界提供一個(gè)完整的推理優(yōu)化訓(xùn)練管道。

項(xiàng)目的目標(biāo)

• 復(fù)現(xiàn) DeepSeek-R1 的訓(xùn)練流程：通過(guò)開(kāi)源的方式，詳細(xì)展示如何從知識(shí)蒸餾到強(qiáng)化學(xué)習(xí)，再到多階段訓(xùn)練，逐步復(fù)現(xiàn) DeepSeek-R1 的訓(xùn)練流程。

• 提供完整的實(shí)現(xiàn)：項(xiàng)目包括完整的推理優(yōu)化訓(xùn)練管道，確保用戶可以輕松使用和修改模型。

項(xiàng)目的組成

• 訓(xùn)練數(shù)據(jù)和腳本：提供用于訓(xùn)練的開(kāi)源數(shù)據(jù)集和訓(xùn)練腳本，方便用戶進(jìn)行實(shí)驗(yàn)和驗(yàn)證。

• 文檔和示例：詳細(xì)的文檔和示例代碼，幫助用戶快速上手和理解模型的使用。

Open R1 項(xiàng)目還特別關(guān)注以下幾個(gè)方面：

數(shù)據(jù)收集和訓(xùn)練代碼：雖然 DeepSeek-R1 的模型權(quán)重是開(kāi)放的，但其訓(xùn)練所用的數(shù)據(jù)集和代碼并未公開(kāi)。Open R1 計(jì)劃系統(tǒng)性地重建 DeepSeek-R1 的數(shù)據(jù)和訓(xùn)練管道，以驗(yàn)證其聲稱(chēng)的效果，并推動(dòng)開(kāi)放推理模型的邊界。

多階段訓(xùn)練：項(xiàng)目的計(jì)劃包括從基礎(chǔ)模型到監(jiān)督微調(diào)（SFT）再到強(qiáng)化學(xué)習(xí)（RL）的多階段訓(xùn)練過(guò)程，旨在展示如何通過(guò)合成數(shù)據(jù)集來(lái)微調(diào)現(xiàn)有或新模型，以便將其轉(zhuǎn)化為推理模型。

跨領(lǐng)域應(yīng)用：除了數(shù)學(xué)數(shù)據(jù)集，Open R1 還希望探索其他領(lǐng)域的潛力，例如代碼和醫(yī)學(xué)等科學(xué)領(lǐng)域，這些領(lǐng)域的推理模型可能會(huì)產(chǎn)生顯著影響。

Open R1這個(gè)項(xiàng)目如何操作？

第1步：用DeepSeek-R1蒸餾高質(zhì)量語(yǔ)料庫(kù)，來(lái)復(fù)制R1-Distill模型，看看效果是不是像DeepSeek說(shuō)的那么好。

第2步：復(fù)制DeepSeek用來(lái)構(gòu)建R1-Zero的純強(qiáng)化學(xué)習(xí)（RL）pipeline。

第3步：通過(guò)多階段訓(xùn)練，從基礎(chǔ)模型過(guò)渡到RL版本。

Open R1項(xiàng)目：https://huggingface.co/blog/open-r1

Open R1代碼：https://github.com/huggingface/open-r1