說好的開源周5天，想不到周六還來一個彩蛋，推出了DeepSeek-V3/R1推理系統(tǒng)。

DeepSeek-V3/R1推理系統(tǒng)是什么？

DeepSeek-V3/R1推理系統(tǒng)是DeepSeek最新推出的高性能推理系統(tǒng)，旨在通過優(yōu)化吞吐量和延遲來提升推理效率。該系統(tǒng)采用了大規(guī)?？绻?jié)點專家并行（Expert Parallelism, EP）技術，顯著提高了GPU矩陣計算的效率，并通過將專家模塊分布在不同GPU上來降低延遲。

主要特點

高吞吐量和低延遲優(yōu)化：

• 采用跨節(jié)點專家并行（Expert Parallelism, EP）技術，顯著擴大批處理規(guī)模，提高GPU矩陣計算效率。

• 通過預填充-解碼解耦架構，在預填充和解碼階段分別采用不同程度的并行策略。

智能負載均衡：

• 在預填充和解碼階段分別實現(xiàn)核心注意力計算和分發(fā)發(fā)送負載的均衡。

• 在混合專家模型（MoE）中，平衡每個GPU上的專家計算工作量。

計算-通信重疊處理：

• 采用dual-batch重疊策略，將同一批請求分割為兩個microbatch，以隱藏通信成本并提高整體吞吐量。

• 在解碼階段，采用五階段流水線技術，實現(xiàn)計算與通信的無縫重疊。

大規(guī)?？绻?jié)點專家并行（EP）：

• 每層256個專家中僅激活8個，模型的高稀疏性特點要求采用極大的整體批處理規(guī)模。

• 預填充階段采用路由專家EP32和MLA/共享專家DP32，解碼階段采用路由專家EP144和MLA/共享專家DP144。

高效資源利用：

• 在白天高峰時段，所有節(jié)點都部署推理服務；在夜間低負載時段，減少推理節(jié)點并將資源分配給研究和訓練。

關鍵技術

• 跨節(jié)點專家并行（EP）：DeepSeek-V3/R1模型能夠激活大量的專家網(wǎng)絡，但每層僅激活256個專家中的8個，生成高度稀疏的計算結構。

• 負載平衡：系統(tǒng)設計確保各個節(jié)點間的計算負載均勻，從而能夠有效利用全部資源。

• 成本和利潤率：根據(jù)模型的最新評估，假設GPU租賃成本為每小時2美元，總成本為每天87072美元，而理論上的一天總收入可達562027美元，成本利潤率高達545%

應用

在線推理服務：

• 所有DeepSeek-V3/R1推理服務均在H800 GPU上運行，精度與訓練保持一致。

• 提供高吞吐量和低延遲的在線推理服務，適用于網(wǎng)頁、APP和API的所有用戶請求。

商業(yè)化和非商業(yè)化服務：

• 部分服務實現(xiàn)了商業(yè)化，網(wǎng)頁和APP訪問仍然免費。

• 在非高峰時段自動應用夜間折扣，優(yōu)化資源利用和成本效益。

統(tǒng)計數(shù)據(jù)

• 在過去24小時內，V3和R1推理服務的合計峰值節(jié)點占用達到278個，平均占用226.75個節(jié)點（每個節(jié)點包含8個H800 GPU）。

• 每個H800節(jié)點在預填充階段提供平均約7.37萬token/秒的輸入吞吐量，或在解碼階段提供約1.48萬token/秒的輸出吞吐量。

• 如果所有token都按照DeepSeek-R1的定價計費，每日總收入將達到562,027美元，利潤率為545%。

前五天開源項目回顧

第一天：FlashMLA，針對NVIDIA Hopper GPU的高效解碼內核，優(yōu)化了多頭潛在注意力（MLA）的性能，顯著提升了ai工具在內容創(chuàng)作中的響應速度。

第二天：DeepeEP，首個用于混合專家模型（MoE）訓練和推理的開源通信庫，優(yōu)化了大規(guī)模分布式訓練的通信效率，降低了延遲。

第三天：DeepGEMM，支持稠密和MoE模型的FP8計算庫，專為NVIDIA Hopper架構GPU設計，顯著提高了計算效率和硬件利用率。

第四天：DualPipe，一種雙向流水線并行算法，旨在優(yōu)化V3/R1模型訓練中的計算和通信重疊。EPLB，一個專家并行負載均衡器，專門用于解決大規(guī)模AI模型中專家并行任務的負載不均衡問題。

第五天：3FS，高性能分布式文件系統(tǒng)。