專項定制·

月度專題·市場地位證明·

專精特新申報·可研報告·

商業計劃書·產業規劃→DeepSeek-V2

模型性能進一步優化從低成本的DeepSeek-V2,到超低價格的DeepSeek-V3,再到引起世界廣泛關注的DeepSeek-R1,DeepSeek

的成功主要依賴于DeepSeek

自身深厚的技術積累和持續的技術創新突破。DeepSeek-V2

采用的是MoE

架構，全參數量為236B,

激活參數量是21B。

其采用了兩大創新技術：DeepSeekMoE

架構和多頭潛在注意力(MLA),

使得DeepSeek-V2

的訓練成本大為降低并且提升推理速度。MLA

通過將Key-Value

緩存壓縮為潛在向量來提高推理效率，從而提高吞吐量。DeepSeek

MoE架構允許通過稀疏計算進行有效的推理。相比DeepSeek

LLM67B(Dense),

DeepSeek-V2的性能更強，同時節省了42.5%的訓練成本，減少了93.3%的KV

緩存，最大生成吞吐量提高到5.76倍。DeepSeek-

V2性能LLaMA38BO

LLaMAMistral

7BLLaMA133BLLaMA213B0

20

40ActivatedO

LLaMA165B234B---

LLaMA1

Family---

LLaMA2

Family---LLaMA3

Family---Mixtral

Family---Command

RFamily

---

Qwen1.5

Family6080100Parameters(Billions)DeepSeek-V2Mixtral

8x22B

LLaMA370BCommandR+DBRX

Qwen1.572BDeepSeek

67BQwen1.532B

Grok-1Mixtral8x7BKV

Cache

for

Generation(KB/Token)DeepSeek67BDeepSeek-V2

reducing

KV

cache

by

93.3%0100200300400Maximum

GenerationThroughput(Tokens/Sec)Training

Costs(K

GPU

Hours/T

Tokens)DeepSeek67BDeepSeek-v2050100

150576%of

maximum

throughput10000

20000

30000

40000

50000資

料

來

源

：DeepSeek、

智

研

咨

詢

整

理

www.chyxx.comDeepSeek67BDeepSeek-v2十0807570656055●2.1

DeepSeek-V2模

型

deepseekPerformance

(MMLU)saving

42.5%oftrainingcosts2002502

300智研咨詢LLaMA

270BCommand

R●2.2

DeepSeek-V3模型

deepseekDeepSeek-V3

模型性能大幅提升DeepSeek-V3是一個強大的專家混合(MoE)語言模型，具有671B

個總參數，激活參數量為37B。相較歷史模型，DeepSeek-V3在推理速度上有了大幅提升。此外在目前大模型主流榜單中，DeepSeek-V3

在開源模型中位列榜首，與世界上最先進的閉源

模型不分伯仲。DeepSeek-v3

性

能●

DeepSeek-V3

遵

循

DeepSeek-V2的設計，采用多頭潛在注意力(MLA)和DeepSeekMoE

架構。●采用了無輔助損失的負載均衡策

略，最大限度地減少了由于鼓勵

負載平衡而引起的性能下降。●引入一個多token

預測(MTP)

目

標，證明它有利于模型的性能，

也可用于推理加速的推測解碼。資料來源：DeepSeek、

智研咨詢整理www.chyxx.comDeepSeek-V3模型訓練成本大幅降低根

據DeepSeek

團隊在論文中強調，通過優化算法、框架和硬件的協同設計實現的。在預訓練階段，每萬億個token

上訓練DeepSeek-V3只需要180

KH800GPU小時，也就是說，在其擁有2048個H800GPU

的集群上只需要3.7天。因此，公司的預訓練

階段在不到兩個月的時間內完成，花費了2664K

GPU小時。加上上下文長度擴展的119K

GPU小時和后訓練的5K

GPU小時，

DeepSeek-V3

完整訓練僅花費278.8萬GPU

小時。假設H800GPU

的租賃價格為每小時2美元，則代表著其總訓練成本僅為557.6萬美元。相比同等規模的模型(如GPT-4、GPT-40、

Llama3.1),

訓練成本大幅降低。但DeepSeek

團隊還特意強調，上述成本僅包括DeepSeek-V3的官方訓練，不包括與架構、

算法或數據的先前研究和消融實驗相關的成本。DeepSeek-V3的訓練成本(假設H800的租賃價格為2美元/GPU小時)訓練成本預訓練上下文擴展后訓練總計H800GPU小時(小時)2664K119K5K2788K美元$5.328M$0.238M$0.01M$5.576MDeep

Seek-V3節省訓練成本的方法All

To

ALL通信內核IB+NVLink低精度FP8

訓練Dual

PipeDeepSeek

MoE+MLA無張量并行TP多token

預測(MTP)帶寬限制PTX語言無需輔助損失的負載均衡針對性GPU優化模型結構Architecture模型訓練方式Pre-Train●

2.2

DeepSeek-V3模型資料來源：

DeepSeek、智研咨詢整理www.chyxx.comdeepseek智研咨詢核心技術——無需輔助損失的負載均衡DeepSeek-V3采用了一種無需輔助損失的負載均衡策略，旨在最大限度地減少因負載均衡優化而對模型性能造成的不利影響。MoE模型容易出現“專家負載不均衡”(有的專家忙，有的專家閑),傳統的解決方法是加一個輔助損失，但這可能會損害模

型性能。DeepSeekV3

引入了一種新方法，通過動態調整每個專家的“偏置項”

,來平衡負載。這種方法不依賴輔助損失，減

少了對性能的負面影響。此外，為了防止在單個序列內出現極端不平衡情況，也引入了一種補充的序列級平衡損失，但影響很

小。其中，平衡因子α是一個超參數，對于

DeepSeek-

V3

被設置為極小的值；1(.)表示指示函數；

T表示

序列中的令牌數量。序列級平衡損失鼓勵在每個序

列內實現專家負載的平衡。具體而言，為每個專家引入一個偏置項

bi,并將其

添加到對應的親和度得分Sit,以確定Top-K

路由。補充的序列級輔助損失：無需輔助損失的負載均衡：DeepSeek-V3模

型

deepseek資料來源：

DeepSeek、

智研咨詢整理

智研咨詢●

2.2●

2.2

DeepSeek-V3模

型

deepseek

智

研

咨

詢核心技術——多token

預測

(MTP)傳統語言模型通常只預測下一個token,

而DeepSeek-V3

在訓練中采用MTP

目標，在每個位置預測多個未來token。

這種方式增

加訓練信號密度，提高數據效率，使模型更好規劃表示，準確預測未來token。

具體通過多層次模塊預測多個附加token,

各模

塊共享嵌入層和輸出頭，保持預測因果鏈，提高推理生成速度，提升模型整體性能。MTP

實現的示意圖t?t?

t?

t?LMain

Cross-Entropy

LossMTP

Module1(Next2TokenPrediction)Output

HeadTransformerBlockLinear

ProjectionfconcatenationRMSNorm

RMSNormShared

Embedding

LayerTarget

Tokens

t?

t?

t?

tsCross-Entropy

LossMain

Model(Next

TokenPrediction)Output

HeadTransformer

Block×LEmbeddingLayerInput

Tokens

t?

t?

t?

t?t?

ts

t?

t?LMTP

Cross-EntropyLossMTP

Module

2(Next3TokenPrediction)Output

HeadTransformerBlockLinear

ProjectionfconcatenationRMSNorm

RMSNormShared

EmbeddingLayert?t?t?

t?t?

t?

t?

t?資料來源：

DeepSeek、

智研咨詢整理

www.chyxx.comLMTP核心技術——FP8

混合精度訓練通常的大模型訓練會采用BF16或FP32/TF32

精度作為數據計算和存儲的格式，來確保較高的訓練精度。相比之下，

FP8占

用

的數據位寬僅為FP32的1/4,FP16的1/2,可以提升計算速度，降低對存儲的消耗。微軟2023年的論文《FP8-LM:Training

FP8Large

Language

Models》就提出了一種用于LLM

訓練的極度優化的FP8混合精度框架。其核心思想是計算、儲存和通信(包括

正向和反向傳播)全部使用低精度FP8,

從而大大降低系統工作負載。然而，使用FP8

格式訓練LLM

存在數據下溢出或上溢出等

挑戰以及FP8

數據格式較低精度所導致訓練失敗等問題。DeepSeek

團隊在訓練DeepSeek-V3

時，采用的是混合精度框架，大部分密集計算操作都以FP8

格式進行，而少數關鍵操作則策

略性地保留其原始數據格式，以平衡訓練效率和數值穩定性。通過使用FP8格

式

，DeepSeek

能夠在有限的計算資源下，實現更

高的計算效率。例如，在處理大規模數據集時，FP8

格式可以顯著減少顯存的占用，從而提高模型的訓練速度。DeepSeek-

V3

混合精度框架示意圖To

FP8WgradWeight

GradientFP32ToBF16Optimizer

StatesOutputGradientBF16DeepSeek-V3模型

deepseek資料來源：

DeepSeek、

智研咨詢整理

wwww.智研咨詢②FP32InputGradientMasterWeight∑FP32InputBF16●2.2WeightOutputTo

BF16To

BF16To

FP32DgradFpropTo

FP8To

FP8To

FP8To

FP8FP32●2.2

DeepSeek-V3模型

deepseek

智研咨詢核心技術——Dual

Pipe算法在應用分布式并行策略時，無論是數據并行策略下的梯度聚合步驟，還是模型并行下各模型組件之間的通信，都會帶來大量的

跨設備數據傳輸需求。若不同階段的計算耗時差別較大，則會出現計算設備的空閑，即為“氣泡

(bubble)”。

為解決這一

問題，流水線并行(pipeline

parallel,PP)策略應運而生。其通過將一個較大數據批次分解為多個微批次(micro

batch),

使得每次計算的總耗時減少，從而減少了計算設備所處于的計算和等待兩種狀態在時間軸上的顆粒度，進而使得每個bubble被縮小。在這一背景下，DeepSeek

團隊在傳統PP

策略的基礎上創新性地提出并應用了Dual

Pipe技術。與傳統PP

策略相比，

Dual

Pipe技術最明顯的革新在于其有效地融合了前向和后向計算加速通信。此外，DeepSeek

團隊還通過調節GPU

中流式多處理器(SM)

的調度來實現對其在計算和通信之間進行精細化分配，進而進一步加速了通信過程。Dual

Pipe算

法

示

意

圖Device

0Device

1

Device

2

Device

3

Device

4

Device

5

Device

6

Device

7Time081923456678899560718293456787989506172839456787989051627384956789890415263748596789893253647586978993546576879899445566778899MLP(B)▲MLP(W)▲MLP(F)△ATTN(B)▲ATTN(W)▲ATTN(F)△DISPATCH(F)△DISPATCH(B)▲COMBINE(F)△PPCOMBINE(B)▲Forward

Backward

Backward

for

input

Backward

for

weightsOverlappedforward&BackwardDualPipe8

個

PP

rank和

20個micro-batch的

DualPipe

調

度

示例資料來源：

DeepSeek、

智研咨詢整理

www.chyxx.com△

Forward

chunk▲Backward

chunkComputationCommunicationTimeChunk拆分CategoryBenchmark

(Metric)Claude-3.5-Sonnet-1022GPT-4o

0513DeepSeekV3OpenAl

ol-miniOpenAl

o1-1217DeepSeek

R1EnglishArchitectureMoEMoE#Activated

Params-37B-37B#Total

Params671B671BMMLU

(Pass@1)88.387.288.585.291.890.8MMLU-Redux

(EM)88.98889.186.792.9MMLU-Pro

(EM)7872.675.980.384DROP(3-shot

F1)88.383.791.683.990.292.2IF-Eval

(PromptStrict)86.584.386.184.883.3GPQA-Diamond

(Pass@1)6549.959.16075.771.5SimpleQA(Correct)28.438.224.974730.1FRAMES

(Acc.)72.580.573.376.9-82.5AlpacaEval2.0(LC-winrate)5251.17057.8-87.6CodeArenaHard

(GPT-4-1106)85.280.485.592-92.3LiveCodeBench(Pass@1-COT)33.834.2-53.863.465.9MathCodeforces

(Percentile)20.323.658.793.496.696.3Codeforces(Rating)7177591134182020612029SWEVerified

(Resolved)50.838.84241.648.949.2Aider-Polyglot

(Acc.)45.31649.632.961.753.3AIME

2024

(Pass@1)169.339.263.679.279.8MATH-500(Pass@1)78.374.690.29096.497.3CNMO

2024

(Pass@1)13.110.843.267.678.8ChineseCLUEWSC(EM)85.487.990.989.992.8C-Eval(EM)76.77686.568.991.8C-SimpleQA

(Correct)55.458.76840.3-63.7DeepSeek-R1

基

于DeepSeek-V3

訓練優化得到，增強了復雜邏輯推理能力，全參數量是671B,激活參數37B

。在數學、代碼、

自然語言推理等任務上，性能比肩OpenAl

ol正式版，并且開源模型權重，引發了全球的廣泛關注。DeepSeek-

R1評估結果●2.3DeepSeek-R1模型

→

DeepSeek-R1

性能對標OpenAl資料來源：DeepSeek、

智研咨詢整理

o1正式版在大語言模型(LLM)

的微調過程中，強化學習

(RL)扮演著至關重要的角色。傳統的近端策略優化

(PPO)

算法雖然被廣泛應用于LLM的微調，但其在處理大規模模型時面臨著巨大的計算和存儲負擔。PPO算法需要維護一個與策略模型大小相當的價

值網絡來估計優勢函數，這在大模型場景下會導致顯著的內存占用和計算代價。此外，PPO

算法在更新策略時可能會導致策略分布發生劇烈變化，從而影響訓練的穩定性。為了解決這些問題，

DeepSeek

提出了一種新的強化學習算法——組相對策略優化

(GRPO),旨在減少對價值網絡的依賴，同時保持策略更新的穩定性和高效性。GRPO方法的優勢在于：(1)減少計算負擔：通過避免維護一個與策略模型大小

相當的價值網絡，

GRPO顯著降低了訓練過程中的內存占

用和計算代價。(2)提高訓練穩定性：GRPO

通過組內比較來估計優勢

函數，減少了策略更新的方差，從而確保了更穩定的學習

過

程

。(3)增強策略更新的可控性：GRPO

引入了KL

散度約束，

防止策略更新過于劇烈，從而保持了策略分布的穩定性。資

料

來

源

：

DeepSeek、智

研

咨

詢

整

理www.chyxx.comPPOReference

ModelRewardKL田-

rqPolicyModel0ModelValueModelVGAEATrainedModelsGRPOKLReferenceFrozenModelsqPolicyModelO?Oz·0GModel

RewardModelrrzTGGroupComputationA?A?A?DeepSeek-R1具備以下亮點：(1)純強化學習訓練：基于DeepSeek-V3

應用大規模強化學習，直接將RL

應用于基礎模型而不依賴監督微調(SFT)

步驟，這種方法允許模型探索解決復雜問題的思維鏈(CoT),由此開發出DeepSeek-R1-Zero

。DeepSeek-R1-Zero純強化學習訓練得到的LLM,

并且展示了自我驗證、反思和生成長CoTs

等功能，標志研究界的一個重要里程碑。核心技術——純強化學習訓練deepseekDeepSeek-R1模型作為初始是第一個算法結構對比●

2.3DeepSeek-R1

OpenAI-01-121710096.3

96.694.390.687.485.279.879.275.772.671.563.662.158.749.2

48.941.642.039.236.8200AIME2024Codeforces

GPQA

Diamond

MATH-500MMLU

SWE-bench

Verified(Pass@1)(Percentile)

(Pass@1)(Pass@1)(Pass@1)(Resolved)核心技術——冷啟動數據&多階段訓練策略(2)冷啟動數據&多階段訓練策略：

DeepSeek-R1是為解決

DeepSeek-R1-Zero

存在的問題并進一步提升推理性能而開發的模

型，它在訓練過程中融入了冷啟動數據和多階段訓練策略。冷啟動數據：收集少量高質量長鏈推理數據，通過SFT

初始化模型，提升可讀性和性能。多階段訓練：第一階段RL

專注于數學、編程等明確答案的任務。第二階段結合拒絕采樣生成SFT

數據，增強通用能力(寫作、

問答等)。最終RL對齊人類偏好(如無害性、有用性)。DeepSeek-R1在多個基準測試中展現

出

與OpenAl-01

相當的性能水平。在

Codeforces

和

MMLU

基

準

測

試中與

OpenAl-01-1217

得分相近，尤其是在

AIME2024

、MATH-500

、Swe-Bench等基準測試中，DeepSeek-R1

還稍微勝

出。資料來源：

DeepSeek、智研咨詢整理www.chyxx.com●2.3

DeepSeek-R1模

型DeepSeek-R1

的基準性能deepseekDeepSeek-R1-32B

OpenAI-01-mini

DeepSeek-V3Accuracy/Percentile

(%)智研咨詢97.3

96.490.891.890.090.260.059.88.5406080GPT-4o-0513AIME2024pass@19.3AIME2024cons@6413.4MATH-500pass@174.6GPQADiamondpass@149.9LiveCodeBench

CodeForcespass@1

rating32.9

759.0Claude-3.5-Sonnet-102216.026.778.365.038.9717.0o1-mini63.680.090.060.053.81820.0QwQ-32B44.060.090.654.541.91316.0DeepSeek-R1-Distill-Qwen-1.5BDeepSeek-R1-Distill-Qwen-7B28.955.552.783.383.992.833.849.116.937.6954.01189.0DeepSeek-R1-Distill-Qwen-14B69.780.093.959.153.11481.0DeepSeek-R1-Distill-Qwen-32B72.683.394.362.157.21691.0DeepSeek-R1-Distill-Llama-8B50.480.089.149.039.61205.0DeepSeek-R1-Distill-Llama-70B70.086.794.565.257.51633.0核心技術——模型能力蒸餾遷移(3)模型能力蒸餾遷移：

DeepSeek

R1的推理能力可以通過蒸餾技術遷移到更小的模型中，并且小模型的基準測試取得很優

秀的表現。在DeepSeekR1蒸餾出的6個小模型中，在保持模型參數量僅為o1-mini

同量級的前提下，其知識理解、代碼生成等

核心能力實現全面反超。通過對標OpenAl-o1-mini

的效果上不難看出DeepSeek

在模型輕量化領域的突破性創新，同時也為開

源社區提供了兼具高性能與低部署成本的新型解決方案。DeepSeek-R1

蒸餾小模型性能資料來源：

DeepSeek、

智研咨詢整理

www.deepseekDeepSeek-R1模型●2.3一

PART

03Deepseek

技術創新最全面的產業分析●可預見的行業趨勢服務熱線：400-700-9383