浙江大學計算機學院浙江大學人工智能協同創新中心王則可2025年2月DeepSeek優勢的優勢：系統感知的算法創新(量化基因)算力的基本概念■什么算力?“對信息數據進行計算，實現目標結果的能力”■現代算力：信息計算力、數據存儲力、網絡運載力■原生算力：大腦(可處理復雜邏輯，但不能高速處理簡單運算)外部算力工具：■計算機：算力提供者(可高速簡單運算，不能處理復雜邏輯)浙江大學浙江大學(我想全世界只需要五臺電腦)--ThomasWatson,IBM創始人，1943PC時代：一個應用只需一臺電腦，算力夠人工智能大模型算力估計2,計算次數C≈6*N*D人工智能計算平臺成本估計算力存力運力算力(每秒)運力生態12萬25萬萬):1.5*1010秒(174000天)■1000張H800(2.5億):1.5*107秒(174天)浙江大學大模型指導法則ScalingLaw:富則火力覆蓋浙江大學數據集模型參數量數據集模型參數量76543軸),模型效果越好(TestLoss小)軸),模型效果越好■模型參數：參數越多(x軸),模型效果越好國際人工智能企業OpenAIOpenAl商業模式(循環以下四步)■1,華爾街融資■例子：2019-21年融資20億美元■例子：購買2.5萬A100GPU(英偉達掙錢)■3,用最新GPU訓練性能領先的大模型■例子：2023年出ChatGPT,壟斷市場(290億美元估值)■4,用訓練的GPU給客戶提供高質量模型服務2025年特朗普的“星際之門”為OpenAl籌5000億美元Al基礎設■國內人工智能商業模式(循環以下四步)■1,國內融資(億美金)■可行性分析：資金沒問題，尤其優質生產力領域2,購買最新GPU■4,用訓練的GPU給客戶提供高質量模型服務■可行性分析：國內做工業化低成本有絕對優勢美國限制中國AI發展的策略■國內人工智能商業模式(循環以下四步)■1,國內融資(億美金)可行性分析：資金沒問題，尤其優質生產力領域2,購買最新2,購買最新GPU■可行性分析：美國可以發禁令■4,用訓練的GPU給客戶提供高質量模型服務■可行性分析：國內做工業化低成本有絕對優勢時代背景：算力卡脖子時代背景：算力卡脖子美國政府對我國的禁令現成成熟算力：2023年禁止出口高端Al芯片算力：2024年禁止臺積電代工7nm工藝的國內芯片光刻機：2024年限制荷蘭ASML出口7nm光刻機到中國卡脖子后果：國內AI優質算力有差距算力(每秒)運力生態12萬25萬CC-BYDeepSeek上甘嶺”大資金、大算力、大模型大資金、大算力、大模型Al算法與系統協同深度優化反斜面坑道(戰術穿插)DeepSeekDeepSeekV3公開的單次極低預訓練成本泛大發布時間GPU時(小時)訓練成本(美元)2024年7月2024年12月發展歷程：窮則戰術穿插發展歷程：窮則戰術穿插發布時間2024年1月2024年6月2024年12月2024年7月稠密稠密concatenatefconcotenatelk回apply1MoE:1共享專家+256路由專家MLA:低秩壓縮671B參數(GPT-3:175B、GPT-4:1.76T?)參數(~5.5%),降低計算量核心技術DeepSeekMoE:顯著減少計算量■核心技術DeepSeekMoE:顯者減少計算量(窮則戰術穿插)■核心思想：1共享專家+256路由專家，激活8個路由專家■路由專家：量大、細粒度、靈活組合、方便知識表達MultiHeadAtention(MHA)|Grouped-QueryAttention(GQA)!MulMLA:少許計算量換HBM空間(窮則戰術穿插，已開源)■針對美國的HBM芯片禁令(Al算力嚴重依賴高性能內存)■結果：KVCache使用降低93.3%000576%ofmaximumthroughp ATTN(W)▲ATTN(FMLP(W)▲MLP(F)△自研輕量級框架(允許系統極致性能優化)PTX優化繞開CUDA護城河(單獨解讀)DeepSeekDeepSeek有無繞開CUDA護城河?selectsonly8routedexpertsin(4nodes×3.2experts/node)whilesuchacommunicationstrategy,only20SMsaresuffi來自Indetail,weemploythewarpspecializationtechnique(Baueretal.,201420SMsinto10communicationchannels.DIB-to-NVLinkforwarding,and(3)NVLinkreceivingarehandled來自DeepSeek'sAlbreakthro改用類似匯編的PTX編程DeepSeek的AI突破繞過行業標準改用類似匯編的PTX編程actualactualworkloadacrossallShandledbydynamicallyadjustedoverlapwiththecomputationstream,soweakernels.Specifically,weemploycustomizedPTX(ParallelThreadExecutioauto-tunethecommunicationchunksizePTX(ParallelThreadExecution)類英偉達匯編1)內存讀寫到L2、內存和2)GPU內部硬件引擎■個人猜測：GPU的內存一致性模型做的