大模型算力需求驅動AI服務器行業高景氣_第1頁
大模型算力需求驅動AI服務器行業高景氣_第2頁
大模型算力需求驅動AI服務器行業高景氣_第3頁
大模型算力需求驅動AI服務器行業高景氣_第4頁
大模型算力需求驅動AI服務器行業高景氣_第5頁
已閱讀5頁,還剩17頁未讀 繼續免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

1、算力場景向AI演進,CPU+GPU是AI服務器的核心部件4AI服務器:算力場景轉向AI,加入GPU的AI服務器應運而生資料來源:立爾訊、陸零網絡、億速云、聚英電子、藍卡科技、浙商證券研究所通用服務器云服務器邊緣服務器AI服務器PC單機云架構加入邊緣層GPU增強并行計算能力提供計算服務的硬件設備,位置相對固定;將規模級的底層服務器通過集約化、虛擬化來構建云端資源池,并從資源池中調配計算資源組建而成;將終端采集的數據,交由本地的網關設備直接進行處理后,再上傳到云端,使應用程序、數據和計算能力更接近用戶;采用異構形式,通過加入GPU采用并行計算模式,解決CPU提供算力時核心數已接近極限的問題,可應用處理密集型運算;——支持資源的彈性調配,具有擴展性和靈活性,采用分布式存儲;減少網絡傳輸資源的消耗,滿足對實時性的要求,解決安全和隱私問題;采用GPU并行計算提高算力;介紹優勢1.1資料來源:浪潮信息官網、IDC、電子發燒友、浙商證券研究所訓練推理概念指借助已有的大量數據樣本進行學習,獲得諸如更準確的識別和分類等能力的過程;對于新的數據,使用經過訓練的算法完成特定任務算力要求要求訓練芯片應具有強大的單芯片計算能力對算力的要求較低部署位置訓練芯片大多部署于云端推理芯片大多會部署于云端和邊緣側AI服務器按應用場景可分為訓練和推理兩種,2021年中國AI服務器推理負載占比約55.5%,未來有望持續提高;訓練對芯片算力要求更高,推理對算力的要求偏低;中國AI服務器推理和訓練工作負載情況及預測48.5%44.5%43.5%41.5%39.3%39.2%40.9%51.5%55.5%56.5%58.5%60.7%60.8%0%20%40%59.1%60%80%100%2019A2020A2021A 2022E 2023E 2024E 2025E訓練 推理1.2 分類:按應用場景可分為訓練和推理,訓練對算力要求更高91.9%6.3%1.5%

0.3%GPU NPU ASIC FPGA資料來源:浪潮信息官網、寬泛科技、CSDN、51CTO、浙商證券研究所AI服務器采用異構形式,按芯片類型可分為CPU+GPU、CPU+FPGA、CPU+ASIC等組合;目前GPU依然是實現數據中心加速的首選,其他非GPU芯片應用逐漸增多,IDC預計到2025年其他非GPU芯片占比超過20%;一般來說,ASIC的性能最好,但是可編程性和靈活性較弱;在訓練或者通用情況下,GPU則是更好的選擇。CPUFPGAGPUASIC性能中國AI服務器按加速卡類型拆分(2021)可編程性&靈活性縱軸向上表示服務器的可編程性和靈活性越好,橫軸向右表示其性能越好GPU:圖形處理器GPGPU:去掉或減弱GPU的圖形顯示部分能力DCU:海光以GPGPU架構為基礎的AI芯片TPU:谷歌設計的定制化的ASIC芯片NPU:用電路模擬人類的神經元和突觸結構,如寒武紀1M1.2 分類:按芯片類型可分為GPU、FPGA、ASIC等AI服務器成本主要來自CPU、GPU等芯片,占比50%以上資料來源:浪潮官網、京東、IDC、產業信息網、智研咨詢、ZOL、浙商證券研究所服務器由電源、CPU、內存、硬盤、風扇、光驅等幾部分構成,芯片成本(CPU、GPU等)占比較高,在25%-70%不等;以AI服務器浪潮NF5688M6為例,京東售價約105萬人民幣,包括2顆Intel

Ice

Lake處理器(根據cnBeta,約5.3萬元/顆)和8顆NVIDIA

A800GPU(根據ZOL,約10.4萬元/顆),CPU和GPU的價值量占比分別為10.10%和79.24%;2018年全球不同類型服務器成本結構拆分浪潮NF5688M6技術規格9.8%25.0%32.0%23.3%72.8%25.0%27.3%8.7%15.0%26.8%25.6%10.0%18.0%2.9%8.7%25.0%23.3%20.9%0%20%40%60%80%100%高性能型訓練型 推理型CPU GPU基礎型內存 存儲 其他1.32、ChatGPT等大模型訓練和推理需求激增驅動AI服務器市場高速增長9參數量與算力需求呈正比關系(以GPT為例)模型名稱參數量3640PFlop/s-dayGPT3

SmallGPT3

175B算力需求GPT

4最高31271PFlop/s-day2.6PFlop/s-day1.25億個1746億個最高15000億個其他國內外廠商加速布局大模型參數量 算力需求廠商 模型名稱國外廠商國內廠商ERNIE

3.0TitanM6-OFA盤古

NLPGoogle參數量與算力需求呈正比,據ARK

Invest預測,GPT-4參數量最高達15000億個,則GPT-4算力需求最高可達31271

PFlop/s-day;與此同時,國內外廠商加速布局大模型,其參數量均達到千億級別,同步帶動算力需求爆發式增長;國內外廠商布局大模型,千億級參數量推動算力需求增長混元

AI2600 5408100000 2080002000 4160>1000 >208010億個PFlops-dayLaMDA13702850PaLM-E562011690Bloom17503640HuggingFace百度阿里華為云騰訊2.1資料來源:IDC、ARK

Invest、Open

AI、澎湃新聞、金融界,《

LaMDA:

Language

Models

for

Dialog

Applications

》,Google,機器之心,至頂智庫,阿里巴巴達摩院等,浙商證券研究所隨著訓練需求占比下降,推理需求有望進一步提升11資料來源:IDC,Open

AI,ARK

Invest,浙商證券研究所由GPT-4訓練需求及占比計算推理需求訓練占41.5%訓練占39.2%最高31271PFlop/s-day2023年推理需求最高48502PFlop/s-day最高44081PFlop/s-day2025年據IDC預測,2023年AI服務器訓練需求占比達41.5%,隨著大模型的應用,該比例在2025年將降低至39.2%;將GPT-4的推算結果作為訓練需求,進一步推算2023/2025年推理需求最高達44081/48502PFlop/s-day;2.2以GPT-4為例,為滿足算力需要近千臺浪潮NF5688M6服務器12訓練需求最高

31271PFlop/s-day推理需求(2023)最高

44081PFlop/s-day浪潮

NF5688M62CPU+8

GPU計算速度完成時間采購數量5PFlop/s-day5天15天20天3015臺1005臺754臺資料來源:IDC,ARK

Invest,浪潮信息,浙商證券研究所算力需求最高

75352PFlop/s-day根據ARK

Invest預計GPT-4最高參數量15000億推算算力需求2.30%5%10%15%20%25%30%3503002502001501005002019 2020 2021 2022 2023E2025E0510152020222023E2025E2026E2024E出貨量/萬臺2019-2025年全球AI服務器市場規模及預測全球AI服務器出貨量和市場規模保持快速增長13市場規模/億美元 增速/%資料來源:IDC,中商產業研究院,Trend

Force,浙商證券研究所2022-2026年全球AI服務器出貨量CAGR=

22.7%CAGR=

10.8%據IDC預測,2023年全球AI服務器市場規模為211億美元,預計2025年達317.9億美元,2023-2025年CAGR為22.7%;據Trend

Force預測,2026年全球AI服務器出貨量將進一步提升,2022-2026年CAGR達到10.8%;2.40%50%100%02004006008001,000 150%2019 2020 2021 2022 2023E2024E

2025E智能算力規模/EFLOPS 增速/%70%60%50%40%30%20%10%0%0204060801001202025E2018 2019 2020 2021市場規模/億美元增速/%2019-2025年我國AI服務器市場規模及預測中國智能算力規模及預測?

據IDC統計,2021年中國AI服務器市場規模為53.9億美元,預計2025年達到103.4億美元,2021-2025年CAGR達17.7%2021年中國智能算力規模為155.2

EFLOPS,預計2025年達922.8

EFLOPS,2021-2025年CAGR達56.15%中國AI服務器出貨量和市場規模保持快速增長14資料來源:IDC,產經網,浙商證券研究所CAGR=

17.7%CAGR=

56.15%2.53、國產推理芯片逐步接近一流水平,AI服務器廠商有望各自獲益15美國限制向中國出口先進GPU,可購買削弱帶寬的A800資料來源:英偉達官網、videocardz、Zaker、36氪、tomshardware、viperatech、microway、浙商證券研究所V100A100H100A800NVLinkV100PCIe

V100PCIeV100S80GB

PCIe80GB

SXMSXMPCIe40GB

PCIe80GB

PCIe80GB

SXMFP64(雙精度)7.8

TFLOPS7

TFLOPS8.2

TFLOPS9.7

TFLOPS34

TFLOPS26

TFLOPS9.7TFLOPSFP64Tensor

Core19.5

TFLOPS67

TFLOPS51

TFLOPS19.5TFLOPSFP32(單精度)15.7

TFLOPS14

TFLOPS16.4

TFLOPS19.5TFLOPS67

TFLOPS51

TFLOPS19.5TFLOPSTensorFloat

32(TF32)156TFLOPS/312TFLOPS989

TFLOPS756TFLOPS156TFLOPS/312

TFLOPSBFLOAT16

TensorCore312TFLOPS/624

TFLOPS1979

TFLOPS1513

TFLOPS312TFLOPS/624

TFLOPSFP16Tensor

Core312TFLOPS/624

TFLOPS1979

TFLOPS1513

TFLOPS312TFLOPS/624

TFLOPSINT8Tensor

Core624TOPS/1248

TOPS3958

TOPS3026

TOPS624TOPS/1248

TOPSGPU顯存32/16GB

HBM232/16GB

HBM230GB

HBM280GB

HBM280GB

HBM2e80GB80GB40GB

HBM280GB

HBM2e80GB

HBM2eGPU

顯存帶寬900

GB/s900

GB/s1134

GB/s1935

GB/s2039GB/s3.35TB/s2TB/s1555

GB/s1935

GB/s2039

GB/s最大熱設計功耗(TDP)300W250W250W300W400W700W300-350W250W300W400W多實例

GPU最大為7MIG@5GB最大為7MIG@10GB最多

7

MIG

@

10GB最大為7MIG@5GB最大為

7MIG

@

10

GB互連NVLINK300GB/sPCIe32GB/sPCIe

32GB/sNVLink:600GB/sPCIe4.0:64

GB/sNVLink:600GB/sPCIe4.0:64

GB/sNVLink:900GB/sPCIe5.0:128

GB/sNVLink:600GB/sPCIe

5.0:128GB/sNVLink:400GB/sPCIe

4.0:64GB/sNVLink:400GB/sPCIe

4.0:64GB/sNVLink:400GB/sPCIe

4.0:64GB/s價格約1萬美元約1.3-2.7萬美元約3.6萬美元約1.4萬美元英偉達推出的三代GPU芯片V100、A100和H100可用于AI模型訓練和推理,最新一代的H100較A100計算速度快約3倍(67/19.5);2022年8月,美國要求英偉達停止向中國企業出售A100和H100兩款GPU計算芯片,目前中國企業僅能購買特供的A800芯片,該芯片較A100在互聯帶寬方面被削弱1/3,成為當前可行的替代方案。暫時未被禁售的V100工藝為12nm,難以滿足目前計算需求。3.1國產GPU單卡指標接近英偉達,推理應用更具競爭力資料來源:各公司官網、海光信息招股書、浙商證券研究所寒武紀平頭哥華為昇騰天數智芯燧原科技摩爾線程壁仞科技海光信息思元370思元290思元270含光800昇騰310昇騰910天垓100云燧T20/T21MTT

S3000壁礪100P壁礪104PDCU算力指標FP6410.8TFLOPSFP3224TFLOPS37/18.5TFLOPS32TFLOPS15.2TFLOPS240TFLOPSTF32128TFLOPS480TFLOPS256TFLOPSFP1696TFLOPS320TFLOPS147/37TFLOPS128TFLOPSBF1696TFLOPS128TFLOPS960TFLOPS512TFLOPSINT16128TOPS256

TOPS64TOPS205TOPS8TOPS640TOPSINT8256TOPS512

TOPS128

TOPS825TOPS16TOPS295TOPS256TOPS1920TOPS1024TOPS內存容量24GBLPDDR532GBHBM216GBDDR432GB

HBM232GB

HBM2E32GB

GDDR664GBHBM2E32GBHBM2E32GB

HBM2內存帶寬307.2

GB/s1228

GB/s102

GB/s1.6TB/s448GB/s1.64TB/s819GB/s1TB/s功耗150W350W70w276W8W310W250W300W250W450-550W300W260-350W國產算力GPU的主要廠商包括海光信息、寒武紀、平頭哥、華為昇騰、天數智芯、燧原科技、摩爾線程、壁仞科技、沐曦等公司,部分產品的單卡指標和參數已經與英偉達產品接近或持平。目前國產算力GPU芯片在推理場景應用較多且具備一定競爭力,如含光800、思元370、MTT

S3000等等。3.1AI芯片182021年中國加速計算服務器廠商市場份額2021H1全球AI服務器市場競爭格局資料來源:IDC,浙商證券研究所AI

服務器產業鏈相關上市公司服務器集成CPUGPUFPGAASIC海光信息龍芯中科中國長城景嘉微紫光國微瀾起科技20.2%13.8%9.8%4.8%

6.1%3.9%3.9%1.0%1.2%

2.6%32.6%浪潮信息戴爾HPE聯想華為IBM新華三思科Oracle富士通其他3.2 國產廠商全球市場份額占比超35%,浪潮信息位列國內外榜首安路科技 復旦微電寒武紀浪潮信息中科曙光拓維信息神州數碼工業富聯紫光股份采購國外芯片海光、寒武紀芯片華為昇騰芯片華為昇騰芯片供貨微軟新華三浪潮信息:市場份額多年第一,AI服務器產品優勢顯著資料來源:浪潮信息官網、鳳凰網、Wind、美通社、浙商證券研究所浪潮信息是全球領先的服務器生產商,2021年全球AI服務器市場份額第一;擁有全面的

AI計算產品陣列以及性能領先的Transformer訓練服務器,具備從芯片、板卡、整機到平臺軟件的全棧AI計算方案提供能力;2022年MLPerf基準評測中浪潮AI服務器獲超半數賽道的冠軍;浪潮NF5688M6是目前公司算力最強的AI服務器之一,主要用于超大規模數據中心;型號高度處理器GPUNF5688M66U2顆Intel

Ice

Lake處理器8顆英偉達A800NF5488A54U2顆AMD

EPYC8顆英偉達A800NF5468A54U2顆AMD

EPYC支持8個A800、A40等NF5448A64U2顆AMD

EPYC

70034顆英偉達A800NF5468M64U2顆IntelIce

Lake處理器支持8顆A800、A30等NF5280M52U2顆第二代Intel

XeonScalable系列處理器支持4顆V100、P100等3.30%5%10%15%20%0200400600浪潮信息營業收入增長及拆分(億元、%)800 25%20202021 2022Q1-32019服務器收入其他業務總收入 增速中科曙光:國內高性能計算領域領軍企業,布局超算和智算中心建設資料來源:中科曙光官網、財聯社、Wind、浙商證券研究所型號X785-G30X785-G40類型深度學習訓練智能應用推理處理器支持英特爾至強可擴展處理器,高速UPI互連總線,大容量三級緩存2顆第三代智能英特爾至強可擴展處理器內存16個插槽,支持DDR4RDIMM/LRDIMM

ECC內存32個DDR4,支持內存ECCGPU擴展支持8塊FHFL雙寬GPU和16塊HHHL單寬GPU支持英偉達A100、A40、A10、T4中科曙光是國內高性能計算領域的領軍企業,亞洲第一大高性能計算機廠商,大力發展云計算、大數據、人工智能、邊緣計算等先進計算業務,構建了完整的AI計算服務體系,參建國內多家超算中心和智算中心;中科曙光目前AI服務器分為訓練和推理兩種,主要采用海光/寒武紀芯片,目前已和百度“文心一言”展開合作,為其產業化應用提供算力支持;3.30%5%10%15%1401201008060402002019 2020高性能計算機收入2021其他業務2022營業總收入 增速中科曙光營業收入增長及拆分(億元、%)20%資料來源:湘江鯤鵬官網、拓維信息官網、公司公告、九方智投、wind、浙商證券研究所拓維信息是華為昇騰AI戰略合作伙伴、華為全方位戰略合作伙伴,在“鴻蒙+鯤鵬+昇騰”基礎軟硬件領域和華為構建全面合作;其中兆瀚系列AI服務器是基于華為達芬奇架構3D

Cube技術的昇騰AI處理器;兆瀚AI服務器涵蓋訓練、推理等領域,目前廣泛應用于智慧城市、運營商等行業的數據中心、算力中心相關場景;型號兆瀚

RA2300-A兆瀚SA300兆瀚

RA5900-A兆瀚

RA2302-B形態2U推理服務器2U智能邊緣服務器4U訓練服務器2U

AI

服務器處理器2*鯤鵬920處理器1*鯤鵬9204*鯤鵬9202*64核青松處理器CPU內存32個DDR4內存插槽4個DDR4內存插槽32個DDR4內存插槽32個DDR4內存插槽AI加速卡/處理器Atlas

300I

Pro推理卡/Atlas

300V

Pro視頻解析卡Atlas

300I

Pro推理卡/Atlas

300VPro

視頻解析卡8*昇騰9104個Atlas

300I/VPro3.3 拓維信息:與華為昇騰AI深度合作,支持云邊端全棧全場景應用0%10%20%30%40%50%051015202520192020營業收入2021 2022Q1-3增速拓維信息營業收入及增長(億元、%)60%神州數碼:云計算產業國內領先,華為鯤鵬生態重要實踐者資料來源:神州數碼官網、神州鯤泰官網、公司公告、Wind、浙商證券研究所型號KunTai

A222KunTai

A722KunTaiA924類型2U單路邊緣型2U雙路推理型4U四路訓練型處理器1*鯤鵬920處理器2*鯤鵬920處理器4*鯤鵬920處理器AI加速卡3張Atlas

300V

視頻解析卡或Atlas

300I

Pro推理卡或Atlas

300VPro

視頻解析卡8張Atlas

300V

視頻解析卡或Atlas

300I

Pro

推理卡或Atlas

300V

Pro視頻解析卡8*昇騰910內存4個DDR4

RDIMM16個或32個DDR4RDIMM32個DDR4內存插槽AI算力420TOPS

INT81120TOPS

INT8512Tops

Int8或256Tops

FP163.3神州數碼擁有國內領先的云計算產業相關服務技術優勢和國內最大的To

B銷售網絡渠道,云管理服務已經覆蓋全球五大公有云,形成了全面的云和數字化生態整合能力;并率先提出“數云融合”理念,并將“數云融合”作為企業數字化轉型的方法框架;神州鯤泰系列AI服務器覆蓋訓練、推理和邊緣三種類型,均采用鯤鵬920處理器,成為鯤鵬產業生態的重要實踐者,積極布局基于“鯤鵬+昇騰”的自有品牌體系;神州數碼營業收入增長及拆分(億元、%)-10%0%10%20%30%40%1400120010008006004002000201920222020自主品牌2021其他 增速資料來源:工業富聯官網、金融界、Wind、浙商證券研究所服務器需求工業富聯在云計算服務器出貨量持續全球第一,并推出新一代云計算基礎設施解決方案(模塊化服務器、高效運算HPC)以解決AIGC算力井噴需求;其客戶布及全球,覆蓋微軟、谷歌、英偉達、英特爾等海外頭部大廠;工業富聯云計算產品涉及云服務器、高性能服務器、AI服務器、邊緣服務器及云儲存設備等;工業富聯主要高性能服務器產品3.3 工業富聯:云計算服務器出貨量全球第一,有望受益于海外AI42%41%40%39%38%37%36%35%34%01,0002,0003,0004,0005,0006,000201820222019云服務設備2020其他業務2021增

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論