ICS35160

CCSL.61

中華人民共和國國家標準

GB/T45087—2024

人工智能服務器系統性能測試方法

Artificialintelligence—Performancetestingmethodsforserversystems

2024-11-28發布2024-11-28實施

國家市場監督管理總局發布

國家標準化管理委員會

GB/T45087—2024

目次

前言

…………………………Ⅲ

引言

…………………………Ⅳ

范圍

1………………………1

規范性引用文件

2…………………………1

術語和定義

3………………1

縮略語

4……………………3

測試模式

5…………………4

封閉模式

5.1……………4

開放模式

5.2……………4

訓練性能測試

6……………4

測試過程

6.1……………4

訓練測試要求

6.2………………………5

訓練測試結果

6.3………………………6

測試場景

6.4……………7

測試場景配置要求

6.5…………………11

指標項及測試方法

6.6…………………12

訓練用測試系統要求

6.7………………16

推理性能測試

7……………17

測試過程

7.1……………17

推理測試要求

7.2………………………17

推理測試結果

7.3………………………18

測試場景

7.4……………18

場景配置要求

7.5………………………24

指標項及測試方法

7.6…………………24

推理用測試系統要求

7.7………………29

附錄資料性人工智能服務器系統性能測試工具示例

A()……………31

附錄規范性訓練測試要求

B()AUTOML……………32

訓練要求

B.1……………32

訓練結果日志要求

B.2…………………32

附錄規范性測試代碼公開規則

C()……………………33

通則

C.1…………………33

訓練測試代碼公開規則

C.2……………33

推理測試代碼公開規則

C.3……………33

附錄資料性測試場景類型說明

D()……………………35

圖像識別

D.1……………35

Ⅰ

GB/T45087—2024

物體檢測

D.2……………35

語義分割

D.3……………35

推薦

D.4…………………35

自然語言處理

D.5………………………35

語音識別

D.6……………35

光學字符識別

D.7………………………36

人臉識別

D.8……………36

多模態

D.9………………36

附錄資料性能效及效率指標項和測試方法

E()………37

訓練

E.1…………………37

推理

E.2…………………38

參考文獻

……………………40

Ⅱ

GB/T45087—2024

前言

本文件按照標準化工作導則第部分標準化文件的結構和起草規則的規定

GB/T1.1—2020《1:》

起草

。

本文件由全國信息技術標準化技術委員會提出并歸口

(SAC/TC28)。

本文件起草單位中國電子技術標準化研究院華為技術有限公司浪潮電子信息產業股份有限公

:、、

司英特爾中國有限公司平頭哥上海半導體技術有限公司科大訊飛股份有限公司新華三信息技

、()、()、、

術有限公司超威半導體產品中國有限公司北京航空航天大學中科寒武紀科技股份有限公司南京

、()、、、

南瑞瑞騰科技有限責任公司中國南方電網有限責任公司超高壓輸電公司石化盈科信息技術有限責任

、、

公司中國電信股份有限公司廣東研究院上海燧原科技股份有限公司中國科學院軟件研究所北京壁

、、、、

仞科技開發有限公司上海阡視科技有限公司上海超級計算中心上海文鰩信息科技有限公司美的集

、、、、

團上海有限公司國科礎石重慶軟件有限公司上海人工智能研究院有限公司四川華鯤振宇智能

()、()、、

科技有限責任公司深圳鯤云信息科技有限公司中國鐵建股份有限公司中鐵第五勘察設計院集團有

、、、

限公司西南科技大學

、。

本文件主要起草人董建徐洋張琦王莞爾曹曉琦黃劍彬梁朝明鮑薇吳韶華王海寧

:、、、、、、、、、、

林曉東馬珊珊高慧張藝伯陶玉梅楊雨澤鄭會平劉如冰李嵐泊紀拓欒鐘治程歸鵬黃現翠

、、、、、、、、、、、、、

牧軍石超葉珩王寧劉東慶李先緒師春雨梅敬青孟令中丁瑞全程秋林吳庚郁華真張丹丹

、、、、、、、、、、、、、、

仲凱韜任沛傅欣杰胡艷玲宋海濤白士玉劉東欒麗紅李棟鄭中俞文心

、、、、、、、、、、。

Ⅲ

GB/T45087—2024

引言

人工智能服務器系統包含人工智能服務器集群和高性能計算設施等形態是各類深度學習模型

、,

包含大規模預訓練模型訓練和推理的核心載體是各行業應用人工智能技術提高生產效率的核心工

(),

具人工智能服務器系統專為處理人工智能計算任務設計在架構運算方式和用途用法上與通用服

。,、,

務器系統有較大差別其測試過程負載和指標等皆有獨特性本文件提出人工智能服務器系統性能

,、,。

基準測試的方法并對基準測試工具的功能和公平性提出要求

,。

本文件的發布機構提請注意聲明符合本文件時可能涉及與人工智能服務器系統性

,,7.4.2、7.7.1

能測試方法相關專利的使用

。

本文件的發布機構對于該專利的真實性有效性和范圍無任何立場

、。

該專利持有人已向本文件的發布機構承諾他愿意同任何申請人在合理且無歧視的條款和條件

,

下就專利授權許可進行談判該專利持有人的聲明已在本文件的發布機構備案相關信息可以通過以

,。,

下聯系方式獲得

。

專利持有人中國電子技術標準化研究院

:

地址北京市東城區安定門東大街號

:1

請注意除上述專利外本文件的某些內容仍可能涉及專利本文件的發布機構不承擔識別專利的

,。

責任

。

Ⅳ

GB/T45087—2024

人工智能服務器系統性能測試方法

1范圍

本文件界定了服務器系統性能測試模式描述了人工智能服務器系統訓練性能和推理性能測試

,

方法

。

本文件適用于人工智能服務器系統的性能測試與評價

。

2規范性引用文件

下列文件中的內容通過文中的規范性引用而構成本文件必不可少的條款其中注日期的引用文

。,

件僅該日期對應的版本適用于本文件不注日期的引用文件其最新版本包括所有的修改單適用于

,;,()

本文件

。

信息技術人工智能術語

GB/T41867—2022

3術語和定義

界定的以及下列術語和定義適用于本文件

GB/T41867—2022。

31

.

被測系統systemundertest

處理測試者給出的測試作業并返回符合要求結果的系統

,。

注被測系統由人工智能服務器系統硬件算子實現庫機器學習框架軟件模型編譯組件和其他必要軟硬件組成

:、、、。

32

.

被測者testedparty

提供被測系統和測試信息并協助測試實施的機構或個人