中國電子工業標準化技術協會

一、工作簡況

1、主要工作過程

為了推進云側AI芯片測試技術提高，我院組織相關單位共同研制云側AI芯片

測試標準，自2019年4月起至今已經召開了3次正式研討會以及多次電話會議等,

會議貫穿了標準編制啟動至標準草案的意見征求，參加會議的單位有來自華為技

術有限公司、清華大學、中國科學院計算技術研究所、上海熠知電子科技有限公

司、上海依圖網絡科技有限公司、北京中科寒武紀科技有限公司、中國電子科技

集團公司第五十八研究所、北京智芯微電子科技有限公司、北京地平線機器人技

術研發有限公司等單位的代表。本標準于2019年10月初完成了初稿，11月初形成

了征求意見稿。

3、標準編制的主要成員單位及其所做的工作

本標準由中國電子技術標準化研究院牽頭組織編制，參與標準編制的成員單

位有華為技術有限公司、清華大學、中國科學院計算技術研究所、上海熠知電子

科技有限公司、上海依圖網絡科技有限公司、北京中科寒武紀科技有限公司、中

國電子科技集團公司第五十八研究所等單位的代表。中國電子技術標準化研究院

負責標準化工作的組織、協調和標準文本的編制工作。其他成員單位提供了標準

所涉及的技術內容的材料，并全程參與了技術細節的討論。

二、標準編制原則和確定主要內容的論據及解決的主要問題

1、編制原則

在編制標準過程中，遵循了以下三項原則。

一是遵循國家法律、法規等相關規定，制定過程嚴格按照程序執行。本標準

的編制過程經歷了標準編制籌備階段、標準草案編制階段（草案討論、編制、內

部征求意見、修改、再征求意見等環節），制定過程嚴格按照國家標準制定程序

要求。目前是到征求意見稿的意見征求。本標準的編制嚴格遵循GB1.1《標準化

中國電子工業標準化技術協會

工作導則——標準的結構和編寫》的要求，并使用中國標準編輯器進行文本的編

輯。

二是充分借鑒和吸收國外相關文獻和經驗。本標準編制過程中，吸收借鑒了

一些國外的技術文獻和經驗，這些內容雖然沒有正式成為國際標準，但已經成為

了業內廣泛使用的方法、規范。

三是結合我國國情和實際情況。本標準本著立足于當前云側AI芯片應用需

求，基于最新的技術方案，著眼于未來的發展，使標準發揮最大的作用。在標準

的技術內容編寫上充分考慮了國產云側AI芯片的特點和可操作性，以便于標準能

夠在實際的應用中得到貫徹實施。

2、確定主要內容的依據

本標準是首個關于云側AI芯片測試方法的標準，并無類似的國際標準可參

考。在編制本標準過程中，工作組參考了國內外AI芯片基準研制組織和測評組織

有關的技術資料。在標準內容確定過程中，先調研、搜集材料（調研對象包括國

內AI芯片研制的各個單位、從事AI芯片研究的單位及用戶單位），組織標準編制

單位的專家代表對搜集整理的材料進行討論、征求意見，同時進行試實驗驗證所

選基準的合理性和可行性，最終形成本征求意見稿。

3、編制過程中解決的主要問題（做出的貢獻）

目前在國內，由于沒有統一的標準規范，使得當前對于AI芯片性能的測評并

不一致，基本是各個AI芯片研制單位或用戶單位自己根據情況制定測試方案，自

由選擇基準程序，測試方式也各不相同。這種情況導致云側AI芯片性能測試的數

據不具可比性，影響了云側AI芯片測評的公正性。針對此問題，本標準提出了云

側AI芯片基準程序測試的規范，借助標準化的手段形成統一的云側AI芯片評測方

法。

本標準針對云側AI芯片性能規定了兩方面內容，一方面是規范用于測試云側

AI芯片性能的測試指標；另一方面是規范與之相對應的測試方法。本標準解決了

國內測評工作無標準可依的問題，為測評人員開展云側AI芯片測評工作提供了參

考。

三、主要試驗[或驗證]情況分析

本標準附錄推薦使用的《通用云側深度學習芯片測試參數參照表》是經過多

中國電子工業標準化技術協會

次討論協商確定的。為了保證這些基準的使用的科學性、規范性和可操作性，正

在計劃開展針對選定的基準程序的試驗驗證，以保證每個條款描述都有實驗數據

支持。作為驗證基準程序的試驗樣品選自國內主流云側AI芯片產品，以通過試

驗驗證，既保證測試的公平性，又盡可能的測試出被測樣品的真實性能。

四、知識產權情況說明

本標準不涉及知識產權問題。

五、產業化情況、推廣應用論證和預期達到的經濟效果

本標準不涉及本類問題。

六、采用國際標準和國外先進標準情況

本標準未采用國際標準和國外先進標準。

七、與現行相關法律、法規、規章及相關標準的協調性

1、本標準內容簡述

本標準規定了進行云側AI芯片性能測試的基本方法和要求。在標準中主要

規定的是云側AI芯片基準測試的一般原則，在實際的測評中需要針對具體云側

AI芯片產品應在上述原則指導下制定相應的測試細則。為了便于指導實際測評，

本標準在附錄提供了針對各項性能測試推薦采用的模型、數據集。

八、重大分歧意見的處理經過和依據

由于于原標準名稱《人工智能芯片測試指標及測試方法》范圍較寬泛，在立

項會上專家建議調整為三項標準：《人工智能芯片面向云側的深度學習芯片測

試指標與測試方法》、《人工智能芯片面向邊緣側的深度學習芯片測試指標與

測試方法》及《人工智能芯片面向端側的深度學習芯片測試指標與測試方法》。

九、標準性質的建議

建議本標準作為推薦性標準。

十、貫徹標準的要求和措施建議

本標準適合云側AI芯片的研制單位與用戶單位使用，且無涉密內容，建立

公開發行，供國內云側AI芯片產品評測人員參考。

在標準具體使用中，應配合云側AI芯片產品相關技術資料的要求確定需要

測試項目，并在本標準中選擇相應的測試方法，按照規定開展測試。

建議本標準面向國內云側AI芯片測評單位或云側AI芯片研制單位發行。

中國電子工業標準化技術協會

十一、替代或廢止現行相關標準的建議

無。

十二、其它應予說明的事項

無。

團體標準《人工智能芯片面向云側的深度學習芯片

測試指標與測試方法》編制工作組

2019-11-06

中國電子工業標準化技術協會

一、工作簡況

1、主要工作過程

為了推進云側AI芯片測試技術提高，我院組織相關單位共同研制云側AI芯片

測試標準，自2019年4月起至今已經召開了3次正式研討會以及多次電話會議等,

會議貫穿了標準編制啟動至標準草案的意見征求，參加會議的單位有來自華為技

術有限公司、清華大學、中國科學院計算技術研究所、上海熠知電子科技有限公

司、上海依圖網絡科技有限公司、北京中科寒武紀科技有限公司、中國電子科技

集團公司第五十八研究所、北京智芯微電子科技有限公司、北京地平線機器人技

術研發有限公司等單位的代表。本標準于2019年10月初完成了初稿，11月初形成

了征求意見稿。

3、標準編制的主要成員單位及其所做的工作

本標準由中國電子技術標準化研究院牽頭組織編制，參與標準編制的成員單

位有華為技術有限公司、清華大學、中國科學院計算技術研究所、上海熠知電子

科技有限公司、上海依圖網絡科技有限公司、北京中科寒武紀科技有限公司、中

國電子科技集團公司第五十八研究所等單位的代表。中國電子技術標準化研究院

負責標準化工作的組織、協調和標準文本的編制工作。其他成員單位提供了標準

所涉及的技術內容的材料，并全程參與了技術細節的討論。

二、標準編制原則和確定主要內容的論據及解決的主要問題

1、編制原則

在編制標準過程中，遵循了以下三項原則。

一是遵循國家法律、法規等相關規定，制定過程嚴格按照程序執行。本標準

的編制過程經歷了標準編制籌備階段、標準草案編制階段（草案討論、編制、內

部征求意見、修改、再征求意見等環節），制定過程嚴格按照國家標準制定程序

要求。目前是到征求意見稿的意見征求。本標準的編制嚴格遵循GB1.1《標準化

中國電子工業標準化技術協會

工作導則——標準的結構和編寫》的要求，并使用中國標準編輯器進行文本的編

輯。

二是充分借鑒和吸收國外相關文獻和經驗。本標準編制過程中，吸收借鑒了

一些國外的技術文獻和經驗，這些內容雖然沒有正式成為國際標準，但已經成為

了業內廣泛使用的方法、規范。

三是結合我國國情和實際情況。本標準本著立足于當前云側AI芯片應用需

求，基于最新的技術方案，著眼于未來的發展，使標準發揮最大的作用。在標準

的技術內容編寫上充分考慮了國產云側AI芯片的特點和可操作性，以便于標準能

夠在實際的應用中得到貫徹實施。

2、確定主要內容的依據

本標準是首個關于云側AI芯片測試方法的標準，并無類似的國際標準可參

考。在編制本標準過程中，工作組參考了國內外AI芯片基準研制組織和測評組織

有關的技術資料。在標準內容確定過程中，先調研、搜集材料（調研對象包括國

內AI芯片研制的各個單位、從事AI芯片研究的單位及用戶單位），組織標準編制

單位的專家代表對搜集整理的材料進行討論、征求意見，同時進行試實驗驗證所

選基準的合理性和可行性，最終形成本征求意見稿。

3、編制過程中解決的主要問題（做出的貢獻）

目前在國內，由于沒有統一的標準規范，使得當前對于AI芯片性能的測評并

不一致，基本是各個AI芯片研制單位或用戶單位自己根據情況制定測試方案，自

由選擇基準程序，測試方式也各不相同。這種情況導致云側AI芯片性能測試的數

據不具可比性，影響了云側AI芯片測評的公正性。針對此問