JJFXXXX-202XJJFXXXX—202XJJFXXXX—202X中華人民共和國國家計量技術規范中華人民共和國國家計量技術規范EvaluationMEvaluationMethodofMeasurementforDigitalTwinAlgorithminDigitalWorkshop（征求意見稿)202X-XX-XX202X-XX-XX實施202X-XX-XX發布發布國家市場監督管理總局數字化車間數字孿生算法計量評價方法JJF××××-202×數字化車間數字孿生算法計量評價方法1范圍本規范規定了數字化車間數字孿生算法和數字孿生體的計量評價要求，并規定了其評價條件、評價方法以及評價結果。本規范適用于數字化車間數字孿生算法和數字孿生體的計量評價。2引用文件本規范引用了下列文件：GB/T15532計算機軟件測試規范GB/T37413-2019數字化車間術語和定義GB/T38634（所有部分）系統與軟件工程軟件測試GB/T40021-2021信息物理系統術語GB/T41905軟件與系統工程軟件測試工具能力凡是注日期的引用文件，僅注日期的版本適用于本規范；凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本規范。3術語和定義GB/T37413-2019、GB/T40021-2021、JJFXXX（數字計量體系框架及名詞術語）界定的及以下術語和定義適用于本規范。3.1數字化車間digitalworkshop以生產對象所要求的工藝和設備為基礎，以信息技術、自動化、測控技術等為手段，用數據連接車間不同單元，對生產運行過程進行規劃、管理、診斷和優化的實施單元。[GB/T37413-2019，定義2.1，有修改]3.2物理實體physicalentity客觀存在的、具有某種屬性可以加以區分的、能夠被感知但不依賴感知而存在的實物。[GB/T40021-2021，定義2.1]3.3信息虛體cyberobject對物理實體的形態、功能、機理、運行狀態等進行的數字化描述與建模。[GB/T40021-2021，定義2.2]3.4數字孿生digitaltwin基于傳感器更新、運行歷史、物理模型等孿生數據，完成從物理實體（3.3）到信息虛體（3.4）的模型映射，以及從信息虛體（3.4）反饋至物理實體（3.3）的過程。注：數字孿生具有保證物理狀態和虛擬狀態之間以適當時間差和狀態誤差同步的數據連接目標。[GB/T40021-2021，定義2.13，有修改]3.5數字孿生體digitaltwinentity通過數字孿生（3.2）實現物理實體（3.3）向數字空間映射所產生的信息虛體（3.4），具備與物理實體（3.3）交互、決策的能力。[GB/T40021-2021，定義2.14]3.6數字孿生互動digitaltwininteraction物理實體（3.3）與數字孿生體（3.5）之間、多個數字孿生體之間的測量、感知、反饋、控制等活動。3.7數字孿生算法digitaltwinalgorithm通過數據的分析、處理，建立、完善數字孿生體（3.5）的有限有序規則集。4概述數字化車間的數字孿生要求實體車間與其數字孿生體之間可以實現數字孿生互動，數字化車間內的數字孿生基本架構如圖1。圖1數字化車間數字孿生基本架構物理實體包含數字化車間內的人、機、料、法、環等生產要素。數字孿生體表征數字空間內的物理實體，通過數字孿生互動與物理實體進行交互。數字孿生互動通過測量和感知、反饋和控制實現物理實體與數字孿生體之間、數字孿生體之間的雙向互動。數字孿生體需匹配不同行業、車間類型的特點，保障可視化、仿真、分析、預測、優化、決策等功能的實現。數字孿生算法是構筑數字孿生體、實現孿生互動的基礎，支撐數字孿生的功能實現與行業應用；其按照功能類型可分為建模算法、仿真算法、優化算法、決策算法等。5計量要求5.1概述為評價數字化車間數字孿生體，本規范設置了同步性、準確性、實時性、可靠性四個評價項目，評價體系參見圖2。圖2數字化車間數字孿生算法評價體系5.2同步性同步性評價旨在評價數字化車間數字孿生體與物理實體的同步程度，應遵循以下評價要求。——同步頻率：數字孿生體與物理實體之間應動態地進行內容信息同步，數字孿生體的同步頻率應符合數字化車間實際生產的需求。——同步精度：數字孿生體與物理實體之間應動態地進行內容信息同步，數字孿生體的同步精度（實測參數與同步參數之間的誤差）應符合數字化車間實際生產的需求。5.3準確性準確性評價旨在評價數字化車間數字孿生體與物理實體在幾何特征、物理屬性、預測分析等方面的一致程度與準確程度，應遵循以下評價要求。——尺寸準確性：數字孿生體應能準確反映物理實體的外觀形狀、尺寸大小幾何特征，其尺寸誤差應符合數字化車間實際生產的需求。——位置準確性：數字孿生體應能準確反映物理實體在數字化車間的位置分布、相互關系等幾何特征，其位置差異應符合數字化車間實際生產的需求。——結構準確性：數字孿生體應能準確反映物理實體的內部結構、裝配關系等幾何特征，其結構差異應符合數字化車間實際生產的需求。——物理化學屬性準確性：數字孿生體應能準確反映物理實體的物理化學性質，其物理化學屬性參數與實測參數之間的誤差應符合數字化車間實際生產的需求。——仿真預測數據準確性：數字孿生體應具備仿真、分析預測功能，數字孿生體仿真分析、預測等功能產生的預測數據與實測數據之間的誤差應符合數字化車間實際生產的需求。5.4實時性實時性評價旨在評價數字孿生在數據獲取、數據處理、數據傳輸、報警響應的及時性，應遵循以下評價要求。——數據獲取實時性：數字孿生體應能及時采集、讀取、感知到數字化車間傳感器傳遞的實時數據，其獲取多源異構數據的時間應符合數字化車間實際生產的需求。——數據處理實時性：數字孿生體應能及時預處理傳感器傳遞的實時數據，包括實時數據的清洗、格式化和歸一化等處理，其進行數據預處理的時間應符合數字化車間實際生產的需求。——數據傳輸實時性：數字孿生體應能及時將數據傳輸給關聯數字孿生體進行進一步分析處理，其數據傳輸進程的時間應符合數字化車間實際生產的需求。——異常響應實時性：數字孿生體應能及時對超過報警閾值的參數值進行報警，其報警響應時間應符合數字化車間實際生產的需求。5.5可靠性可靠性評價旨在評價數字孿生體在在高負荷、異常情況下的處理能力，應遵循以下評價要求。——穩定性：數字孿生體在負載條件下可無故障地實現功能。——魯棒性：數字孿生體在輸入錯誤數據數據、服務器異常、非法操作下可保障不崩潰。6評價條件6.1評價材料評價方開展數字孿生計量評價，評價需求方應提供以下材料：——評價對象可執行文件；——評價對象的性能參數的要求；——評價對象的運行環境、配置參數、配置接口等描述文件；——評價對象的使用說明、需求說明以及用戶手冊等；——數字化車間的實測數據文件（由傳感器獲取，應包含人、機、料、環境的數據，數據量不少于2個正常生產工作日的數據量）；——數字化車間情況說明，包括布置圖、設備清單及參數詳情等；——若存在數字化車間各個物理實體的尺寸、位置實測參數，則提供測量器具的有效檢定、校準或檢測證書等證明材料。注：評價方是指具體開展計量評價的單位；評價需求方是指具有數字孿生算法評價需求的單位，可能為數字化車間數字孿生系統的設計、建設、應用單位；評價對象是指計量評價的對象，可能為數字孿生算法、模型、系統等。6.2評價環境測試環境搭建應注意以下關鍵內容：——確定測試環境的需求和目的，包括測試算法的類型、測試人員的數量和測試時間；——選擇適當的硬件和軟件資源，包括計算機、服務器、操作系統、數據庫、Web服務器、應用程序等；——安裝和配置所需的軟件和工具，包括測試工具、虛擬機等，并且運行正常；——確保測試環境與生產環境具備相同的網絡配置、安全性、訪問控制和備份/恢復策略；——基于數字化車間數據文件，根據評價項目構建測試數據庫，布置于相同網絡環境下的不同主機中；——對測試環境進行監控和維護，包括監測資源使用情況、故障排除、更新版本等；——進行測試并記錄測試結果，包括錯誤報告、性能數據、日志等，進行測試后，應清理環境，以確保下一次測試的準確性。7評價方法7.1概述數字孿生算法評價方法包括專家評價、儀器測量和軟件測試三類。7.2專家評價專家評價主要通過測試資料走讀分析的方法進行評分。7.3儀器測量采用具有有效檢定、校準或檢測證書的儀器進行測量。7.4軟件測試軟件測試主要采用黑盒測試方法，應符合GB/T15532、GB/T38634（所有部分）的要求，測試用軟件工具應符合GB/T41905的要求。8評價項目8.1同步性評價8.1.1同步頻率8.1.1.1評價方法與流程評價方法與流程參見圖3。詳述如下：A.根據數字化車間歷史數據，構建測試數據庫，數據庫包含所有數字孿生體的同步參數類型，每個測試參數設置為在實際參數允許范圍內有序或無序變化的數據集；B.配置數字孿生體運行環境，設置默認參數，運行數字孿生體；C.根據傳感器采集頻率，從測試數據庫向數字孿生體i定頻推送物理實體i的測試參數值（C1ij）；D.利用專用監控軟件或內置監控工具，記錄固定測試時間（T1）內數字孿生體i同步參數值（C2ij）的同步次數（Nij）；E.根據公式（1）計算平均同步頻率（fij）；F.將fij與需求同步頻率（fij需求）進行比較，統計滿足需求的參數數量；G.根據8.1.1.2獲得同步頻率評價得分（LS1）。圖3數字孿生體同步頻率評價流程數字孿生體i第j個同步參數的同步頻率（fij）按公式（1）計算。f（1）式中：fij——物理實體i第j個同步參數的同步頻率；Nij——數字孿生體i第j個同步參數的變更次數；T1——測試時間。8.1.1.2評分規則總分10分。所有參數的fij≥fi需求，LS1得10分；部分（[80%，100%））參數的fij≥fi需求，LS1得8分；部分（[60%，80%））參數的fij≥fi需求，LS1得6分；部分（[40%，60%））參數的fij≥fi需求，LS1得4分；部分（[20%，40%））參數的fij≥fi需求，LS1得2分；部分（[0%，20%））參數的fij≥fi需求，LS1得0分8.1.2同步精度8.1.2.1評價方法與流程評價方法與流程參見圖4。詳述如下：A.根據數字化車間歷史數據，構建測試數據庫，數據庫包含所有數字孿生體的同步參數類型，每個測試參數設置為在實際參數允許范圍內有序或無序變化的數據集；B.配置數字孿生體運行環境，設置默認參數，運行數字孿生體；C.根據傳感器采集頻率，從測試數據庫向數字孿生體i定頻推送物理實體i的測試參數值（C3ij）；D.人工或利用專業監控軟件讀取數字孿生體i中的對應的同步參數值（C4ij）；E.根據公式（2）計算相對誤差（R1ij）；F.將R1ij與需求相對誤差（R1ij需求）進行比較，統計滿足需求的參數數量；G.根據8.1.2.2獲得同步精度評價得分（LS2）。圖4數字孿生體同步精度評價流程數字孿生體i第j個同步參數的相對誤差（R1ij）按公式（2）計算。R（2）式中：R1ij——數字孿生體i第j個同步參數的相對誤差；C3ij——物理實體i第j個測試參數值；C4ij——數字孿生體i第j個同步參數值。8.1.2.2評分規則總分10分。所有參數的R1ij≤R1ij需求，LS2得10分；部分（[80%，100%））參數的R1ij≤R1ij需求，LS2得8分；部分（[60%，80%））參數的R1ij≤R1ij需求，LS2得6分；部分（[40%，60%））參數的R1ij≤R1ij需求，LS2得4分；部分（[20%，40%））參數的R1ij≤R1ij需求，LS2得2分；部分（[0%，20%））參數的R1ij≤R1ij需求，LS2得0分8.1.3同步性評價得分數字孿生同步性評價得分（SS）按公式（3）計算。S（3）W（4）式中：SS——數字孿生同步性評價得分；LS1——數字孿生同步頻率評價得分；LS2——數字孿生同步精度評價得分；WS1——數字孿生同步頻率評價得分權重，根據實際評價需求取值，取值范圍[0,1]；WS2——數字孿生同步精度評價得分權重，根據實際評價需求取值，取值范圍[0,1]。8.2準確性評價8.2.1尺寸準確性8.2.1.1評價方法與流程評價方法與流程參見圖5。詳述如下：A.利用具備有效檢定、校準或檢測證書的器具測量物理實體i的尺寸參數值（C5ij）；注：C5ij由評價需求方提供，需提供測量器具的有效檢定、校準或檢測證書等證明材料。B.配置數字孿生體運行環境，設置默認參數，運行數字孿生體；C.利用專用測量軟件或內置測量工具，測量數字孿生體i對應的孿生尺寸參數值（C6ij）；D.根據公式（5）計算平均相對誤差（R2i）；E.將R2i與需求平均相對誤差（R2i需求）進行比較，統計滿足需求的數字孿生體數量；F.根據8.2.1.1獲得尺寸準確性評價得分（LA1）。圖5數字孿生體尺寸準確性評價流程數字孿生體i的尺寸平均相對誤差（R2i）按公式（5）計算。R（5）式中：R2i——數字孿生體i的尺寸平均相對誤差；C5ij——物理實體i第j個尺寸參數值；C6ij——數字孿生體i第j個孿生尺寸參數值；n1——數字孿生體i的尺寸參數類型總數。8.2.1.2評分規則總分10分。所有數字孿生體的R2i≤R2i需求，LA1得10分；部分（[80%，100%））數字孿生體的R2i≤R2i需求，LA1得8分；部分（[60%，80%））數字孿生體的R2i≤R2i需求，LA1得6分；部分（[40%，60%））數字孿生體的R2i≤R2i需求，LA1得4分；部分（[20%，40%））數字孿生體的R2i≤R2i需求，LA1得2分；部分（[0%，20%））數字孿生體的R2i≤R2i需求，LA1得0分。8.2.2位置準確性8.2.2.1評價方法與流程評價方法與流程參見圖6。詳述如下：A.構建數字化車間空間直角坐標系，利用具備有效檢定、校準或檢測證書的器具測量物理實體i的坐標參數值（C7ij（x1i，y1i，z1i）），C7ij亦可以由數字化車間布置圖進行測算；注：C7ij由評價需求方提供，需提供測量器具的有效檢定、校準或檢測證書等證明材料。B.配置數字孿生體運行環境，設置默認參數，運行數字孿生體；C.利用專用測量軟件或內置測量工具，測量數字孿生體i的坐標參數值（C8ij（x2i，y2i，z2i））；D.根據公式（6）計算位置偏移量（R3i）；E.將R3i與需求位置偏移量（R3i需求）進行比較，統計滿足需求的數字孿生體數量；F.根據8.2.2.2獲得位置準確性評價得分（LA2）。圖6數字孿生體位置準確性評價流程數字孿生體i的位置偏移量（R3i）按公式（6）計算。R（6）式中：R3i——數字孿生體i的位置偏移量；x1i——物理實體i的x坐標參數值；x2i——數字孿生體i的x坐標參數值；y1i——物理實體i的y坐標參數值；y2i——數字孿生體i的y坐標參數值；z1i——物理實體i的z坐標參數值；z2i——數字孿生體i的z坐標參數值。8.2.2.2評分規則總分10分。所有數字孿生體的R3i≤R3i需求，LA2得10分；部分（[80%，100%））數字孿生體的R3i≤R3i需求，LA2得8分；部分（[60%，80%））數字孿生體的R3i≤R3i需求，LA2得6分；部分（[40%，60%））數字孿生體的R3i≤R3i需求，LA2得4分；部分設備（[20%，40%））數字孿生體的R3i≤R3i需求，LA2得2分；部分（[0%，20%））數字孿生體的R3i≤R3i需求，LA2得0分。8.2.3結構準確性8.2.3.1評價方法與流程評價方法與流程參見圖7。詳述如下：A.配置數字孿生體運行環境，設置默認參數，運行數字孿生體；B.根據數字化車間物理實體結構實際情況，走讀數字孿生體分析數字孿生體i的幾何模型建模情況，包括但不限于幾何形狀正確性、部件建模數量、裝配結構正確性等；C.將數字孿生體i的幾何模型建模情況與幾何模型建模結構需求進行比較，統計滿足需求的數字孿生體數量；D.根據8.2.3.1獲得結構準確性評價得分（LA3）。圖7數字孿生體結構準確性評價流程8.2.3.2評分規則總分10分。所有數字孿生體幾何模型符合建模結構需求，LA3得10分；部分（[80%，100%））數字孿生體幾何模型符合建模結構需求，LA3得8分；部分（[60%，80%））數字孿生體幾何模型符合建模結構需求，LA3得6分；部分（[40%，60%））數字孿生體幾何模型符合建模結構需求，LA3得4分；部分（[20%，40%））數字孿生體幾何模型符合建模結構需求，LA3得2分；部分（[0%，20%））數字孿生體幾何模型符合建模結構需求，LA3得0分。8.2.4物理化學屬性準確性8.2.4.1評價方法與流程評價方法與流程參見圖8。詳述如下：A.利用具備有效檢定、校準或檢測證書的器具測量物理實體i的物理、化學屬性參數值（C9ij），C9ij亦可以由參數說明書獲取；注：C9ij由評價需求方提供，測量參數時需提供測量器具的有效檢定、校準或檢測證書等證明材料。B.走讀數字孿生體i設計、配置資料或運行數字孿生體i，讀取物理、化學屬性參數值（C10ij）；C.根據公式（7）計算平均相對誤差（R4i）；D.將R4i與需求平均相對誤差（R4i需求）進行比較，統計滿足需求的數字孿生體數量；E.根據8.2.4.2獲得物理化學屬性準確性評價得分（LA4）。圖8數字孿生體物理化學屬性準確性評價流程數字孿生體i的物理化學屬性平均相對誤差（R4i）按公式（7）計算。R（7）式中：R4i——數字孿生體i的物理化學屬性平均相對誤差；C9ij——物理實體i第j個物理化學屬性參數值；C10ij——數字孿生體i第j個物理化學屬性參數值；n2——數字孿生體i的物理化學屬性參數類型總數。8.2.4.2評分規則總分10分。所有數字孿生體的R4i≤R4i需求，LA4得10分；部分（[80%，100%））數字孿生體的R4i≤R4i需求，LA4得8分；部分（[60%，80%））數字孿生體的R4i≤R4i需求，LA4得6分；部分（[40%，60%））數字孿生體的R4i≤R4i需求，LA4得4分；部分（[20%，40%））數字孿生體的R4i≤R4i需求，LA4得2分；部分（[0%，20%））數字孿生體的R4i≤R4i需求，LA4得0分。8.2.5仿真預測數據準確性8.2.5.1評價方法與流程評價方法與流程參見圖9。詳述如下：A.根據數字化車間歷史數據，構建測試數據庫，數據庫包含所有數字孿生體仿真預測功能所需的條件參數值（C11ij）以及實測結果參數值（C12ij）所組成的數據集；B.配置數字孿生體運行環境，設置默認參數，運行數字孿生體；C.從測試數據庫向數字孿生體i輸入C11ij，開啟預測或仿真功能，獲取仿真預測參數值（C12ij）；D.根據公式（8）計算平均相對誤差（R5i）；E.將R5i與需求平均相對誤差（R5i需求）進行比較，相同條件進行10次測試，統計滿足預測需求的數字孿生體數量；F.根據8.2.5.2獲得仿真預測數據準確性評價得分（LA5）。圖9數字孿生體仿真預測數據準確性評價流程數字孿生體i仿真預測數據平均相對誤差（R5i）按公式（8）計算。R（8）式中：R5i——數字孿生體i仿真預測數據平均相對誤差；C12i——物理實體i基于C11ij下的實測結果參數值；C13i——數字孿生體i基于C11ij下的仿真預測參數值；n3——數字孿生體i預測參數類型總數。8.2.5.2評分規則總分10分。所有數字孿生體的R5i≤R5i需求，LA5得10分；部分（[80%，100%））數字孿生體的R5i≤R5i需求，LA5得8分；部分（[60%，80%））數字孿生體的R5i≤R5i需求，LA5得6分；部分（[40%，60%））數字孿生體的R5i≤R5i需求R3≥60%，LA5得4分；部分（[20%，40%））數字孿生體的R5i≤R5i需求，LA5得2分；部分（[0%，20%））數字孿生體的R5i≤R5i需求，LA5得0分。8.2.6準確性評價得分數字孿生算法準確性評價得分（SA）按公式（9）計算。S（9）W（10）式中：SA——數字孿生準確性評價得分；LA1——數字孿生體尺寸準確性評價得分；LA2——數字孿生體位置準確性評價得分；LA3——數字孿生體結構準確性評價得分；LA4——數字孿生體物理化學屬性準確性得分；LA5——數字孿生仿真預測數據準確性得分；WA1——數字孿生體尺寸準確性評價得分權重，根據實際評價需求取值，取值范圍[0,1]；WA2——數字孿生體位置準確性評價得分權重，根據實際評價需求取值，取值范圍[0,1]；WA3——數字孿生體結構準確性評價得分權重，根據實際評價需求取值，取值范圍[0,1]；WA4——數字孿生體物理化學屬性準確性得分權重，根據實際評價需求取值，取值范圍[0,1]；WA5——數字孿生仿真預測數據準確性得分權重，根據實際評價需求取值，取值范圍[0,1]。8.3實時性評價8.3.1數據獲取實時性8.3.1.1評價方法與流程評價方法與流程參見圖10。詳述如下：A.根據數字化車間歷史數據，構建測試數據庫，數據庫包含所有數字孿生體的同步參數類型，每個測試參數設置為在實際參數允許范圍內有序或無序變化的數據集；B.配置數字孿生體運行環境，設置默認參數，運行數字孿生體；C.根據傳感器采集頻率，從測試數據庫向數字孿生體i定頻推送物理實體i的測試參數值（C14ijk），推送次數為n4；D.利用專用監控軟件或內置計時函數，記錄數字孿生體i從檢測C14ijk到開始執行下一命令（存儲、預處理等）為止的響應時間（T2ijk）；E.根據公式（11）計算數據獲取平均時間（T2i）；F.將T2i與需求數據獲取時間（T2i需求）進行比較，統計滿足需求的數字孿生體數量；G.根據8.3.1.2獲得數據獲取實時性評價得分（LI1）。圖10數字孿生體數據獲取實時性評價流程數字孿生體i數據獲取平均時間（T2i）按公式（11）計算。T（11）式中：T2i——數字孿生體i數據獲取平均時間；T2ijk——數字孿生體i第j個參數第k次推送的響應時間；n4——數據獲取的推送次數；n5——數字孿生體i同步參數類型總數。8.3.1.2評分規則總分10分。所有數字孿生體的T2i≤T2i需求，LI1得10分；部分（[80%，100%））數字孿生體的T2i≤T2i需求，LI1得8分；部分（[60%，80%））數字孿生體的T2i≤T2i需求，LI1得6分；部分（[40%，60%））數字孿生體的T2i≤T2i需求，LI1得4分；部分（[20%，40%））數字孿生體的T2i≤T2i需求，LI1得2分；部分（[0%，20%））數字孿生體的T2i≤T2i需求，LI1得0分。8.3.2數據預處理實時性8.3.2.1評價方法與流程評價方法與流程參見圖11。詳述如下：A.根據數字化車間歷史數據，構建測試數據庫，數據庫包含所有數字孿生體的同步參數類型，每個測試參數設置為在實際參數允許范圍內有序或無序變化的數據集；B.配置數字孿生體運行環境，設置默認參數，運行數字孿生體；C.根據傳感器采集頻率，從測試數據庫向數字孿生體i定頻推送物理實體i的測試參數值（C15ijk），推送次數為n6；D.利用專用監控軟件或內置計時函數，記錄數字孿生體i從執行處理C15ijk命令到結束處理C15ijk命令位置的響應時間（T3ijk）；E.根據公式（12）計算數據預處理平均時間（T3i）；F.將T2i與需求數據預處理時間（T3i需求）進行比較，統計滿足需求的數字孿生體數量；G.根據8.3.2.2獲得數據預處理實時性評價得分（LI2）。圖11數字孿生體數據預處理實時性評價流程數字孿生體i數據預處理平均時間（T3i）按公式（12）計算。T（12）式中：T3i——數字孿生體i數據預處理平均時間；T3ijk——數字孿生體i第j個參數第k次推送的預處理時間；n6——數據預處理的推送次數；n7——數字孿生體i同步參數類型總數。8.3.2.2評分規則總分10分。所有數字孿生體的T3i≤T3i需求，LI2得10分；部分（[80%，100%））數字孿生體的T3i≤T3i需求，LI2得8分；部分（[60%，80%））數字孿生體的T3i≤T3i需求，LI2得6分；部分（[40%，60%））數字孿生體的T3i≤T3i需求，LI2得4分；部分（[20%，40%））數字孿生體的T3i≤T3i需求，LI2得2分；部分（[0%，20%））數字孿生體的T3i≤T3i需求，LI2得0分。8.3.3數據傳輸實時性8.3.3.1評價方法與流程評價方法與流程參見圖12。詳述如下：A.根據數字化車間歷史數據，構建測試數據庫，數據庫包含所有數字孿生體的同步參數類型，每個測試參數設置為在實際參數允許范圍內有序或無序變化的數據集；B.配置數字孿生體運行環境，設置默認參數，運行數字孿生體；C.根據傳感器采集頻率，從測試數據庫向數字孿生體i定頻推送物理實體i的測試參數值（C16ijk），經過數字孿生體i處理、分析后記為測試數據（C17ijk）；D.利用專用監控軟件或內置計時函數，記錄數字孿生體i從開始執行發送C17ijk命令到關聯數字孿生體p接收到C17ijk為止的響應時間（T4ijk），執行發送命令n8次；E.根據公式（13）計算數據傳輸平均時間（T4i）；F.將T4i與需求數據傳輸時間（T4i需求）進行比較，統計滿足需求的數字孿生體數量；G.根據8.3.3.2獲得數據傳輸實時性評價得分（LI3）。圖12數字孿生體數據傳輸實時性評價流程數字孿生體i數據傳輸平均時間（T4i）按公式（13）計算。T（13）式中：T4i——數字孿生體i數據傳輸平均時間；T4ijk——數字孿生體i第j個參數第k次發送的傳輸時間；n8——數據傳輸的次數；n9——數字孿生體i同步參數類型總數。8.3.3.2評分規則總分10分。所有數字孿生體的T4i≤T4i需求，LI3得10分；部分（[80%，100%））數字孿生體的T4i≤T4i需求，LI3得8分；部分（[60%，80%））數字孿生體的T4i≤T4i需求，LI3得6分；部分（[40%，60%））數字孿生體的T4i≤T4i需求，LI3得4分；部分（[20%，40%））數字孿生體的T4i≤T4i需求，LI3得2分；部分（[0%，20%））數字孿生體的T4i≤T4i需求，LI3得0分。8.3.4異常響應實時性8.3.4.1評價方法與流程評價方法與流程參見圖13。詳述如下：A.根據數字化車間歷史數據，構建測試數據庫，數據庫包含所有數字孿生體的設置報警閾值的參數類型，每個測試參數設置為大于或超過報警閾值的數據集；B.配置數字孿生體運行環境，設置默認參數，運行數字孿生體；C.根據傳感器采集頻率，從測試數據庫向數字孿生體i定頻推送物理實體i的測試參數值（C18ijk），推送次數為n10；D.利用專用監控軟件或內置計時函數，記錄數字孿生體i從檢測到C18ijk命令到執行發送報警命令為止的響應時間（T5ijk）；E.根據公式（14）計算異常響應平均時間（T5i）；F.將T5i與需求異常響應時間（T5i需求）進行比較，統計滿足需求的數字孿生體數量；G.根據8.3.4.2獲得異常響應實時性評價得分（LI4）。圖13數字孿生體異常響應實時性評價流程數字孿生體i異常響應平均時間（T5i）按公式（14）計算。T（14）式中：T5i——數字孿生體i異常響應平均時間；T5ijk——數字孿生體i第j個參數第k次推送的報警時間；n10——報警數據的推送次數；n11——數字孿生體i報警參數類型總數。8.3.4.2評分規則總分10分。所有數字孿生體的T5i≤T5i需求，LI4得10分；部分（[80%，100%））數字孿生體的T5i≤T5i需求，LI4得8分；部分（[60%，80%））數字孿生體的T5i≤T5i需求，LI4得6分；部分（[40%，60%））數字孿生體的T5i≤T5i需求，LI4得4分；部分（[20%，40%））數字孿生體的T5i≤T5i需求，LI4得2分；部分（[0%，20%））數字孿生體的T5i≤T5i需求，LI4得0分。8.3.5實時性評價得分數字孿生實時性評價得分（SI）按公式（15）計算。S（15）W（16）式中：SI——數字孿生實時性評價得分；LI1——數據獲取實時性評價得分；LI2——數據預處理實時性評價得分；LI3——數據傳輸實時性評價得分。LI4——異常響應實時性評價得分。WI1——數字孿生數據獲取實時性評價得分權重，根據實際評價需求取值，取值范圍[0,1]；WI2——數字孿生數據預處理實時性評價得分權重，根據實際評價需求取值，取值范圍[0,1]；WI3——數字孿生數據傳輸實時性評價得分權重，根據實際評價需求取值，取值范圍[0,1]；WI4——數字孿生異常響應實時性評價得分權重，根據實際評價需求取值，取值范圍[0,1]。8.4可靠性評價8.4.1穩定性評價8.4.1.1評價方法與流程評價方法與流程參見圖14。詳述如下：A.根據數字化車間歷史數據，構建測試數據庫，數據庫包含所有數字孿生體的同步參數類型，每個測試參數設置為在實際參數允許范圍內有序或無序變化的數據集；B.配置數字孿生體運行環境，設置默認參數，運行數字孿生體；C.運行專業負載測試工具，根據實際生產需求設置負載條件，包括用戶訪問數量、同步數據量（測試數據庫數據推送量）以及運行時間；D.相同條件重復n12次測試，根據數字孿生體的運行狀況進行評價打分（評分規則參見8.4.1.2），獲得數字孿生體i第j次測試的評價得分（LR1ij）；E.根據公式（17）計算數字孿生體穩定性評價總得分（LR1）。圖14數字孿生體穩定性評價流程數字孿生體穩定性評價總得分（LR1）按公式（17）計算。L（17）式中：LR1——數字孿生體穩定性評價得分；LR1ij——數字孿生體i第j次測試的評價得分；n12——數字孿生體i負載測試次數；n13——數字化車間數字孿生體總數。8.4.1.2評分規則總分10分。數字孿生體正常運行，LR1得10分；數字孿生體操作響應延遲小于或等于60s，LR1得5分；數字孿生體操作響應延遲大于60s或崩潰，LR1得0分。8.4.2魯棒性評價8.4.2.1評價方法與流程評價方法與流程參見圖15。詳述如下：A.根據數字化車間歷史數據，構建測試數據庫，數據庫包含所有數字孿生體的同步參數類型，每個測試參數設置為非法或不合理的數據集；B.配置數字孿生體運行環境，設置默認參數，運行數字孿生體；C測試數字孿生體在輸入錯誤數據數據（測試數據庫推送）、服務器異常處理（網絡異常、服務器異常等）、非法操作處理（大量刪除歷史數據、變更運行參數等人為非法操作）條件下的運行狀況；D.相同條件重復n14次測試，根據數字孿生體的運行狀況進行評價打分（評分規則參見8.4.2.2），獲得數字孿生體i第j次測試的評價得分（LR2ij）；E.根據公式（18）計算數字孿生體穩定性評價總得分（LR2）。圖15數字孿生體穩定性評價流程數字孿生體穩定性評價總得分（LR2）按公式（18）計算。L（18）式中：LR2——數字孿生體魯棒性評價得分；LR2ij——數字孿生體i第j次測試的評價得分；n14——數字孿生體i魯棒性測試次數；n15——數字化車間數字孿生體總數。8.4.2.2評分規則總分10分。數字孿生體正常運行，即數字孿生體能夠處理正確處理錯誤數據并給出合理的提示信息，數字孿生體在擬網絡異常、服務器異常條件下具備重試機制和自動恢復能力，數字孿生體在人為非法操作下具備數據恢復、保障能力以及具備功能實現保障機制，此時LR2得10分；數字孿生體運行狀況異常，即不完全具備以上能力或機制，此時LR2得10分；數字孿生體不具備以上能力或機制，或數字孿生體崩潰，LR2得0分。8.4.3可靠性評價得分數字孿生可靠性評價得分（SR）按公式（19）計算。S（19）W（20）式中：SR——數字孿生可靠性評價得分；LR1——數字孿生系統穩定性評價得分；LR2——數字孿生系統魯棒性評價得分；WR1——數字孿生系統穩定性評價得分權重，根據實際評價需求取值，取值范圍[0,1]；WR2——數字孿生系統魯棒性評價得分權重，根據實際評價需求取值，取值范圍[0,1]。9評價結果9.1數字孿生評價總分按公式（21）計算出數字孿生評價總分。S（21）式中：S——數字孿生評價總分；SS——數字孿生同步性評價得分；SA——數字孿生準確性評價得分；SI——數字孿生實時性評價得分；SR——數字孿生穩定性評價得分。評價項目的記錄格式參見附錄B，評價項目的報告格式參見附錄C。9.2數字孿生算法評價等級數字孿生算法評價等級見表1。表1數字孿生算法評分分級表級別含義評價得分范圍A優秀[90，100]B良好[80，90)C一般[60，80)D差[0，60）

附錄A評價項目表表A.1數字孿生算法評價項目表序號評價項目技術要求條款評價方法條