中華人民共和國醫藥行業標準人工智能醫療器械質量要求和評價國家藥品監督管理局發布I 12規范性引用文件 13術語和定義 13.1基礎技術術語 13.2數據集術語 53.3質量特性術語 93.4質量評價術語 3.5應用場景術語 附錄A(資料性)評價指標計算公式說明 參考文獻 Ⅲ本文件按照GB/T1.1—2020《標準化工作導則第1部分：標準化文件的結構和起草規則》的規定本文件是YY/T1833《人工智能醫療器械質量要求和評價》的第1部分。YY/T1833已經發布—第1部分：術語；——第2部分：數據集通用要求。請注意本文件的某些內容可能涉及專利。本文件的發布機構不承擔識別專利的責任。本文件由國家藥品監督管理局提出。本文件由全國人工智能醫療器械標準化技術歸口單位歸口。長征醫院、上海聯影智能醫療科技有限公司、飛利浦(中國)投資有限公司、上海西門子醫療器械有限公司、杭州依圖醫療技術有限公司、騰訊醫療健康(深圳)有限公司、有限公司、美中互利醫療有限公司、慧影醫療科技(北京)有限公司、北京安德醫智—第2部分：數據集通用要求。目的在于提出數據集的通——第4部分：可追溯性通用要求。目的在于提出人工智能醫療器械可追溯性的通用要求及評價 第5部分：算法安全要求。目的在于規范人工智能醫療器械采用的人工智能算法的安全要求1人工智能醫療器械質量要求和評價本文件界定了人工智能醫療器械質量要求和評價使用的術語和定義。本文件適用于人工智能醫療器械。2規范性引用文件本文件沒有規范性引用文件。3術語和定義3.1基礎技術術語表現出與人類智能(如推理和學習)相關的各種功能的功能單元的能力。采用AI技術實現其預期用途的醫療器械。在集成到正在開發的醫療器械中的已開發的軟件系統，或者預期作為醫療器械使用的軟件系統。通過功能單元對某一對象物理或抽象的模式以及結構和配置的辨識。人工神經網絡artificialneuralnetwork;ANN由加權鏈路且權值可調整連接的基本處理元素的網絡，通過把非線性函數作用到其輸入值上使每2個單元產生一個值，并把它傳送給其他單元或把它表示成輸出值。從已知前提導出結論的方法。能表達模式本質的功能或結構特點的可度量屬性。機器學習machinelearning功能單元通過獲取新知識或技能，或通過整理已有的知識或技能來改進其性能的過程。通過訓練具有多個隱層的神經網絡來獲得輸入輸出間映射關系的機器學習方法。一種學習策略，獲得的知識的正確性通過來自外部知識源的反饋加以測試的學習策略。無監督學習unsupervisedlearning一種學習策略，它在于觀察并分析不同的實體以及確定某些子集能分組到一定的類別里，而無需在獲得的知識上通過來自外部知識源的反饋，以實現任何正確性測試。強化學習reinforcementlearning一種學習策略，它強調從環境狀態到動作映射的過程，目標是使動作從環境中獲得的累積獎賞值一種學習策略，它自行利用少量的具有標記信息的樣本和大量沒有標記的樣本進行學習的框架。3一種學習策略，通過基于數據本身設計和建立的各種標記信息來對數據本身的特征、特性進行學習，進而把學習到的數據特征網絡作為主干網絡遷移到對目標任務的學習中。一種學習策略，通過使用有噪聲的、不完全的、不精確的外通過結合多個學習器來解決問題的一種機器學習范式。學習過程中由學習器挑選未標記樣本，并請求外界提供標記信息，其目標是使用盡可能少的查詢來取得好的學習性能。利用一個學習領域A上有關學習問題T(A)的知識，改進學習領域B上相關學習問題T(B)的學習算法的性能。聯邦學習federatedlearning一種從多個數據源協同建立模型的機器學習框架，本地數據訪問受限，各個數據源方獨立進行本地基于機器學習算法，利用訓練數據，建立或改進機器學習模型參數的過程。一種利用已知數據集獲取學習器最優參數，以期望在未知數據集上獲得最佳泛化性能。學習器對訓練樣本過度學習，導致訓練樣本中不具有普遍性的模式被學習器當作一般規律，降低了泛化性能；典型表現是訓練集上的性能越高，測試集上的性能越低。欠擬合underfitting學習器對訓練樣本學習不充分，導致訓練樣本中包含的重要模式沒有被學習器獲取，降低了泛化性能；典型表現是訓練集上的性能可以繼續提高，測試集上的性能同時得以提高。4在給定層內的各人工神經元之間既沒有反饋路徑也沒有任何路徑的多層網絡。一種多層網絡，它使用反向傳播，以便學習期間的連接權調整。前饋傳播feedforwardpropagation在多層網絡中，從輸入層朝向網絡的輸出逐層進行連接權調整的傳播。在多層網絡中，從連接權調整輸出層朝向網絡的輸入的逐層傳播。學知識的集合，也可作為臨床教學及臨床診療的輔助參考工具。算法在運行狀態下提供的推理服務。通過云計算已定義的接口，部署在云端服務器上提供的一種或多種能力。通過云計算已定義的接口，部署在邊緣計算設施上提供的一種或多種能力。部署在終端或本地計算設施上提供的一種或多種能力。5人工智能醫療器械生存周期模型AIMDlifecyclemodel人工智能醫療器械從起始到停運的整個演進過程的框架。3.2數據集術語信息的可再解釋的形式化表示，以適用于通信、解釋或處理。一旦泄露、非法提供或濫用可能危害人身和財產安全，極易導致個人名譽、身心健康受到損害或歧視性待遇等的個人信息。與身體或心理健康相關的個人敏感數據。按照研究方案要求收集但未觀測到的數據。定義和描述其他數據的數據。數據質量dataqualit:在指定條件下使用時，數據的特性滿足明確的、隱含的要求的程度。6具有一定主題，可以標識并可以被計算機化處理的數據集合。用于訓練人工智能算法的數據集，其外部知識源可用于算法參數的計算。用于優化人工智能算法的數據集，其外部知識源可用于算法超參數的選擇。用于測試人工智能算法性能的數據集，其外部知識源可用于對算法的評估。數據集偏倚datasetbias數據集偏離預設目標的一種系統偏差。數據質量特性dataqualitycharacteristie對數據質量有影響的數據質量屬性的類別。從不同粗細粒度表征的數據層次結構。篩查、診斷和治療過程或基于標注過程建立的基準。7篩查、診斷和治療可依據的最佳參考標準。用于和算法結果進行比對的外部知識源。數據清洗datacleaning檢測和修正數據集合中錯誤數據項的預處理過程。數據資源及其應用過程中相關管控活動、績效和風險管理的集合。附加到一組數據元素的標識符。數據由生成裝置按照數據采集規范生成，以數字化格式存儲并傳輸到目標系統的過程。數據脫敏datamasking通過去標識化或匿名化，實現對個人敏感信息的可靠保護。通過對個人信息的技術處理，使得個人信息主體無法被識別或者關聯，且處理后的信息不能被復原的過程。通過對個人信息的技術處理，使其在不借助額外信息的情況下，無法識別或者關聯個人信息主體的過程。8對數據進行分析，添加外部知識的過程。多名標注人員對同一原始數據的標注結果不一致時用于決定最終結果的過程。物體通過某種成像原理而重顯的影像，并可數字化。用來表示一個變量相對于其他變量變化情況的線條圖，或用以代替文字說明一個概念和思想的圖解和表格。解釋主要以讀者對某種自然語言或人工語言的了解為基礎。量化的數值或分類，用來表示水平或狀態。一種數字化動態媒體形態，用于描述聲音及其時序性質，并可進行數字人工合成。一種數字化動態媒體形態，用于描述運動圖像，進行高速信息傳送或顯示瞬間的相互關系。9在規定條件下使用時，軟件產品滿足明確或隱含要求的能力。a)為使某項目或產品遵循已建立的技術需求提供足夠的置信度，而必須采取的有計劃的和有系統的全部動作的模式。b)設計以估算產品開發或制造過程的一組活動。系統或部件在給定的約束條件下實現指定功能的程度。為確定運行目標達到了何種有效程度而對系統或系統部件的技術評價。在規定時間間隔內和規定條件下，系統或部件執行所要求功能的能力。保護數據準確性和完備性的性質。一致性consistency重復性repeatability由同一操作員按相同的方法、使用相同的測試或測量設施、在短時間間隔內對同一測試/測量對象進行測試/測量，所獲得的獨立測試/測量結果間的一致程度。再現性reproducibility由不同的操作員按相同的方法，使用不同的測試或測量設施，對同一測試/測量對象進行觀測以獲得獨立測試/測量結果，所獲得的獨立測試/測量結果間的一致程度。可達性accessibility組成軟件的各部分便于選擇使用或維護的程度。可得性availabilitya)軟件(系統或部件)在投入使用時可操作或可訪問的程度或能實現其指定系統功能的概率。b)系統正常工作時間和總的運行時間之比。c)在運行時，某一配置項實現指定功能的能力。數據對未授權的個人、實體或過程不可用或不泄露的特性。安全性safety免除于不可接受的風險。魯棒性/穩健性在存在無效輸入或急迫的環境條件下，系統或部件其功能正確的程度。泛化能力generalizability機器學習算法對陌生樣本的適應能力。在給定的測試環境下，對給定數量樣本進行運算并獲得結果所需要的平均時間。可追溯性traceability系統對其決策過程及輸出進行記錄的特性。系統做出不涉及喜好和偏袒決策的性質。可解釋性explainability以人能理解的方式，對系統決策因素進行說明的能力。評價系統或部件與規定的性能需求的依從性的測試行為。獨立性能測試standaloneperformancetesting通過直接比對模型在沒有外界干預的情況下產生的結果和參考標準的結果，評估人工智能醫療器械的性能。判讀者性能測試readerperformancetesting通過比對判讀者在獨立工作和結合模型工作兩種狀態下判讀數據的結果，評估人工智能醫療器械的性能。通過判讀人員和病例的某種交叉組合方式開展的判讀者性能研究，評估人工智能醫療器械的性能。忽略系統或部件的內部機制只集中于響應所選擇的輸入和執行條件產生的輸出的一種測試。白盒測試glass-boxtesting側重于系統或部件內部機制的測試。類型包括分支測試、路徑測試、語句測試等。對抗[措施]countermeasure病變定位率lesionlocalizationrate病變定位數量占由參考標準確定的全體病變數量的比例。非病變定位數量占全體病例數量的比例，非病變定位率可以大于1。假陽性病例數量(陰性病例中包含非病變定位)占全部陰性病例數量的比例。真陽性樣本占全體陽性樣本的比例。特異度specificity真陰性樣本占全體陰性樣本的比例。1減去靈敏度。精確度(查準率)precision真陽性樣本占被算法判為陽性樣本的比例。陰性預測值negativepredictionvalue真陰性樣本占被算法判為陰性樣本的比例。算法判斷正確的樣本占全體樣本的比例。F?度量F?-measure召回率和精確度的調和平均數。約登指數Youdenindex靈敏度與特異度之和減去1。受試者操作特征曲線receiveroperatingcharacteristicscurve;ROCcurve以假陽性率為橫坐標、真陽性率為縱坐標，根據算法在不同閾值設定下對于給定的測試集得到的一系列結果繪制的曲線。以非病變定位率為橫坐標、病變定位率為縱坐標，根據算法在不同閾值設定下對于給定的測試集得到的一系列結果繪制的曲線。以假陽性率為橫坐標、病變定位率為縱坐標，根據算法在不同閾值設定下對于給定的測試集得到的一系列結果繪制的曲線。精確度-召回率曲線precision-r以召回率為橫坐標、精確度為縱坐標，根據算法在不同閾值設定下對于給定的測試集得到的一系列結果繪制的曲線。曲線下面積areaundercurve;AUC曲線下與坐標軸圍成的積分面積。平均精確度averageprecision;AP精確度-召回率曲線下與坐標軸圍成的積分面積。平均精確度均值meanaverageprecision;MAP在多目標檢測問題上，算法對于各類目標的平均精確度的平均值。分割區域與目標區域的交集占分割區域與目標區域并集的比例。分割區域與目標區域的交集占分割區域與目標區域平均值的比例。分割區域中心與目標區域中心的距離，該指標反映兩個集合的接近程度。一種矩陣，它按一組規則記錄試探性實例的正確分類和不正確分類的個數。一種用于評價結果一致性的指標。信噪比signal-to-noise信號平均功率水平與噪聲平均功率水平的比值。峰值信噪比peaksignal-to-noiseratio信號最大可能功率水平與噪聲平均功率水平的比值。一種衡量兩幅圖像相似度的指標。通過測量兩個向量的夾角的余弦值來度量它們之間的相似性。度量概率分布或概率模型的預測結果與樣本的契合程度，困惑度越低則契合越準確。將識別出來的字需要進行修改的字數與總字數的比值。一種度量兩個概率分布之間差異的指標。對兩個隨機變量間相互依賴性的量度。服務客戶發起服務請求后，服務可訪問的時間占總服務時間的比例。涉及使用計算機完成部分工作的技術或過程。計算機輔助檢測computer-aideddetection通過檢測、標記、強調或其他方式輔助醫務人員注意醫療數據的可能異常情況。其結果供醫務人員計算機輔助分診computer-aidedtri自動分析醫療數據、給出初始解釋和鑒別分類、輔助醫務人員確定患者優先級。臨床決策支持clinicaldecisionsupport根據臨床知識和患者數據產生輔助決策的建議，該建議由醫務人員使用。向患者提供建議或輔助決策，該決策由非醫務人員使用，結果僅供參考。功能單元獲取、處理和解釋可視數據的能力。通過功能單元對人的語音所表示信息的感知與分析。自然語言理解和生成及其衍生技術，以從文本化的人類語言中獲取有意義的信息。將海量知識及其相互聯系組織在一張大圖中，用于知識的管理、搜索和服務。醫學圖像處理medicalimageprocessing一類對醫學圖像進行處理的方法。(資料性)評價指標計算公式說明A.1輔助診斷性能人工智能醫療器械輔助診斷功能多涉及分類問題，算法將患者數據輸出兩個或兩個以上互斥(不相交)的類別或狀態。根據輸出的類別或狀態的數量構成混淆矩陣，通過混淆矩陣的各個參量來評價輔助診斷性能。對于分類問題，混淆矩陣的一般形式如表A.1所示。表A.1n分類混淆矩陣Pred_1True_1……N注：Pred_x(x=1～n)為人工智能分類為x類的類別；True_x(x=1～n)為參考標準分類為x類的類別；N,(i=1～n,j=1～n)為參考標準的分類結果為i類，被人工智能分類為j類的個數；n為分類類型個數。二分類的混淆矩陣可簡化為表A.2所示。表A.2二分類混淆矩陣陽性陰性陽性陰性多分類實際可轉化為二分類問題，參考標準分類為i類與其他類別的混淆矩陣簡化形式如表A.3所示。陽性陰性陽性陰性MR=1-Sen式中p.的表達式見公式(A.9):A.2輔助檢測性能LL——算法檢出病變位置正確標識出參考標準確定的病變位置的數量；Les——為參考標準確定的全體病變數量。A.2.3非病變定位率非病變定位率用NLR表示，表達式見公式(A.12):式中：NLR——非病變定位率；NLL——算法檢出病變位置未能正確標識出參考標準確定的病變位置的數量；N——全體病例數量。A.2.4假陽性率FPR——假陽性率；M——被判為假陽性病例的陰性病例總數。在計算候選自由受試者操作特征曲線時，每個陰性病例如含有非病變定位且其最大值高于決策閾值，視為假陽性病例，反之視為陰性。N、——陰性病例總數。F?度量用F?表示，表達式見公式(A.14):LLR——病變定位率；Pre——精確度。LLR——病變定位率；β——權重參數，當β>1時，召回率的權重大于精確度；β=1時，召回率與精確度的權重相等；β<1時，精確度的權重大于召回率。病變定位率或召回率病變定位率或召回率A.2.6自由響應受試者操作特征曲線自由響應受試者操作特征曲線如圖A.2所示。A.2.7精確度-召回率曲線精確度-召回率曲線如圖A.3所示。A.2.8平均精確度平均精確度用AP表示，表達式見公式(A.16):式中：AP——平均精確度；A.3輔助分割性能Pre——精確度；B——分割區域。Dice系數用Dice表示，表達式見公式(A.20):式中：B——分割區域Jaccard系數用Jaccard表示，表達式見公式(A.21):Jaccard——Jaccard系數；B——分割區域。[6]GB/T11457—2006信息技術軟件工程術語[9]GB/T25000.1—2021系統與軟件工程系統與軟件質量要求和評價([10]GB/T25000.12—2017系統與軟件工程系統與軟件質量要求和評價(SQuaRE)第12[15]GB/T34960.5—20theimpactoflibrariesmedicaldevices—Part2-2:GuidanceforthecommunicationofYY/T1833.1—2022漢語拼音索引A峰值信噪比……3.4.2.35服務可用性……3.4.2.42B白盒測試…………3.4.1.6GT值……………3.2.18半監督學習………3.1.13個人敏感數據……3.2.2保密性……………3.3.12公平性……………3.3.19本地服務…………3.1.32過擬合……………3.1.22邊緣云服務………3.1.31H病變定位………3.4.2.9病變定位率……3.4.2.11黑盒測試…………3.4.1.5候選自由受試者操作特征曲線……………3.4.2.24C互信息…………3.4.2.41參考標準…………3.2.16患者決策輔助……3.5.6測試集……………3.2.11混淆矩陣………3.4.2.32查全率…………3.4.2.14J查準率…………3.4.2.17機器學習…………3.1.8D集成學習…………3.1Dice系數………3.4.2.30計算機輔助………3.5.1獨立性能測試……3.4.1.2計算機輔助分診…………………3.5.4對抗[措施]………3.4.1.7計算機輔助檢測…………………3.5.3對抗測試…………3.4.1.9計算機輔助診斷…………………3.5.2對抗樣本…………3.4.1.8計算機視覺………3.5.7多媒體……………3.2.35假陽性……………3.4.2.4多判讀者多病例研究……………3.4.1.4假陽性率………3.4.2.13假陰性……………3.4.2.6F監督學習…………3.1.F?度量…………3.4.2.20健康數據…………3.2.3反饋傳播…………3.1.27健壯性……………3.3.15反向傳播網絡……3.1.25交并比…………3.4.2.29泛化能力…………3.3.16交叉熵…………3.4.2.40非病變定位……3.4.2.10交叉驗證…………3.1.21非病變定位率…………………3.4.2.12結構相似性……3.4.2.36精確度…………3.4.2.17精確度-召回率曲線…………3.4.2.25K困惑度…………3.4.L臨床決策支持……3.5.5靈敏度…………3.4.2.14漏檢率…………3.4.2.16M模式識別…………3.1.4目標區域…………3.4.2.7NP判讀者性能測試…………………3.4.1.3平均精確度……3.4.2.27平均精確度均值………………3.4Q前饋網絡…………3.曲線下面積……3.4去標識化…………3.缺失數據…………3.2.4R人工神經網絡……3.1.5人工視覺…………3.5.7人工智能…………3.1.1人工智能醫療器械………………3.1.2人工智能醫療器械生存周期模型……………3.1.33軟件質量保證……3.3.2S深度學習…………3.1.9受試者操作特征曲線…………3.4.2.22數據標簽…………3.2.22數據標注…………3.2.27數據采集…………3.2.23數據集偏倚………3.2.13數據生存周期……3數據脫敏…………3.2.24數據挖掘…………3.2.21數據質量…………3.2.7數據質量特性……3.2.14數據治理…………3.2.20數值………………3.2.32T特異度…………3.4.2.YY/T1833.1—2022推理………………3.1.6陰性樣本…………3.4.2.2陰性預測值……3.4.2.18W完整性……………3.3.6余弦相似度……3.4.2.37網絡安全…………3.3.13語音識別…………3.5.8穩健性……………3.3.15約登指數…無監督學習………3.1.11云服務……………3.1.30X響應時間…………3.3.17再現性……………3.3.9信噪比…………3.4.2.34召回率…………3.4.2.14性能………………3.3.3真陽性……………3.4.2.3性能測試…………3.4.1.1真陰性……………3.4.2.5性能評價…………3.3.4知識圖譜…………3.5.10訓練………………3.1.20中心點距離……3.4.2.31訓練集……………3.2.9仲裁……重復性……………3.Y陽性樣本…………3.4.2.1準確率…………3.4.2.19陽性預測值……3.4.2.17自動語音識別……3.5.8醫療器械軟件……3.1.3自然語言處理……3.5.9醫學圖像處理……3.5.11自由響應受試者操作特征曲線……………3.4.2.23醫學知識庫………3.1.28字錯率…………3.4.2.39英文對應詞索引Aaccessibility…………………accuracy…………………………3.4.2.19anonymization………arbitration…………………………3.2.28areaundercurve(AUC)…………………3.4.2.26artificialintelligence(AI)……………………artificialneuralnetwork(ANN)……………artificialvision………averageprecision(AP)……Bblack-boxtesting………Ccentraldistance……………computervision………………3.5.7computer-aideddetection……………………3.5.3computer-aideddiagnosis……………………3.confusionmatrix…………………consistency………………………cosinesimilarity…………crossvalidation……………Ddatagovernance………datalifecycle………………3datamasking…………………3.2.24datamining…………………3.2.21dataqualitycharacteristic……dataset…………datastratification……………3.2.15datasetbias……………deeplearning……………de-identification……………………Dicecoefficient………………Eedgecloudservice………………ensemblelearning…FF?-measure………fairness…………………falsenegative(FN)falsepositiverate……falsepositive(FP)………………feature…………………………3.federatedlearning……………feedbackpropagation………………………3.1.27feedforwardnetwork…free-responsereceiveroperatingcharacteristicscurve(FROC)………………Ggeneralizability…………glass-boxtesting……………graphies…