《人工智能醫(yī)療器械肺部影像輔助分析軟件算法性能測試方法按照《國家標(biāo)準(zhǔn)化管理委員會關(guān)于下達2024年第七批推薦性國家標(biāo)準(zhǔn)計劃及相關(guān)標(biāo)準(zhǔn)外文版計劃的通知》（國標(biāo)委發(fā)〔2024〕44理局負責(zé)組織該標(biāo)準(zhǔn)的起草工作，由中國食品藥品檢定研究院（國家藥品監(jiān)督管理（上海長征醫(yī)院）、遼寧省醫(yī)療器械檢驗檢測院、國家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評中心、中國人民解放軍總醫(yī)院、北京大學(xué)、中國院、重慶大學(xué)、中山大學(xué)、上海市醫(yī)療器械檢驗研究院院(北京市醫(yī)用生物防護裝備檢驗研究中心)、山東省醫(yī)院、湖北省醫(yī)療器械質(zhì)量監(jiān)督檢驗研究院、上海西門子(中國)投資有限公司、上海聯(lián)影智能醫(yī)療科技有限公司司、廣州柏視醫(yī)療科技有限公司、杭州健培科技有限公司1.成立工作組2.組織起草本文件的起草過程是對IEC63524ED1標(biāo)準(zhǔn)的等同轉(zhuǎn)化。該國10月立項，立項草案基于我國行業(yè)標(biāo)準(zhǔn)YY/T1858-22024年11月以來，本文件起草組對IEC63翻譯和編輯性修改。同時，起草組圍繞國內(nèi)相關(guān)產(chǎn)品的注冊行了調(diào)研，對標(biāo)準(zhǔn)草案的技術(shù)內(nèi)容進行了對照論證，確認二、編制原則、推薦性國家標(biāo)準(zhǔn)主要技術(shù)要求的依據(jù)（包括驗證本標(biāo)準(zhǔn)在制定過程中，梳理了國內(nèi)外已上市相關(guān)產(chǎn)品技術(shù)驗證方式，測試流程參考了IEC63450、IEC63521本文件規(guī)定了對采用人工智能技術(shù)的肺部影像輔助分本文件適用于采用人工智能技術(shù)、具有輔助診斷、輔分診、優(yōu)先級評定、隨訪跟蹤等后處理功能的肺部影像輔助分析模態(tài)為肺部放射影像，包括但不限于X線、在原YY/T1858-2022標(biāo)準(zhǔn)第4章的基礎(chǔ)上，按照IEC63524本標(biāo)準(zhǔn)包含兩個資料性附錄，為標(biāo)準(zhǔn)的實施提供參考信息正文內(nèi)容考慮了算法性能測試的指標(biāo)定義、步驟和方法；附錄的內(nèi)容作為補充、本標(biāo)準(zhǔn)為試驗方法標(biāo)準(zhǔn)，根據(jù)人工智能算法在肺部影像輔助分析中的應(yīng)用場景進行技術(shù)驗證。本次技術(shù)驗證采用肺結(jié)節(jié)輔助檢測軟件作為試驗樣品，依托中檢院胸部CT肺結(jié)節(jié)標(biāo)準(zhǔn)測試集開展具體測試，測試指標(biāo)覆蓋了檢出、分類、分割、測量規(guī)范性附錄A主要是對測試流程的驗證，包括過程驗證、工具驗證、檢查記錄等實現(xiàn)形式；第6章是對具體測試方法的試驗驗證，依托相關(guān)AI產(chǎn)品和算法模型，在典型應(yīng)用場景下輸入測試集，對AI輸出的結(jié)果進行分析，在病例層面、病灶層面形成定量的測試結(jié)果，客觀反映了該產(chǎn)品在檢出、分類、分割、測量等各種應(yīng)用情景下的算法性能指標(biāo)，同時對魯棒性、錯誤統(tǒng)計等內(nèi)容進行了驗證，豐富了對產(chǎn)品算法性能的認識。上述內(nèi)容可視為對臨床試驗的補充，為監(jiān)管決策提供更多的證據(jù)。本標(biāo)準(zhǔn)有助于統(tǒng)一肺部影像輔助分析軟件的算法性能指標(biāo)定義，提升不同產(chǎn)品之間的可比性，規(guī)范各企業(yè)、檢測機構(gòu)開展算法性能測試的流程、方法和工具，支撐產(chǎn)品各個階段的質(zhì)量評價需求。本標(biāo)準(zhǔn)有助于支持多中心測試資源的聯(lián)動、整合、本標(biāo)準(zhǔn)與我國有關(guān)的現(xiàn)行法律、法規(guī)和強制性國家標(biāo)準(zhǔn)無本標(biāo)準(zhǔn)在起草過程中借鑒了IEC63450、IE等人工智能醫(yī)療器械相關(guān)國際標(biāo)準(zhǔn)的通用思路，由于人工智能醫(yī)療器械的核心算法、預(yù)期用途和應(yīng)用場景處于快速發(fā)展變化中，本標(biāo)準(zhǔn)的技術(shù)內(nèi)容僅代表當(dāng)前的認識，根據(jù)未來業(yè)態(tài)可能進行更新。為了避免過度本標(biāo)準(zhǔn)發(fā)布后，中國食品藥品檢定研究院將及時開展本標(biāo)準(zhǔn)預(yù)期不會引發(fā)醫(yī)療器械變更注冊。考慮到標(biāo)準(zhǔn)宣貫本文件自實施之日起，代替行業(yè)標(biāo)準(zhǔn)YY/T1858—2022《人工智能醫(yī)療器械