“9績效評價-9.3管理評審”解讀、實施流程和風險描述ISO∕IEC42001-2023《信息技術-人工智能管理體系》之20：“9績效評價-9.3管理評審”解讀、實施流程和風險描述(雷澤佳編制，2024年9月)第1部分：“9.3管理評審”解讀“9.3管理評審”條文“9.3管理評審”標準條文解讀9.3管理評審管理評審可以定義:由組織的最高管理者按照策劃的時間間隔，對人工智能管理體系的適宜性、充分性和有效性進行全面、系統的評價活動，以確保其與組織的戰略方向保持一致，并識別持續改進的機會。最高管理者的責任：管理評審是最高管理者的核心職責之一，體現了高層領導對人工智能管理體系的重視和直接參與；最高管理者通過管理評審，確保組織的人工智能管理體系與整體戰略和業務目標保持高度一致。定期性與系統性：管理評審需按照預先策劃的時間間隔進行，通常每年至少進行一次，以確保人工智能管理體系的持續有效性；評審過程應全面且系統，涵蓋人工智能管理體系的各個方面，包括但不限于戰略方向、流程優化、技術應用、數據管理等。戰略性與前瞻性：管理評審屬于戰略控制范疇，以戰略的眼光審視整個人工智能管理體系的有效性。這種戰略性評審確保了組織的目標與戰略保持一致，為戰術控制提供了前提和方向。管理評審還體現了前瞻性，通過對未來趨勢的預測和分析，為組織制定長期發展規劃提供重要依據。9.3.1總則最高管理者應在策劃的時間間隔內對組織的人工智能管理體系進行評審，以確保人工智能管理體系持續的適宜性、充分性和有效性。明確最高管理者的主導角色組織的最高管理者在人工智能管理體系中扮演著至關重要的角色。他們需要在預先設定的時間間隔內，親自組織和實施對人工智能管理體系的評審工作。這一職責不僅體現了最高管理者對人工智能管理體系的直接參與和監督，也確保了評審工作的權威性和有效性。管理評審的目的管理評審的目的是確保人工智能管理體系能夠持續保持其適宜性、充分性和有效性。適宜性：人工智能管理體系是否仍然適合組織的目標和戰略方向，是否適應內外部環境的變化。充分性：人工智能管理體系是否識別了所有關鍵過程活動，并分配了相應的職責和資源；有效性：人工智能管理體系是否實現了設定的目標和預期結果，包括提升人工智能應用的效果、優化流程、提高決策質量等。策劃合理的時間間隔：最高管理者應根據組織的實際情況和需求，策劃合理的管理評審時間間隔。定期管理評審。一般來說，評審應至少每年進行一次，以確保人工智能管理體系的連續性和穩定性。專項管理評審。在遇到以下重大變化或特殊情況時，可適當增加評審的次數：外部環境發生重大變化；法規政策變化：當與人工智能相關的法律法規、政策標準發生更新或變化時，組織需要迅速評價這些變化對其人工智能系統的影響，并調整人工智能管理體系以符合新的要求。例如，數據保護、隱私保護、算法透明度等方面的新法規出臺；市場環境變化：市場需求的轉變、競爭對手的策略調整或新興技術的出現，都可能對組織的人工智能戰略和人工智能管理體系產生影響。組織需要定期評審這些變化，以確保人工智能管理體系的適應性和競爭力。人工智能系統發生重大變化；新系統的引入：當組織引入新的人工智能系統或升級現有系統時，需要對新系統的性能、安全、合規性等進行全面評估。管理評審應在新系統上線前后進行，以確保人工智能管理體系的有效銜接；系統架構調整：人工智能系統的架構調整、算法優化或數據流程變更都可能對系統的穩定性和效能產生重大影響。這些變化需要及時納入管理評審的范疇，以評估其對人工智能管理體系的影響。內部環境或資源發生重大變化；組織結構調整：當組織內部出現重大的人事變動、部門重組或職能調整時，人工智能管理體系的相關職責、權限和接口可能發生變化。管理評審有助于確保這些變化得到妥善處理，并維持人工智能管理體系的完整性。資源投入變化：人工智能系統的運行和維護需要充足的資源支持，包括資金、人力、技術設備等。當資源投入發生變化時，組織需要評估這些變化對人工智能管理體系的影響，并采取相應的調整措施。出現重大風險或事故；安全事件：當人工智能系統發生數據泄露、算法偏見、系統崩潰等安全事件時，組織需要迅速進行事故調查，分析原因并采取相應的糾正措施。管理評審應作為事故處理的一個重要環節，確保人工智能管理體系的完善性和有效性。重大風險識別：在人工智能系統的運行過程中，可能會識別出新的重大風險或潛在威脅。組織需要定期評估這些風險的影響程度和可控性，并調整人工智能管理體系以加強風險防控能力。相關方反饋或投訴增加用戶反饋：當用戶對人工智能系統的性能、準確性、透明度等方面提出大量反饋或投訴時，組織需要認真對待這些反饋，評估其對人工智能管理體系的影響，并采取相應的改進措施。管理評審應作為反饋處理的一個重要環節，確保用戶需求的得到滿足。9.3.2管理評審輸入管理評審應包括：a）以往管理評審所采取措施的狀況；b）與人工智能管理體系相關的外部和內部因素的變化；c）與人工智能管理體系相關的相關方的需求和期望的變化；d）人工智能管理體系績效信息，包括以下方面的趨勢：1）不符合及糾正措施；2）監視和測量結果；3）審核結果；e）持續改進的機會。以往管理評審所采取措施的狀況；管理評審應首先回顧上一次或之前歷次管理評審中提出的改進措施的執行情況，包括這些措施是否得到有效實施、實施效果如何、是否達到預期目標等。這一步驟旨在評估組織對過去問題的響應能力和解決效率，確保持續改進機制的有效性；與人工智能管理體系相關的外部和內部因素的變化；組織需要持續關注與人工智能管理體系相關的外部因素（如法律法規、技術標準、市場動態、競爭格局等）和內部因素（如組織戰略、組織結構、資源配置、技術能力等）的變化。這些變化可能對人工智能管理體系的適宜性、充分性和有效性產生影響，因此必須納入管理評審的范疇進行評估和應對。與人工智能管理體系相關的相關方的需求和期望的變化；相關方（包括客戶、供應商、監管機構、公眾等）的需求和期望是組織制定和調整人工智能管理體系的重要依據。管理評審應關注這些需求和期望的變化情況，評估其對人工智能管理體系的影響，并制定相應的應對措施，以確保人工智能管理體系能夠滿足相關方的要求并保持其競爭力和適應性。人工智能管理體系績效信息（績效趨勢分析）管理評審應對人工智能管理體系的績效進行全面評估，包括以下幾個方面：不符合及糾正措施：分析人工智能管理體系運行中出現的不符合項及其糾正措施的實施情況和效果，識別潛在的風險和改進點。監視和測量結果：通過持續監視和測量人工智能管理體系的運行情況，收集相關數據和信息，評估人工智能管理體系的有效性并發現潛在的改進機會。審核結果：內部審核和外部審核的結果是評估人工智能管理體系符合性和有效性的重要依據。管理評審應關注審核中發現的問題和建議，評估其對人工智能管理體系的影響并制定相應的改進措施。持續改進的機會。管理評審的最終目的是識別人工智能管理體系中的持續改進機會。通過對人工智能管理體系的全面評價和分析，組織可以發現潛在的改進點和創新點，為未來的人工智能管理體系優化和發展提供方向。這些改進機會可能來自于人工智能管理體系的各個方面，包括流程優化、技術創新、資源配置等。組織應充分利用這些機會，推動人工智能管理體系的持續改進和創新發展。9.3.3管理評審輸出管理評審的輸出應包括持續改進的機會，以及變更人工智能管理體系的任何需要的決定。管理評審輸出的關鍵要素。管理評審的輸出應包括：持續改進的機會；在管理評審過程中，應全面評審人工智能管理體系的運行狀況，識別出體系中的不足之處以及潛在的改進空間。這些改進機會可能涉及到以下多個方面：技術架構升級：決定對現有的人工智能技術架構進行升級，以支持更高級別的數據處理、模型訓練和推理能力。這可能包括引入新的硬件加速器、優化軟件框架或升級云平臺服務等；流程自動化：識別關鍵業務流程中可自動化的環節，并決定采用人工智能技術實現自動化處理，以提高效率并減少人為錯誤。例如，自動化測試、故障預測和異常檢測等；數據治理強化：針對數據質量、安全性和合規性問題，決定加強數據治理措施。這可能包括建立更嚴格的數據質量標準、引入數據加密和匿名化處理機制，以及優化數據訪問控制和權限管理；知識管理與傳承：決定建立或優化知識管理系統，以有效捕獲、整理和分享組織內部關于人工智能項目、技術棧和最佳實踐的知識。這有助于加速新員工的學習和項目的快速啟動；跨部門協作機制：針對當前協作中的瓶頸和問題，決定引入新的跨部門協作機制，如敏捷開發團隊、DevOps流程或項目管理工具，以提升團隊協作效率和響應速度；合規性與道德審查：鑒于人工智能應用的敏感性和潛在影響，決定加強對新項目和應用場景的合規性和道德審查流程。確保項目在遵守法律法規的同時，也符合道德和社會責任標準；性能優化與擴容計劃：根據現有系統的性能瓶頸和未來增長預測，決定實施性能優化措施（如算法改進、代碼重構）和擴容計劃（如增加計算資源、擴展存儲能力），以應對不斷增長的業務需求；用戶體驗與交互設計：針對用戶反饋和市場調研結果，決定改進人工智能產品的用戶界面和交互設計，以提升用戶體驗和滿意度。這可能包括簡化操作流程、增加個性化推薦和優化反饋機制等；創新與研發投資：決定增加對創新技術和研發的投入，以支持前沿技術的探索和原型開發。這可能包括與高校、研究機構或初創企業的合作，以及內部研發團隊的擴編和激勵措施；組織文化與領導力發展：認識到文化和領導力在推動持續改進中的重要性，決定加強組織文化建設，培養具備創新精神和領導力的管理層和員工隊伍。這可能包括制定領導力發展計劃、提供培訓和輔導機會以及建立創新激勵機制等。變更人工智能管理體系的決定當人工智能管理體系不再適應組織的發展需求或外部環境的變化時，應及時作出調整。這些變更可能涉及到以下一個或多個方面。通過適時調整人工智能管理體系，組織可以確保其始終保持與組織的戰略目標和發展方向相一致，提高人工智能管理體系的適應性和靈活性。組織結構調整：根據業務發展和戰略需要，決定對組織結構進行調整，以更好地支持人工智能項目的實施和管理。這可能包括成立專門的人工智能部門、調整團隊配置或優化跨部門協作機制；流程優化與重組：識別當前流程中的瓶頸和低效環節，決定對流程進行優化或重組，以提高整體運營效率。這可能涉及到簡化審批流程、引入自動化工具或調整項目交付方式等；技術選型與更新：根據技術發展趨勢和業務需求，決定采用新的技術棧或更新現有技術，以提升人工智能應用的性能和效果。這可能包括引入更高效的機器學習算法、采用先進的自然語言處理技術或升級數據處理平臺等；風險管理策略調整：針對人工智能項目中可能面臨的風險，決定調整風險管理策略，包括識別新的風險點、優化風險評估方法和制定更有效的應對措施；資源重新分配：根據業務需求和管理評審的結果，決定對資源進行重新分配，以確保關鍵項目和活動的順利進行。這可能包括增加對某個領域的投資、調配人力資源或調整財務預算等；政策與合規性調整：鑒于法律法規的不斷變化和人工智能應用的特殊性，決定對人工智能管理體系中的政策和合規性要求進行調整，以確保項目在合法合規的前提下進行；績效評價與激勵機制優化：根據管理評審的反饋和員工的績效表現，決定對績效評價體系和激勵機制進行優化，以激發員工的積極性和創造力。這可能包括調整考核標準、引入新的獎勵機制或提供更多的培訓和發展機會等；數據策略與管理：鑒于數據在人工智能應用中的重要性，決定對數據策略和管理進行變更，以提升數據質量、安全性和可用性。這可能包括優化數據采集和處理流程、加強數據安全防護和制定數據共享與合作機制等；外部合作與伙伴關系建立：根據業務需求和戰略考慮，決定與外部機構或企業建立合作關系或伙伴關系，以共享資源、技術和市場機會。這可能包括與供應商、客戶、研究機構或競爭對手建立戰略聯盟或合作項目等；文化與價值觀強化：認識到文化和價值觀在推動人工智能管理體系變革中的重要作用，決定強化組織文化和價值觀，以營造更加開放、包容和創新的工作氛圍。這可能包括制定文化宣傳計劃、開展員工培訓和教育活動或建立員工參與機制等。成文信息應作為管理評審結果證據可獲取。成文信息應作為管理評審結果證據應予以保留，包括：管理評審計劃：詳細記錄評審的目的、范圍、標準、內容、時間、地點、主持人及參與者等信息，以及評審前的準備要求和會議議程。這是評審活動的基礎和指南，確保了評審的有序進行；會議通知與簽到表：正式發送會議通知，并準備簽到表記錄實際出席人員。這確保了評審的正式性和參與者的準時出席；管理評審記錄：保留評審過程中的所有記錄，包括管理者代表的總結報告、與會者的討論發言記錄或書面材料、評審過程中產生的其他重要信息。這些記錄是評審過程的關鍵證據，用于后續的分析和改進；管理評審報告：編寫報告，評價評審目的是否達成，評估人工智能管理體系的適宜性、充分性和有效性，并提出改進建議或結論。這是評審活動的總結和成果，為后續的改進活動提供了方向和依據；整改計劃與措施：根據評審報告中的改進建議或問題，制定詳細的整改計劃和具體的改進措施，并記錄每一項改進措施。這確保了整改活動的針對性和有效性；改進措施跟蹤驗證記錄：對整改措施的執行情況進行持續的跟蹤和驗證，確保措施的有效性和實施進度，并保留所有相關的跟蹤驗證記錄。這確保了整改活動的持續性和可追溯性。第2部分：“9.3管理評審”流程控制表一級流程二級流程三級流程流程節點控制要點所期望的輸出管理評審策劃與準備制定評審計劃確定評審目的、時間、地點、參加人員、評審內容等確保評審計劃詳細、明確，包含所有必要信息管理評審計劃文檔收集評審輸入收集與人工智能管理體系相關的所有必要數據和信息確保輸入信息完整、準確，覆蓋所有關鍵領域評審輸入材料發送評審通知向所有參加評審的人員發送評審通知確保所有相關人員收到通知，了解評審安排評審通知回執管理評審實施管理評審輸出召開評審會議主持人開場，明確評審目的和議程確保會議高效有序進行會議記錄進行評審討論對人工智能管理體系進行全面、系統的評價確保所有評審輸入得到充分討論，識別改進機會評審討論記錄形成評審結論根據討論結果，形成評審結論和決策確保結論和決策明確、具體，可實施性強評審結論文檔制定改進措施根據評審結論，制定具體的改進措施確保改進措施針對性強，責任明確改進措施計劃文檔分配責任和資源明確各項改進措施的責任部門和所需資源確保改進措施得到有效執行責任和資源分配表確定改進時間表制定改進措施的時間表和里程碑確保改進措施按計劃進行，及時跟蹤改進時間表跟蹤與驗證監督實施情況定期檢查改進措施的實施進度確保改進措施按計劃執行，及時發現并解決問題實施進度報告驗證實施效果對已實施的改進措施進行效果驗證確保改進措施達到預期效果，形成持續改進機制效果驗證報告更新人工智能管理體系根據驗證結果，更新人工智能管理體系文件和記錄確保人工智能管理體系與當前實際情況保持一致，持續改進更新后的人工智能管理體系文件第3部分：“9.3管理評審”過程風險清單一級流程二級流程風險描述（風險源、過程運行可能發生什么并產生什么后果及其對實現業務流程目標產生的影響）管理評審策劃與準備制定評審計劃風險源：計劃制定不全面或不合理風險描述：若評審計劃未充分覆蓋關鍵評審內容或未合理安排時間、地點、人員，可能導致評審效果不佳或無法達到預期目的后果：評審結論不全面，改進措施針對性不強，影響人工智能管理體系的持續改進對目標實現的影響：延緩人工智能管理體系的優化進程，影響組織戰略目標的實現收集評審輸入風險源：信息收集不完整或不準確風險描述：若評審輸入信息缺失或不準確，可能無法全面反映人工智能管理體系的運行狀況后果：評審結論偏差，無法識別所有潛在問題對目標實現的影響：導致改進措施的遺漏，影響人工智能管理體系的適宜性、充分性和有效性發送評審通知風險源：通知發送不及時或遺漏風險描述：若評審通知未能及時送達所有相關人員，或某些人員遺漏未通知，可能導致評審參與度不高或評審無法順利進行后果：評審效率降低，甚至導致評審無法按期舉行對目標實現的影響：延誤管理評審的開展，影響人工智能管理體系的持續改進計劃管理評審實施召開評審會議風險源：會議組織不力風險描述：若會議組織不當，可能導致會議效率低下，討論偏離主題后果：評審時間延長，討論結果不明確對目標實現的影響：影響評審結論的形成，拖延改進措施的實施進行評審討論風險源：討論不充分或存在偏見風險描述：若評審討論不夠深入或存在主觀偏見，可能無法準確識別人工智能管理體系中的問題和改進機會后果：評審結論不客觀，改進措施缺乏針對性對目標實現的影響：導致資源浪費，無法有效提升人工智能管理體系的績效形成評審結論風險源：結論形成草率或偏離實際風險描述：若評審結論未經充分討論或基于不準確的信息形成，可能導致結論偏離實際情況