Al組織責任核心安全責任“Al組織責任工作組”的永久的官方網址是O2024云安全聯盟大中華區——保留所有權利。你可以在你的電腦上下載、儲存、展示、杳看及打印，或者訪問云安全聯盟大中華區官網()。須遵守以下：(a)本文只可作個人、信息獲取、非商業用途；(b)本文內容不得篡改；(c)本文不得轉發；(d)該商標、版權或其他聲明不得刪除。在遵循中華人民共和國著作權法相關條款情況下合理使用本文內容，使用時請注明引用于云安全聯盟大中華區。聯盟簡介我們的工作AlAl安全元宇宙云安全安全隱私計算區塊鏈10萬+零信任云安全區塊鏈數據安全大會活動云審計國際云安全專家數據保護零信任峰會加入我們點擊會員加入聯盟填寫相關申請信息目錄 6 9 介紹 24一、將數據安全和隱私納入人工智能訓練 1.2匿名化和假名化 1.3數據最小化 二、模型安全 2.1模型訪問控制 2.1.1身份驗證和授權框架 2.1.2模型接口速率限制 2.1.3模型生命周期管理中的訪問控制 2.2安全的模型運行環境 2.2.1基于硬件的安全功能 2.2.2網絡安全控制 2.2.3操作系統級加固和安全配置 2.2.4K8s與容器安全 2.2.5云環境安全 2.3.1機器學習代碼完整性保護 2.3.2機器學習訓練和部署代碼的版本控制系統 2.3.3利用代碼簽名驗證獲批版本 2.3.4基礎設施即代碼方法 462.4.1源代碼漏洞掃描 472.4.2測試模型對攻擊的魯棒性 482.4.3驗證每個階段的流水線完整性 2.4.4監控自動化腳本 C2024云安全聯盟大中華區版權所有4C2024云安全聯盟大中華區版權所有52.5AI模型治理 2.5.1模型風險評估 2.5.2業務審批程序 2.5.3模型監控要求 2.5.4新模型驗證過程 2.6安全模型部署 2.6.1灰度發布 2.6.2藍綠部署 2.6.3回滾功能 572.6.4模型退役 三、漏洞管理 3.2持續漏洞掃描 3.3基于風險的優先級排序 3.4修復跟蹤 3.6報告指標 致謝報告中文版支持單位中國聯通聯通(上海)產業互聯網有限公司于2018年3月成立，注冊資金10000萬元，是中國聯通在上海市成立的具有獨立法人資格的全資子公司。公司積極順應國家推動經濟社會數字化、智能化發展的要求，正確認識和把握內外部科技發展環境新變化，堅持把創新作為引領發展的第一動力，聚焦5G時代發展的新機遇，以科技賦能差異化競爭與高質量發展。公司通過整合5G、人工智能、大數據、ICT、IDC、云計算、物聯網等能力，聚焦電子政務、工業互聯網、智慧教育、智慧城市、智慧民生、文旅、交通物流、新商業等重點領域，為政府和各行各業客戶提供從智能連接、云平臺到大數據應用的個性化解決方案和集成運營一站式服務。2023年公司總收入6.4億元，凈利潤為7415萬元。2023年從業人員總數為432人，其中研發人員近70%。全面承接生活數字化轉型重點場景建設，標桿項目先行先試，形成示范效應，全面參與上海城市升級、產業升級，是上海建設智慧城市的領跑者之一。參與本次報告的專家：朱奕健：聯通(上海)產業互聯網有限公司副總經理李亞杰：聯通(上海)產業互聯網有限公司云安全專家吳振宏：聯通(上海)產業互聯網有限公司云安全運營負責人沈爽：聯通(上海)產業互聯網有限公司云安全專家聯通(上海)產業互聯網有限公司是CSA大中華區理事單位，支持該報告內容的翻譯，但不影響CSA研究內容的開發權和編輯權。6O2024云安全聯盟大中華區版權所有7報告英文版編寫專家AakashAlurkar序言在數字化時代，人工智能(AI)與機器學習(ML)技術正以驚人的速度重塑我們的工作與生活，并深刻影響全球經濟與社會結構。隨著AI技術的廣泛應用，安全性、可靠性和合規性問題日益受到關注。作為云計算和AI安全領域的領導者，CSA致力于推動行業安全標準與最佳實踐的制定和實施。我們深知，隨著AI與ML系統的發展，組織在保障安全方面肩負著重要責任。在此背景下，CSA發布了《AI組織責任：核心安全責任》白皮書，深入探討AI和ML系統在組織責任、信息安全和網絡安全中的關鍵問題，并提供了全面的框架與指導，旨在幫助企業構建安全、合規的AI生態系統。白皮書詳細分析了數據真實性、匿名化、數據最小化等核心問題，并提出了一系列量化的評估標準與實施策略。同時，白皮書中引入了AI共享責任模型，明確界定了AI平臺提供商、應用所有者、開發者與使用者之間的責任分工，并探討了各方如何協同合作，確保AI應用的安全可靠運行。此外，本白皮書還強調了持續監控和白皮書機制的重要性，呼吁各方遵循行業最佳實踐與安全標準。我們相信，通過本報名的指導，組織能夠更好地履行AI安全責任，共同推動AI技術健康發展。CSA大中華區主席兼研究院院長C2024云安全聯盟大中華區版權所有前言本報告是一份工作草案，重點關注開發和部署人工智能(Al)和機器學習(ML)系統的過程中，在信息和網絡安全方面的組織責任。本報告綜合了專家推薦的核心安全領域的最佳實踐，包括數據保護機制、模型漏洞管理、機器學習運營(MLOps)流水線強化以及負責任地訓練和部署人工智能的治理政策。報告中討論的要點包括：●數據安全和隱私保護：數據真實性、匿名化、假名化、數據最小化、訪問控制以及安全存儲和傳輸在人工智能訓練中的重要性。●模型安全：涵蓋模型安全的各個方面，包括訪問控制、安全運行環境、漏洞和補丁管理、MLOps流水線安全、AI模型治理和模型安全部署。●漏洞管理：探討了Al/ML資產清單、持續漏洞掃描、基于風險的優先級排序、修復跟蹤、異常處理和報告指標的對于有效漏洞管理的重要性。報告采用可量化的評估標準、RACI(“執行、負責、咨詢、知情”)角色定義模型、高層實施策略、持續監控和報告機制、訪問控制映射以及對基本準則的遵循，逐一分析了各項責任。這些內容基于行業最佳實踐和標準，如NISTAIRMF、NISTSSDF、本文旨在為企業提供指導，通過在安全及合規的關鍵領域提出建議，幫助企業在AI設計、開發和部署方面履行負責任且安全的義務。介紹本報告重點介紹我們所定義的關于企業圍繞人工智能(AI)和機器學習(ML)、數據安全、模型安全和漏洞管理的“核心安全責任”。鑒于組織有責任維護安全可靠的人工智能實踐，本報告和本系列的另外兩份報告為企業履行這些組織責任提供了具體而言，本報告綜合了專家推薦的核心安全領域最佳實踐，包括以下幾個部分：數據保護機制、模型漏洞管理、MLOps流水線強化以及負責任地訓練和部署人工智能的治理政策；另外兩篇報告則探討了企業進行安全人工智能開發和部署的其他要點。本系列通過三份有針對性的報告，在關鍵的安全和合規領域提出建議，旨在指導企業履行其負責任和安全的開展人工智能設計、開發和部署的義務。AI共享責任模型人工智能共享責任模型勾勒出AI平臺提供商、AI應用程序所有者、AI開發人員和AI使用者之間的任務劃分，根據服務模型(SaaS,PaaS,laaS)的不同而有所變人工智能應用程序的安全運行需要各利益相關者協同付出。在人工智能的背景下，責任由三個關鍵方共擔：人工智能服務的使用者、人工智能應用程序所有者和開發者，以及人工智能平臺提供商。在評估人工智能賦能的集成(應用或服務)時，理解共享責任模型并明確各方處理的具體任務至關重要。C2024云安全聯盟大中華區版權所有11AI賦能應用的關鍵層人工智能平臺O該層為應用程序提供AI能力。它涉及構建和保護承載AI模型、訓練數據和配置參數的基礎設施。O安全注意事項包括：阻止惡意輸入以及避免AI模型生成惡意輸出。安全的AI系統應該具備應對潛在的有害輸入并避免有害輸出的能力，比如宣揚仇恨，越獄等。OAI平臺層包括以下任務：■模型安全和防護■模型調優■模型責任■模型設計與實現■模型訓練和治理■AI計算和數據基礎設施AI應用程序層OAI應用程序層利用AI的能力與用戶交互，各應用的復雜性可能存在顯著的差異。簡言之，獨立的AI應用就是為一系列API搭建的橋梁；這些API會處理來自用戶的文本提示，并將其傳遞給底層模型以獲得響應。復雜一點的AI應用程序能夠利用持久層、語義索引或提供更廣泛數據源訪問的插件等手段，獲得額外的上下文來豐富提示的內容。最先進的AI應用程序可以與現有的應用程序和系統無縫集成，實現多模態方法，支持文本、音頻以及視覺等輸入形式并產生多樣化的內容輸出。OAI應用程序的所有者需要確保無縫的用戶體驗，并處理其他相關的功能或服務。為了保護AI應用程序免受不法活動的影響，建立一個強大的應用程序安全系統至關重要。生成式人工智能(GenAl)系統應徹底檢查發送到AI模型的提示詞中的內容。此外，AI編排所涉及的數據交換和交互也必須仔細審查，包括與插件和功能等附加組件及數據連接器的數據交換，以及與其他AI應用程序的交互。對于基于laaS平臺或PaaS服務的AI應用程序開發者來說，建議使用專門的人工智能內容安全功能，并根據具體要求，采用其他增強保護的功能。OAI應用程序層包括以下任務：■AI插件和數據連接■應用程序設計和實現■應用程序基礎架構■AI安全系統OAI使用層描述了AI功能的應用方式和使用場景。生成式人工智能引入了與API、命令提示和GUI等傳統界面不同的創新的用戶/計算機交互模型，這種新的界面具有交互性和適應性，可以根據用戶的意圖調整計算機的功能。與要求用戶適應系統設計和功能的早期界面不同，生成式人工智能界面優先考慮用戶交互。這使得用戶的輸入能夠顯著地影響系統的輸出，強調了安全機制對保護個人、數據和企業資源的重要性。OAI使用層的安全注意事項與計算機系統類似，它依賴在身份和訪問管理、設備安全、監控、數據治理和管理控制等方面的穩健措施。O鑒于用戶行為可能對系統輸出產生重大影響，有必要更加關注用戶行為和責任。必須修訂可以被接受的使用政策，并告知用戶傳統應用程序和AI增14強型應用程序的區別。這涵蓋了AI相關的安全、隱私和道德標準等問題。此外，提升用戶對基于AI攻擊的潛在風險的認知是非常重要的，這種攻擊形式可能涉及包含精心偽造的文本、音頻、視頻和其他用作欺騙的媒體內OAl使用層包括以下任務：■用戶培訓和問責機制■可接受的使用策略和管理控制■身份和訪問管理(IAM)和設備控制■數據治理請謹記，共享責任模型有助于劃分角色，并確保職責清晰分工，從而促進安全高效地使用人工智能技術。對于不同的Al集成的類型，工作負載責任的分配會有所不同。軟件即服務(SaaS)O在基于SaaS的人工智能集成中，人工智能平臺提供商負責管理底層基礎設施、安全控制和合規措施。O用戶的主要重點在于配置和定制AI應用程序，以符合相應的特定要求。平臺即服務(PaaS)O基于PaaS的AI平臺提供了一個中間層。AI提供商管理著核心的人工智能功能，但用戶仍然可以進行定制化的配置和控制。O用戶有責任確保安全地使用AI模型、處理訓練數據，以及調整模型(例如權重和偏置)。15基礎設施即服務(laaS)O在laaS場景中，用戶可以更好地控制基礎設施，這也意味著要承擔更多的責任。O用戶負責全棧管理，包括AI模型、訓練數據和基礎設施的安全。以數據為中心的人工智能系統的基礎組件以數據為中心的人工智能系統的基礎組件涵蓋了數據和模型管理的整個生命周期。這些基礎組件協同工作，以安全高效的人工智能系統，能夠處理數據并提供有價值的深度分析或自動化決策。●原始數據：從各種來源收集的原始未處理的數據。●數據準備：將原始數據清理和組織成結構化格式的過程。●數據集：經過整理的數據集，可用于分析和模型訓練。●數據和人工智能治理：確保數據質量和人工智能使用倫理的政策和程序。●機器學習算法：用于解釋數據的計算方法。●評估：評估機器學習模型的性能。●機器學習模型：基于數據集訓練的算法的成果。●模型管理：監督機器學習模型的生命周期。●模型部署和推理：實施模型以做出預測或決策。●推理結果：部署模型產生的結果。●機器學習運營(MLOps):部署和維護AI模型的實踐。●數據和人工智能平臺安全：保護系統免受威脅的措施。16數據運營：涉及數據的獲取和轉換，以及確保數據安全和治理。機器學習模型的有效性取決于數據流水線的完整性和強化的DataOps框架。模型運營：包括創建預測性機器學習模型、從模型市場采購，或使用大型語言模型(LLM)(如OpenAI提供的模型或調用各類大模型API)。模型開發是一個迭代過程，需要系統的方法來記錄和評估各種實驗條件和結果。模型部署和服務：涉及模型容器的安全構建、模型的隔離和保護部署，以及對活動模型的自動擴展、速率限制和監視的實施。它還包括為檢索增強生成(RAG)應用程序中的高可用性、低延遲服務提供特性和功能，以及為其他應用程序提供必要的特性，包括在平臺外部部署模型或需要目錄中的數據特性的應用程序。運營和平臺：涵蓋平臺漏洞、更新、模型隔離和系統控制的管理，以及在安全架構框架內實施授權的模型訪問。此外，它還涉及部署用于持續集成/持續部署 (Cl/CD)的運營工具，確保整個生命周期在獨立執行環境(如：開發、預生產及生產)中遵守既定的標準，以實現安全的機器學習運營(MLOps)。表1將運營與以數據為中心的人工智能系統的核心組件相關聯，突出了它們的角色和相互依賴性。表1:以數據為中心的人工智能系統組件及說明數據運營模型運營機器學習模型的安全部署、服務和監控。運營和平臺MLOps的平臺安全性、模型隔離和CI/CD。表2提供了AI/ML系統每個階段的潛在風險和威脅的綜合視圖，以及解決這些問題的示例和建議的緩解措施。數據運營原始數據、數據準意操縱數據以損害數據保護的監管要求。數據泄露/中毒：攻數據。實施穩健的數據治理框架。部署異常復協議和定期數據模型運營的訪問：未經許可擊：利用API漏洞訪問或操縱模型。模型竊取(提取):復制模型以供未經加強訪問控制和身份驗證機制。通過加密和速率限制來更新和修補系統。模型服務、推理響應未經授權的訪問：未經授權訪問模型據泄露：錯誤的系統配置導致暴露敏感信息。模型欺騙(逃逸):改變輸入以從模型安全部署實踐，包測。運營和平臺據和人工智能平臺安全持續的漏洞管理和的CI/CD流程。隔離控制和安全架構設O2024云安全聯盟大中華區版權所有17用。我們從以下維度分析每項責任：1.評估標準：在我們討論人工智能責任時，應考慮可量化的指標來評估人工智能系統的安全影響。通過量化這些指標，利益相關者可以更好地了解人工智能技術的相關風險以及如何應對這些風險。組織必須經常評估其人工智能系統，以確保其安全性和可靠性，例如應該評估：系統處理攻擊的能力(對抗魯棒性),是否泄漏敏感數據，出錯的頻率(假陽性率),以及訓練數據是否可靠(數據完整性)等。作為組織安全計劃的一部分，評估和監控這些關鍵措施將有助于提高人工智能系統的整體安全狀況。2.RACI模型：該模型有助于明確在人工智能決策和監督過程中的執行者、負責人、咨詢方和知情方(RACI,Responsible,Accountable,Consulted,andInformed;譯者注：由于Responsible和Accountable在翻譯成中文以后都有責任相關的意思，為了更加清晰地表達原作者的意圖，文本將Responsible翻譯為執行，后文中RACI即為：執行、負責、咨詢和知情)。應用RACI模型描述了人工智能治理中的角色和責任分配，這種責任分配對于安全的人工智能系統至關重要。當然，根據組織的規模和業務重點，本報告中描述的具體角色和團隊僅供參考。首先，明確描述關鍵責任是重中之重。其次，組織可以根據職責規劃適當的角色，然后為這些角色配備相應的團隊，團隊之間可能會存在一些職責重疊。本文定義的RACI框架旨在提供初始角色和團隊配置，以幫助組織開發其定制化的RACI模型。然而，各企業實施過程中可能因其獨特的組織結構和優先事項而異。193.高層實施策略：本節描述了將網絡安全的注意事項無縫集成到軟件開發生命周期(SDLC)中的策略。組織必須優先執行信息安全的CIA原則：即確保數據和系統的機密性、完整性和可用性。同時應嚴格實施訪問控制機制，以管理用戶權限并防止未經授權的訪問。必須建立健全的審計機制，以跟蹤系統活動并及時發現可疑行為。影響評估應分析判斷潛在的網絡安全風險，特別是漏洞識別和威脅緩解方面，以保護人工智能系統中的敏感信息。4.持續監控和報告：持續監控和報告能夠確保人工智能系統的持續防護、安全并保證性能。關鍵組件包括實時監控、對模型性能異常或安全事件告警、審計跟蹤/日志、和定期報告，以及能夠改進或解決問題的措施。持續監控和報告有助于組織保持透明度，提升效率并明確責任歸屬，以及建立對人工智能系統的信任。5.訪問控制：訪問控制對于保護人工智能系統至關重要，包括嚴格的API身份驗證/授權策略、管理模型注冊表、控制對數據存儲庫的訪問、監督持續集成和部署流水線(CI/CD)、處理機密信息以及管理特權訪問。通過為AI流水線的各個部分定義用戶角色和權限，可以保護敏感數據，防止模型被篡改或未經授權訪問。通過強身份認證和訪問管理不僅可以保護知識產權，還可以明確Al工作流的責任歸屬。6.遵守基礎治理、風險與合規、防護、安全和道德標準：強調遵守基于行業最佳實踐和監管要求，如下所示：●NISTSSDF用于安全軟件開發●NIST人工智能風險管理框架(AIRMF)●ISO/IEC42001:2023人工智能管理系統(AIMS)●ISO/IEC27001:2022信息安全管理體系(ISMS)●ISO/IEC27701:2019隱私信息管理系統(PIMS)●ISO31700-1:2023消費者保護：面向消費品和服務的隱私設計20●面向大型語言模型(LLM)應用的OWASP十大安全風險列表(OWASPTop●NISTSP800-53Rev.5信息系統和組織的安全和隱私控制●《通用數據保護條例》(GDPR)關于數據匿名化和假名化的技術規范和相關指導意見●關于云服務中令牌化技術(Tokenization)的指導意見前提條件本報告采取行業中立的立場，提供適用于各個行業的指導方針和建議，而不會對特定行業產生具體偏見。目標受眾本報告旨在滿足不同受眾的需求，每個受眾都有不同的目標和興趣。1.首席信息安全官(CISO):本報告專門針對CISO的關切和責任而設計，為在人工智能系統中集成核心安全原則提供了意見。值得注意的是，首席人工智能官(CAIO)的角色正在許多組織中出現，預計在不久的將來，本報告中定義的大多數相關職責可能會從首席信息安全官轉移到CAIO。2.AI研究人員、工程師、數據專業人員、科學家、分析師和開發人員：該報告為AI研究人員和工程師提供了全面的指導方針和最佳實踐，幫助他們開發合乎道德和值得信賴的AI系統。它是確保負責任的人工智能發展的關鍵資源。3.商業領袖和決策者：對于首席信息官、首席產品官、首席數據官、首席風險官、首席執行官和首席技術官等商業領袖和政策制定者來說，報告提供了與人工智能系統開發、部署和生命周期管理相關的網絡安全戰略的重要的信息和認識。4.政策制定者與監管機構：政策制定者和監管機構將發現這篇報告非常有價值，因為它提供了關鍵的見解，有助于制定有關人工智能倫理、安全和控制的政策和監管框架。它為人工智能治理領域的知情決策提供了指導。5.投資者和股東：投資者和股東將會欣賞這份報告，因為它展示了一個組織對負責任的人工智能實踐的承諾。它強調了確保人工智能道德發展的治理機制，這對投資決策至關重要。6.客戶和公眾：本報告為客戶和公眾提供了關于組織在開發安全AI模型時的價值觀和原則的透明度。職責角色定義下表提供了一個通用指南，說明了在集成或操作人工智能技術的組織中常見的各種角色。我們必須認識到，每個組織可能會以不同的方式定義這些角色及其相關職責，反映其獨特的運營需求、文化以及其人工智能計劃的具體要求。因此，雖然該表提供了對人工智能治理、技術支持、開發和戰略管理中潛在角色的基本理解，但僅供參考。我們鼓勵各組織調整和定制這些角色，以最好地滿足組織的定制化要求，確保結構和職責與其戰略目標和運營框架保持一致。隨著人工智能技術的發展，可以進一步定義新的角色。管理與戰略角色名稱角色名稱角色描述首席數據官(CDO)監督企業數據管理、策略創建、數據質量和生命周期。首席技術官(CTO)領導技術戰略并監督技術發展。首席信息安全官(CISO)監督信息安全戰略和運營。指導業務部門，使人工智能計劃與業務目標保持一致。首席人工智能官(CAIO)管理層監督和指導整體戰略，確保與組織目標保持一致，包括CEO、CO0、CIO、CTO、首席云官領導云戰略，確保云資源與業務和技術目標保持一致。首席架構師領導架構戰略，確保設計技術架構與企業標準、流程、程序和目標保持一致。技術選型，監督設計的質量和實施，在組織內培養高級架構師。為數據治理和使用制定政策和標準。治理與合規數據保護專員監督數據保護策略和遵守數據保護法律法規。治理與合規首席隱私官確保遵守隱私法律法規。治理與合規法律團隊/部門協議中有適當的條款。治理與合規合規團隊/部門確保遵守內部和外部合規要求。治理與合規數據治理官和監管合規要求。治理與合規O2024云安全聯盟大中華區版權所有22O2024云安全聯盟大中華區版權所有23信息安全官治理與合規安全運營團隊實施和監控安全協議以保護數據和系統。網絡安全(NetworkSecurity)團隊保護網絡免受威脅和漏洞的侵害云安全團隊確保基于云的資源和服務的安全性。網絡空間安全(Cybersecurity)團隊IT運營團隊支持和維護IT基礎設施，確保其運營和安全。網絡安全官監督網絡的安全性，確保數據保護和威脅緩解。保護物理硬件免受篡改和未經授權的訪問。系統管理員管理和配置IT系統和服務器，以實現最佳性能和安全性。運營與發展負責安全保管、運輸、數據存儲和業務規則的實施。這是代表數據所有者獲取、操縱、存儲或移動數據的任何組織或個測試并確保AI應用程序和系統的質量。人工智能運營團隊管理人工智能系統的運行，以確保其性能和可靠性。開發應用程序，根據需要集成AI功能。專門測試AI/ML模型的準確性、性能和可靠性。開發運營(DevOps)團隊提高部署效率，保持運營穩定。開發安全運營(DevSecOps)團隊在整個軟件開發生命周期(SDLC)中實施安全性。確保人工智能系統和模型在部署后得到更新、優化和正確運行。項目管理團隊監督人工智能項目從啟動到完成，確保其達到目標和時間表。運營人員支持日常運營，確保人工智能技術的順利集成和運行。數據科學團隊收集并準備數據，用于AI模型訓練和分析。容器管理團隊管理容器化應用程序，促進部署和可擴展性。IT運營團隊確保IT基礎設施正常運行，支持人工智能和技術需求。領導人工智能開發項目，指導團隊成功實施。人工智能運營主管指導與人工智能相關的運營，確保人工智能解決方案的以下列出的文件對于應用和理解本文件至關重要。一、將數據安全和隱私納入人工智能訓練人工智能正在從復雜的以模型為中心的方法轉向以數據為中心的方法。人工智能現在不再主要依賴于在小數據集上訓練的復雜模型，而是利用海量數據集和開放式數據流。然而，這種以數據為中心的范式也引發了人們對數據隱私、安全、偏見和正當使用的合理擔憂，AI社區必須負責任地應對這些問題。數據正在改變人工智能，但我們必須確保它的來源是符合倫理且受控的。以下部分討論了與確保人工智能組織中培訓數據的安全性和隱私性相關的重要類別。這些類別包括數據真實性、匿名/假名化、數據最小化、數據訪問控制，以及安全存儲與傳輸。每個類別都通過可量化的評估標準、通過RACI模型明確界定的責任、高層實施策略、持續監控和報告機制、訪問控制映射以及基于行業最佳實踐的基本準則進行了徹底分析。這種全面的方法確保了一個結構化、負責任和高效的框架，用于管理推動人工智能進步的重要資產，同時也符合道德要求和卓越運營。1.1數據真實性和許可管理AI中的數據真實性是指保證用于訓練、測試和部署AI模型的數據是真實、準確且可靠的。這涉及驗證數據沒有被篡改或更改，以免誤導人工智能算法或導致不準確、有偏見或不可靠的模型輸出。確保數據真實性至關重要，因為AI模型嚴重依賴數據質量和完整性。如果數據不真實或被操縱，模型可能會學到不正確的模式，導致性能不佳，并可能基于預測做出有害的決策。數據真實性在基于AI模型的決策具有重大影響的對各個行業領域尤為重要，例如教育、醫療保健、金融服務、零售、制造、政府服務和網絡安全。此外，在為人工智能應用程序收集和處理個人數據時，必須獲得適當的數據使用同意并遵守《通用數據保護條例》(GDPR)等法規。GDPR要求組織在收集和處理個人數據之前獲得個人的明確同意，并賦予個人訪問、更正和刪除其數據的權利。●評估標準：定期測量經過真實性審核的數據百分比，目標是在規定時間內進行100%驗證。此外，監控數據許可和GDPR法規的合規情況。●在任何可能的情況下，個人都應有權更正有關他們的數據。例如：聯邦貿易委員會在保險方面的要求，聯邦貿易委員會推行人工智能監管，禁止有傾向性的算法。●RACI模型：數據管理團隊(執行)、首席數據官(負責)和法律合規部門(咨詢)、安全團隊(告知)。●高層實施策略：實施定期數據真實性審計的政策，其中可能涉及數據來源檢查和異常檢測等技術。此外，建立獲取數據同意、確保數據隱私和遵守GDPR規定的流程。●持續監測和報告：用于認證的已核實數據的定期報告、未經授權的數據變更以及遵守數據使用同意和GDPR規定。26通過確保數據真實性、獲得適當的數據使用同意并遵守GDPR等法規，組織可以在尊重個人隱私和個人數據權利的同時建立值得信賴的AI模型。1.2匿名化和假名化匿名化和假名化在值得信賴的人工智能系統中保護個人數據隱私，如下所示：●匿名化永久地從數據中刪除標識符，這使得重新識別個人身份變為不可能，有助于遵守數據保護法，在許多情況下，例如根據GDPR,甚至可以將匿名數據排除在數據保護法規的范圍之外。●假名化將標識符替換為系統生成的標識符或人工標識符假名。個人仍然與他們的數據保持聯系，但真實身份受到保護。根據某些數據保護法規，如GDPR和HIPAA,假名化是一項要求。●評估標準：通過匿名化和假名化技術，將可識別的個人數據減少99%。區分直接標識符(如全名、SSN和信用卡號)和準標識符非常重要。直接標識符需要更嚴格的削減措施，因為能夠使用它們來高度確定地識別個人。此外，信用卡號等直接標識符可能導致盜竊，而SSN等標識符可能導致身份盜竊。準標識符(年齡、郵政編碼和性別)雖然對隱私很重要，但可以進行不太嚴格的削減，以確保數據保護和可用性之間的平衡。盡管如此，許多準標識符可能會在人工智能中引發偏見(例如，年齡、地點、性別、種族、性取向等)。此外，某些準標識符可能屬干特殊類別的個人數據(GDPR第9條-特殊類別個人數據的處理)(httos://edpr-info.eu/art-9-gdpr/),需要特別謹慎，包括宗教信仰、政治派別、性取向和種族血統。準標識符也可能被組合起來重新識別一個人。雖然準標識符對于人工智能系統的可用性和功能至關重要，特別是在醫療保健或營銷等領域，但它們存在重新識別的風險。當不同的數據集被組合在一起時，即使它們已經被匿名或假名化，這些準標識符也可能被匹配，從而重新識別個人。例如包含匿名醫療記錄的數據集可以與公開可用的數據集相結28合，如選民登記記錄。如果兩個數據集都包含詳細的人口統計信息，則有可能基于這些準標識符匹配記錄，從而重新識別匿名數據集中的個人。為了降低這種風險，需要采取平衡的方法。不斷評估重新識別的風險至關重要，尤其是隨著數據處理技術的發展和變得更加復雜。采用如差分隱私等先進技術，在數據中添加統計噪聲以防止重新識別，可以進一步加強隱私保護。此外，定期審計和合規檢查對于確保數據匿名化和假名化過程符合不斷發展的數據保護法律法規至關重要。●RACI模型：數據保管人(執行)、數據保護官(咨詢)、首席隱私官主管(負責)、法律團隊(咨詢)、IT團隊(告知)、安全團隊(咨詢)、數據治理團隊 (咨詢)和數據專家(告知)。●高層實施策略：實施最先進的匿名化和假名化技術涉及利用先進的加密方法，如差分隱私、同態加密和安全多方計算來保護敏感數據，同時保持其分析效用。例如，公司可以采用k-匿名(k-anonymity)、1-多樣(I-diversity)和t-相近(t-closeness)等技術來確保個人身份隱藏在數據集中，同時仍然允許進行有意義的分析。此外，可以采用令牌化(tokenization)和數據屏蔽等技術，用不敏感的等效數據替換敏感數據，進一步加強隱私保護。●持續監測和報告：定期評估這些措施的有效性技術。●訪問控制映射：限制對編輯或匿名化規則和去假名化工具的訪問。●基本準則：遵循《通用數據保護條例》(GDPR)關于數據匿名化和假名化的指導方針，以及基于云服務的令牌化指南。1.3數據最小化數據最小化是指只使用實現特定目的或功能所需的必要數據量的做法。這種做法是許多數據保護法規(如GDPR)的要求。這也是可用于防止匿名數據重新識別29的技術之一。這種技術限制了為機器學習目的收集、存儲和使用的數據的數量和類型。這種做法有助于保護數據主體的隱私和安全，并提高機器學習模型的性能和效率。在機器學習中，數據最小化涉及仔細選擇對模型訓練和性能至關重要的特征和數據點，同時排除無關或過多的數據。這與可解釋性、公平性、透明度和隱私等可信賴的人工智能的基礎支柱有關。●評估標準：根據組織的業務目標和責任，力求減少非必要數據的收集，降幅至少達到一個顯著的百分比。●RACI模型：數據收集團隊(執行)、數據隱私辦公室(咨詢)、數據治理委員會(負責),合規團隊(咨詢),安全團隊(告知),數據專家(告知)。●高層實施策略：制定嚴格的數據收集指南，重點關注最小的數據采集。●持續監測和報告：跟蹤收集的數據量并評估其必要性。●訪問控制映射：對誰可以授權額外的數據收集實施控制。●基本準則：采用GDPR中的隱私設計原則。1.4數據訪問控制機器學習中的數據訪問控制涉及管理和限制誰可以訪問用于訓練、測試和部署機器學習模型的數據并與之交互。此過程確保只有授權的個人或系統才有能力查看、修改或使用數據。在機器學習環境中，有效的訪問控制對于保護敏感信息、維護數據完整性和遵守隱私法規至關重要。它通常涉及驗證用戶身份的認證機制、根據用戶角色授予用戶特定訪問權限的授權協議，以及跟蹤數據訪問和使用情況的審計系統。在組織中，AI模型通常是在從各種數據源或系統聚合的數據上運行的。因此，AI模型應尊重底層數據源系統的訪問控制定義和策略。這意味著，AI模型應該只能訪問他們被授權處理的特定數據，這些授權來自數據管理人或系統管理員定義的訪問控制規則和權限。保持適當的訪問控制可確保人工智能基礎設施的數據隱私、安全，并符合監管要求，同時防止未經授權訪問或AI模型濫用敏感或機密數據。●評估標準：每年未經授權的數據訪問事件低于0.5%●RACI模型：安全團隊(執行)、首席信息安全官(負責),數據治理機構、數據管理人、IT團隊(咨詢)、運營團隊(告知)。●高層實施策略：實施分層安全模型，作為訪問控制高層實施策略的一部分。該模型不僅應集成健全的身份驗證和授權協議，還應集成多因素認證 (MFA)、基于角色的訪問控制(RBAC)和最小特權原則(PoLP)等先進技●持續監控和報告：監控訪問日志并進行審計。采用工具基于風險標記對關鍵模型、生成模型和數據的訪問。●訪問控制映射：定期監控和管理訪問權限。和OWASPTop10A07:2021(身份識別和驗證失敗)中的最佳實踐。1.5安全存儲和傳輸在機器學習中，安全存儲和傳輸對于保護敏感數據至關重要。安全存儲涉及加密靜態數據以防止未經授權的訪問，采用健全的訪問控制，并定期進行安全審計。為了安全傳輸，傳輸中的數據使用傳輸層安全(TLS)、字段或信封加密等協議進行加密。這確保了數據在系統或網絡之間傳輸時保持機密性和完整性。通過防止未經授權的訪問、使用和泄露數據，以及惡意或意外修改、刪除或損壞數據，增強了數據和ML模型的安全性。●評估標準：確保在傳輸和靜止狀態的數據全部采用256位AES或更高級別的加密標準。●RACI模型：安全團隊(執行)、首席信息安全官(負責),合規和法律團隊(咨詢),管理層(告知)。●高層實施策略：投資先進的加密技術，并根據策略自動刪除人工智能數據和模型。●持續監控和報告：使用工具進行實時安全監控。●訪問控制映射：將安全存儲和傳輸與訪問控制集成在一起。●基本準則：遵循美國國家標準與技術研究院(NIST)的指導方針和隱私法，保護傳輸和靜止的數據。模型安全是一項多方面的任務，包括各種各樣的組件。這些包括對模型API的訪問控制、身份驗證和授權框架、速率限制、模型生命周期管理、安全的模型運行環境、基于硬件的安全功能、網絡安全控制、操作系統強化、安全配置，以及容器和云安全。我們應該探索這些關鍵領域中的每一個評估標準，基于RACI模型分配責任，描繪高層實施策略，建立持續監控和報告機制，配置訪問控制，并參考NISTAlRMF、NISTSSDF、NIST800-53和CSACCM等標準中的基本準則。2.1模型訪問控制訪問控制對于保護AI模型至關重要，確保只有授權人員和系統才能與敏感數據和功能交互。在AI模型治理領域，訪問控制措施必須穩固健全、適應性強，并與組織和行業安全標準保持一致。從身份驗證和授權，到速率限制和生命周期管理，AI模型的完整性取決于強大而靈活的訪問控制協議。這些協議規定了誰可以訪問AI模型，何時可以訪問，以及在什么情況下可以訪問。隨著組織應對人工智能部署的復雜性，實施全面的訪問控制戰略勢在必行，以降低風險、保護知識產權和遵守監管合規標準。此外，我們強調將Al模型訪問控制與組織現有的安全框架相結合，以增強整體系統的韌性。這涉及制定細粒度訪問策略，規定誰可以與AI模型交互以及在什么情況下交互。此外，實施健全的身份驗證機制，如多因素認證和基于角色的訪問控制，可以進一步加強人工智能系統的安全。定期審計和監控訪問日志對于及時發現和應對任何未經授權的訪問嘗試至關重要。通過將AI模型訪問控制與現有安全框架緊密結合，組織可以加強對網絡威脅的防御，并確保其人工智能系統和數據的完整性和機密性。2.1.1身份驗證和授權框架機器學習模型的身份驗證和授權框架確保了對機器學習模型和相關數據的訪問受到嚴格控制和管理，對于安全至關重要。身份驗證通常驗證用戶或系統的身份，常用密碼、令牌或生物特征驗證等方法。同時，通過訪問級別的授權，定義了誰可以根據既定的角色和權限查看、編輯或使用模型。這對于保護敏感信息、保持數據完整性以及遵守隱私和安全法規至關重要，從而防止對機器學習模型及其數據的未經授權的訪問或修改。在人工智能中，特定的驗證是所有用戶和實體根據目的和背景批準、適當地使用人工智能數據和模型。這與數字版權相融合，是訪問和授權的●評估標準：對所有未通過API訪問的AI模型，應確保認證和授權框架實現100%覆蓋(參見1.2.1)。●RACI模型：安全團隊(執行)、首席信息安全官(負責),法律團隊(咨詢),人工智能開發團隊(告知)。●高層實施策略：開發和實施安全的AI模型訪問的綜合框架。C2024云安全聯盟大中華區版權所有3233●訪問控制映射：根據模型特定要求自定義訪問。●基本準則：使用NIST800-207、NIST800—53、NISTSP800—63和NISTAIRMF進行風險管理。2.1.2模型接口速率限制機器學習中的模型接口速率限制涉及限制用戶或系統在給定時間范圍內向模型發出的請求數量。這種做法對于管理模型上的負載、防止濫用(如拒絕服務攻擊)以及確保用戶之間的公平資源分配至關重要。速率限制可以在用戶與ML模型交互的各類接口層級實現，例如：API或web界面。控制請求率有助于保持模型的性能、穩定性和可用性，確保其即使在高需求或潛在攻擊場景下也能持續高效可靠地運行。●評估標準：減少因拒絕服務(DoS)或分布式拒絕服務(DDoS)攻擊導致的停機時間。●RACI模型：平臺支持團隊(執行)、解決方案負責人(負責)、數據專家(咨詢)、風險管理團隊(咨詢)和AI模型用戶(告知)。●高層實施策略：實施速率限制，防止過度使用或濫用AI模型接口。●持續監控和報告：跟蹤使用模式并相應調整速率限制。●訪問控制映射：實施基于用戶的速率限制策略。●基本準則：遵循OWASPLLM04:模型拒絕服務。2.1.3模型生命周期管理中的訪問控制在機器學習模型的全生命周期管理中，訪問控制涉及在模型生命周期的各階段 (開發、部署和維護階段)管理和規范對ML模型的訪問和交互。此過程確保只有授權人員或系統才能在各個階段與ML模型交互，從而保護模型免受未經授權的訪問或更改，這種訪問或更改可能會導致模型完整性受損或出現性能問題。實施健全的訪問控制對于維護機器學習模型的安全性和有效性至關重要，因為它有助于防止可能的數據泄露、模型濫用，并能確保符合數據隱私和安全的相關法規。在模型生命周期的所有階段實施控制訪問，組織可以保護他們的機器學習資產，同時構建安全高效的機器學習的開發環境。模型生命周期管理中的訪問控制能夠提高機器學習模型的透明度和責任歸屬，能夠為數據訪問使用提供一致和明確的策略和程序，并記錄數據來源地址和目的地址。這一領域與隱私性、透明度和責任歸屬等可信賴的人工智能的基礎支柱有關。●評估標準：確保在模型生命周期的所有階段，對AI模型和數據的訪問僅限于授權用戶和系統。●RACI模型：AI模型治理團隊(執行),首席數據官(責任),安全團隊、法律團隊、合規團隊(咨詢),運營人員(告知)O根據敏感度對數據和模型進行分類。O為模型生命周期的每個階段定義明確的訪問控制規則，并關聯到各用戶角色。O將訪問控制與現有的IAM(身份和訪問管理)解決方案集成。O記錄并審核所有訪問請求以及數據/模型使用情況。●持續監測和報告：O在未經授權的訪問嘗試時發送警報。O執行用戶訪問審查和重新認證。O定期對訪問和控制進行審計。O為可疑活動建立警報閾值。O開發階段：僅允許數據科學家和機器學習工程師訪問O測試階段：為質量保證團隊添加訪問權限O生產階段：授予嚴格控制的生產系統訪問權限O根據CSACCM等最佳實踐框架驗證控制措施。2.2安全的模型運行環境為安全的AI模型運行環境構建能夠具有韌性的系統需要融合強大的硬件、網絡和軟件安全控制。在全面關注保護AI部署免受持續演進的威脅侵擾的同時，組織應該精心設計和增強其運行時環境，以維護其完整性、機密性和可用性。從基于可信執行環境的硬件安全功能到防火墻和網絡隔離等網絡安全控制機制，每個組件都精細地融入在深度防御策略的體系中。依據NISTAIRMF、NIST800-53和CSACCM等行業標準，我們應進行團隊的跨學科合作，協調實施、監控并管理這些關鍵的安全措施。2.2.1基于硬件的安全功能機器學習模型的基于硬件的安全特性包括計算硬件中的物理環境和整體架構，這些元素增強了機器學習應用程序的安全性。具體包括：可信執行環境(TEE),用于隔離和安全處理的機密計算，用于保護敏感代碼和數據的安全隔離區(SecureEnclaves),用于安全加密操作的硬件安全模塊(HSM),確保可信軟件初始化的安全C2024云安全聯盟大中華區版權所有35引導機制，以及防止未經授權的物理訪問的物理防篡改機制。這些功能在提供基礎安全層方面至關重要，尤其是在金融、醫療保健或國防等高風險行業；機器學習模型通常都處理敏感數據，并且非常需要針對各種威脅(包括篡改和未經授權的訪問)進行強有力的保護。●評估標準：在適用的情況下，公司定義的人工智能系統使用基于硬件的安全功能的百分比。●RACI模型：硬件安全團隊(執行)、首席技術官(負責)、采購部門(咨詢)、系統管理員(告知)。●高層實施策略：在AI系統中集成可信執行環境(如NVIDIA的機密計算方法)、GPU、TPU和其他硬件安全措施。●持續監控和報告：定期檢查硬件安全。●訪問控制映射：確保只有授權人員才能訪問硬件安全設置。2.2.2網絡安全控制機器學習模型的網絡安全控制是為保護機器學習模型及其相關數據免受基于網絡的威脅和漏洞而實施的措施和協議。通過采用零信任架構，將人工智能系統與更廣泛的網絡隔離開來。它通過隔離人工智能系統和機器學習模型來減少攻擊面，使攻擊者更難在網絡中橫向移動。這些控制對于在傳輸過程中保護機器學習模型中使用的數據、防止未經授權的訪問以及確保機器學習通信的完整性和機密性至關重要。網絡安全的關鍵控制包括：使用下一代防火墻進行監測、控制流入、流出的網絡流量，使用TLS等加密協議保護傳輸中的數據，使用入侵檢測與預防系統(IDPS)以及Web應用程序防火墻(WAF)來識別和緩解攻擊，使用虛擬專用網絡(VPN)來創建安全通信通道，以及使用安全的API網關來管理和驗證對機器學習模型的API調用。在機器學習環境中，數據和模型安全性是首要的；因此，這些措施對于機器學習環境中非常關鍵，尤其是在通過網絡(包括互聯網或云環境)訪問或管理模型●評估標準：在整個AI系統中實現100%符合網絡安全策略。●RACI模型：網絡安全團隊(執行)、首席信息安全官(負責),IT運營(咨詢),所有網絡用戶(告知)。●高層實施策略：實施全面的網絡安全措施，如防火墻和網絡分段。●持續監控和報告：定期監控網絡入口和出口流量以及基礎設施內的流量，并確保控制合規。定期進行滲透測試和漏洞評估是一種積極主動的方法，有助于在攻擊者利用這些潛在弱點之前發現網絡安全控制中的漏洞，從而確保機器學習模型及其數據得到強有力的保護。●訪問控制映射：根據特定角色和模型要求定制網絡訪問控制。2.2.3操作系統級加固和安全配置機器學習模型的操作系統級加固和安全配置涉及強化運行機器學習模型和應用程序的底層操作系統(OS),以降低風險和減少漏洞。這個過程對于為機器學習操作創建一個安全的環境至關重要，因為操作系統是這些應用程序的基礎層。關鍵方面包括：定期更新和補丁管理：使操作系統及其組件保持最新的安全補丁和更新，以防止已知的漏洞。最小化安裝：刪除或禁用操作系統中對于ML運營不必要的服務、應用程序和功能，最小化潛在的攻擊面。配置安全設置：調整操作系統設置以增強安全性，例如啟用防火墻、配置用戶權限以及實施安全策略，以規定系統的訪問和使用方式。用戶訪問控制：實施嚴格的用戶訪問控制，確保只有授權用戶才能訪問機器學習系統，并應用最小權限原則，即只授予用戶執行任務所必須的訪問權限。監控和審計：設置監控和審計工具來跟蹤操作系統中的活動和變化，這可以幫助檢測和應對安全事件。安全通信協議：確保與機器學習系統之間的所有通信都是加密和安全的。這些措施有助于為機器學習系統創建穩健的安全態勢，保護其免受各種威脅，這些威脅可能損害機器學習模型及其數據的完整性、機密性和可用性。●評估標準：確保100%的AI系統在加固的操作系統和安全配置下運行。●RACI模型：系統管理團隊(執行)、首席信息安全官(負責)、安全團隊(咨詢)、最終用戶(告知)。●高層實施策略：在操作系統加固和安全配置設置中應用最佳實踐。2.2.4K8s與容器安全K8s和機器學習的容器安全指的是一套用于保護容器化的ML應用程序及其部署環境的實踐和工具。K8s是一個容器編排平臺，容器化技術被廣泛用于部署和管理機器學習模型及工作負載。在這種情況下，具體的安全防護包括：確保在良好的風險管理框架下安全配置容器并減少漏洞，實施強大的K8s集群安全(包括網絡策略、訪問控制和pod安全),以及保護K8s環境中的通信通道。此外，包括管理容器38權限、定期掃描漏洞，以及執行治一系列安全策略，包括：在ML工作流中治理容器安全運行及交互，保護ML模型和數據免受安全威脅，如：未經授權的訪問、漏洞、及容器化部署環境中的其他安全威脅等。●評估標準：目標是降低AI系統中容器環境的安全漏洞率。●RACI模型：容器管理團隊(執行)、CTO(負責),安全團隊(咨詢)、DevOps團隊(咨詢)、應用程序開發團隊(告知)。●高層實施策略：確保在容器化環境中安全部署人工智能應用程序。●持續監控和報告：對容器編排工具進行定期安全評估。●訪問控制映射：為容器環境定義并執行嚴格的訪問策略。●基本準則：遵循OWASPK8sTOP10、NISTSSDF、CNCF安全報告、CIS基準、NIST800-190和NIST800-53最佳實踐。2.2.5云環境安全機器學習模型的云環境安全包括為保護基于云的基礎設施中的機器學習模型及其相關數據而實施的策略和措施。這涉及保護云上的數據存儲和處理、管理對云資源的訪問控制、加密靜態和傳輸中的數據以及確保部署在云平臺上的機器學習模型的安全性。它還包括定期漏洞評估、遵守特定于云的安全標準，以及實施身份和訪問管理的最佳實踐。這種安全性對于防止未經授權的訪問、數據泄露和其他網絡威脅至關重要，可確保在云環境的動態和分布式特性下，機器學習模型和數據的完整性和機密性。●評估標準：努力在AI部署中100%遵守云安全策略。●RACI模型：云安全團隊(執行)、首席信息安全官(負責),IT治理(咨詢),云服務用戶(告知)。●高層實施策略：為人工智能系統實施穩健的云安全措施。●持續監控和報告：使用特定于云的監控工具來檢測威脅并發出警報。●訪問控制映射：為基于云的AI應用程序自定義訪問控制。●基本準則：采用CSACCM。堅持并優先考慮云原生應用程序保護平臺CNAPP。2.3漏洞和補丁管理本章節中的職責和方法應納入組織更廣泛的安全和開發流程，從而確保安全有效地開發、部署和維護人工智能系統。對這些流程的定期審查和更新將有助于適應不斷發展的威脅和技術，這種定期審查可以識別軟件缺陷、漏洞和弱點，并且對其進行排序，處理系統故障、報錯和失效，讓人工智能系統免于暴露遭受攻擊。以下列舉的這些技術位于組織中責任的各個方面，能夠確保和提高人工智能系統的安全性、可靠性和可信度.2.3.1機器學習代碼完整性保護機器學習代碼完整性保護是指為確保機器學習應用程序中使用的源代碼的安全性和完整性而采取的措施和實踐。這涉及保護代碼免受未經授權的修改，確保其真實性，并在整個開發和部署過程中保持質量。最佳實踐包括實施版本控制系統來跟蹤和管理更改，使用簽名來驗證代碼的真實性，定期進行代碼審查和審計以檢測漏洞，以及使用靜態和動態代碼分析工具來識別潛在的安全問題。這些保護對于維護機器學習應用程序的可信度、防止惡意代碼注入以及確保機器學習模型按預期運行和不受損害來說至關重要。●評估標準：O完整性保護覆蓋的ML代碼百分比O完整性檢查的頻率O已解決的關鍵漏洞百分比41●責任(RACI模型):人工智能開發團隊(執行)、人工智能開發經理(負責)、安全團隊、DevOps團隊(咨詢)、合規團隊(告知)。●高層實施策略：O對機器學習模型實施自動完整性檢查。O將完整性檢查集成到CI/CD流水線中。O為機器學習代碼建立定期漏洞評估。O實施針對機器學習算法的安全編碼實踐。O對機器學習模型中的異常行為實施運行時監控。●持續監測和報告：O利用監控工具檢測機器學習模型行為中的異常。O為檢測到的異常建立事件響應程序。O定期報告完整性檢查結果和發現的任何異常。●訪問控制映射：O根據角色和職責授予對ML代碼倉庫的訪問權限。O實現訪問ML代碼的最小特權原則。O對敏感的機器學習代碼庫使用多因素認證。O有關保護機器學習系統的指南，請參考NISTAIRMF。O實施NIST800-53中建議的與機器學習系統相關的安全控制。O遵守CSACCM,以考慮云特定的安全因素。2.3.2機器學習訓練和部署代碼的版本控制系統機器學習訓練和部署代碼的版本控制系統是管理機器學習項目的重要工具，能使團隊能夠跟蹤和管理用于訓練和部署機器學習模型的代碼庫的更改。這些系統通過維護更改歷史、允許輕松跟蹤修改以及在需要時支持回滾到以前的版本，促進了開發人員和數據專家之間的協作。它們在處理各種版本的機器學習模型及其相關數據集方面至關重要，可確保機器學習實驗和部署的一致性和可重復性。通過使用版本控制，團隊可以有效地管理機器學習模型的生命周期，從開發和測試到部署和維護，同時確保整個過程中代碼和模型的完整性和可追溯性。O受版本控制的代碼百分比O提交和更新的頻率O遵守版本控制策略O執行：開發團隊O負責：開發經理O告知：安全團隊O實施集中式版本控制系統(例如Git)O執行分支和合并策略O在合并之前自動進行代碼審查和檢查C2024云安全聯盟大中華區版權所有C2024云安全聯盟大中華區版權所有O實施版本標記以進行發布管理O監控提交活動并識別異常模式O對未經授權的更改或異常活動建立警報O定期審查版本控制日志以確保合規性O根據角色定義存儲庫的訪問控制列表O對存儲庫訪問實施雙因素身份驗證O定期審核存儲庫訪問以確保合規性O實施NIST800-53中概述的與版本控制和變更管理相關的控制措施。2.3.3利用代碼簽名驗證獲批版本在機器學習環境中，安全實踐之一是利用代碼簽名驗證獲批版本，其中數字簽名用于驗證機器學習模型中使用的軟件代碼的真實性和完整性。此過程通常是在代碼經過審查和批準部署后，將加密簽名附加到代碼上。簽名相當于簽章，可以驗證代碼自簽名以來是否被更改或篡改。在機器學習工作流中，代碼簽名對于確保用于訓練、測試和部署機器學習模型的代碼是準確的、授權的版本并且沒有被惡意修改非常重要。這種做法有助于保持對機器學習軟件供應鏈的信任，特別是當模型分布在不同的環境中或在多個團隊或組織之間共享時。O用批準的證書簽名的代碼百分比O遵守代碼簽名政策O代碼簽名檢查的頻率O執行：開發團隊O負責：開發經理O咨詢：安全團隊、發布管理團隊O告知：合規團隊O在構建過程中實現代碼簽名O安全地管理代碼簽名證書O部署前自動執行代碼簽名檢查O對簽名代碼實施時間戳，以防止重放攻擊●持續監測和報告：O監控代碼簽名活動和證書使用情況O對未經授權的代碼簽名嘗試實施警報O定期審查代碼簽名日志以確保合規性●訪問控制映射：O僅限授權人員訪問代碼簽名基礎設施O對代碼簽名證書實施基于角色的訪問控制O定期查看代碼簽名基礎設施的訪問日志O參考與代碼簽名和完整性檢查相關的NIST800-53控制2.3.4基礎設施即代碼方法機器學習模型的基礎設施即代碼方法(laC)是指通過機器可讀的定義文件來管理和配置計算基礎設施，而不是通過物理硬件配置或交互式配置工具。這種做法能夠以一致和可重復的方式自動設置、配置和管理機器學習模型所需的基礎設施，如服務器、存儲和網絡資源。基礎設施即代碼的方法允許機器學習團隊在各種環境(如云、本地或混合設置)中快速部署和擴展他們的模型，只需最少的人工干預。這種方法提高了基礎設施的效率和可靠性。通過部署機器學習模型，確保基礎設施狀態可維護、版本受控并符合定義，從而改善協作并降低機器學習項目中的運營風險。O按代碼管理的基礎設施百分比O遵守基礎設施即代碼最佳實踐O基礎設施更新和審查的頻率O咨詢：開發團隊、安全團隊O告知：運營團隊45●高層實施策略：O利用laC工具，如Terraform或AWSCloudFormationO對基礎架構代碼實施版本控制O自動化基礎設施變更的測試和驗證O實施基礎設施漂移檢測和修復●持續監測和報告：O監控基礎設施的變化和漂移O對未經授權或意外的更改實施警報O定期審查基礎設施代碼是否符合標準●訪問控制映射：O根據角色限制對基礎架構代碼倉庫的訪問O為基礎設施即代碼工具實施基于角色的訪問控制O定期審核對基礎架構代碼倉庫的訪問權限O遵循NIST800-53指南，對基礎設施進行安全配置和管理。O為云基礎設施實施CSACCM中概述的安全控制。MLOps流水線安全的關鍵領域包括源代碼漏洞掃描、測試模型對攻擊的魯棒性、驗證每個階段的流水線完整性以及監控自動化腳本。2.4.1源代碼漏洞掃描機器學習中的源代碼漏洞掃描涉及使用自動化工具系統地檢查機器學習應用程序的源代碼中的安全漏洞和編碼缺陷。這種做法對于早期發現和修復可能危及機器學習系統的潛在安全漏洞至關重要。掃描通常會檢查常見的漏洞，如緩沖區溢出、注入缺陷、調用不安全的庫以及可能導致意外行為或性能問題的編碼實踐。通過定期掃描機器學習代碼，開發人員和數據專家可以確保代碼庫符合安全最佳實踐和標準，從而降低漏洞利用和入侵的風險。這種主動的方法對于維護機器學習應用程序的完整性和可信度至關重要，特別是在處理敏感數據或在關鍵系統中使用時。●評估標準：通過針對模型訓練和部署中使用的源代碼的百分比率和掃描的頻次多少來作為評估標準。O執行：模型開發團隊O負責：首席信息安全官(CISO)O咨詢：應用安全團隊O告知：開發運營(DevOps)團隊●高層實施策略：利用自動化工具實施定期的源代碼漏洞掃描，并將這些工具集成到開發生命周期中。●持續監控和報告：為代碼掃描建立持續監控系統，并實時報告結果。●訪問控制映射：確保只有授權人員才能訪問和修改源代碼和掃描工具。●基本準則：以NIST800-53標準和CSACCM為指導原則。2.4.2測試模型對攻擊的魯棒性在機器學習中測試模型對攻擊的魯棒性來評估機器學習模型，可以確定它們能夠承受和應對各種對抗性攻擊或操縱的能力。該測試對于識別機器學習模型中的潛在漏洞至關重要，這些漏洞可能被利用，從而產生不正確的結果，導致系統故障或泄露敏感信息。它通常包括用人為制作的輸入(對抗性樣本)探測模型，以評估其應對此類攻擊的能力，分析模型在不同威脅場景下的行為，并驗證其在面對意外或惡意輸入時保持性能和準確性的能力。魯棒性測試有助于確保機器學習模型的可靠性和安全性，特別是需要穩固的決策能力的應用中，如自動駕駛汽車、金融系統或醫療診斷。●評估標準：通過攻擊測試的模型百分比和測試的頻率來衡量有效性。O執行：AI/ML測試團隊O負責：Al/ML開發主管O咨詢：安全分析師O告知：Al/ML開發團隊●高層實施策略：為模型開發穩健的測試框架，重點是識別和減輕潛在的攻擊媒介。●持續監測和報告：實施持續評估模型魯棒性的機制，并定期向利益相關者通報結果。●訪問控制映射：適當地控制對測試框架和模型的訪問。●基本準則：參考NISTAIRMF、NISTAl100-2E2023《對抗性機器學習：攻擊與緩解的分類和術語》、以及其他相關標準中的最佳實踐。2.4.3驗證每個階段的流水線完整性在機器學習的每個階段驗證流水線完整性是指確保機器學習流水線的每個階段 (從數據收集和預處理到模型訓練、評估和部署)正確安全運行。這涉及在每個階段進行徹底的檢查和驗證，以防止數據損壞、未經授權的訪問和其他可能損害流水線性能和模型準確性的漏洞。此類驗證包括驗證數據質量和一致性，確保安全的數據處理實踐，評估模型訓練過程的可靠性和可重復性，以及確認部署機制是安全的并按預期運行。這種全面的驗證方法對于維護機器學習流水線的整體完整性和有效性至關重要，特別是在復雜或高風險的環境中，機器學習模型的準確性和可靠性就顯得尤為重要。●評估標準：重點是仔細監測MLOps流水線的完整性。通過對每個階段的檢查采用百分比評估，并驗證評估過程的深度和完整度，可以確保流水線的每個階段都能夠按預期運行，嚴格遵守既定的標準和最佳實踐。O執行：DevOps團隊負責驗證每個流水線階段的日常任務。他們是驗證過程的主要執行者，確保MLOps流水線的每個階段都經過徹底檢查和驗證。O負責：工程主管對MLOps流水線的整體完整性負有最終責任。該角色涉及監督驗證過程，并確保流水線符合必要的標準和要求。O咨詢：質量保證(QA)團隊是咨詢性的，為驗證過程提供專家建議和意見。他們的參與對于確定驗證標準和審查驗證結果至關重要。O告知：項目經理隨時了解流水線驗證過程的狀態和結果。這確保他們了解可能影響項目時間表或交付成果的任何潛在問題或變化。●高層實施策略：系統驗證MLOps流水線每個階段的完整性。該戰略包括為數據和流程完整性建立明確的程序和標準。它涉及對每個流水線階段定義特定的驗證測試和檢查，確保從數據采集到模型部署的每個環節都能正確安全地運行。證和實時報告系統。該系統應在出現任何差異或異常時進行檢測，以便立即采取行動糾正問題。持續監控確保流水線始終保持安全高效。●訪問控制映射：嚴格的訪問控制對于維護每個文件的完整性至關重要MLOps流水線的階段。這涉及定義和執行誰有權訪問流水線的各個部分，在什么條件下，以及以什么級別的權限。此類控制對于防止可能損害流水線完整性的未經授權的訪問或修改至關重要。定的行業標準和指南，如NIST《安全軟件開發框架》(SSDF)中描述的標準和指南。遵照此框架體系可以為安全性和效率提供基準，指導穩健可靠地進行MLOps流水線的開發和維護。2.4.4監控自動化腳本這項任務涉及對所有腳本的密切監控，利用這些腳本，機器學習生命周期的各個階段(從數據預處理到模型部署和管理)都可以自動化處理。●評估標準：監控自動化腳本的有效性由兩個主要指標來量化：持續監控下的自動化腳本的百分比和監控活動的頻率。此評估有助于確保所有腳本正確有效地運行，并及時發現和解決潛在問題。●RACI模型：O執行：IT運營團隊主要負責MLOps流水線內自動化腳本的日常監控。他們的職責包括監督腳本的執行，確保其性能和安全性，并識別操作問題。O負責：首席技術官(CTO)對自動化腳本的管理和安全負全部責任。CTO確保監控策略得到有效實施，并與組織的技術目標保持一致。O咨詢：DevOps團隊提供關鍵的意見和專業知識，特別是在腳本部署和運營效率方面，對于加強流水線內使用的監測流程和工具至關重要。O告知：MLOps流水線中的所有利益相關者，包括數據專家、機器學習工程師和項目經理，都會隨時了解自動化腳本的狀態和性能。這確保了流水線所有階段的連貫性和透明性。為了保證整個MLOps流水線的連貫性和透明性，所有利益相關者(包括數據專家、機器學習工程師和項目經理)都必須充分了解自動化腳本的狀態和性能。這種做法不僅促進了流水線所有階段的統一方法，而且確保了決策是基于最新和準確的信息，提高了人工智能部署的整體安全性和效率。●高層實施策略：為所有自動化腳本實施全面的監測系統是至關重要的。該系統應跟蹤腳本的性能和效率，以確保其符合既定的標準和實踐。它應該無縫集成到MLOps流水線中，提供對自動化腳本行為和輸出的實時狀態與●持續監測和報告：及時發現并解決自動化腳本的問題的關鍵是持續監測。監控系統應能夠生成實時警報和報告，及時提供有關腳本性能、錯誤或安全問題的信息。這種持續的反饋對于維護MLOps流水線的操作完整性至關●訪問控制映射：嚴格的