人工智能安全治理框架（2024）目錄TOC\o"1-2"\h\z\u人工智能安全治理原則 1人工智能安全治理框架構成 2人工智能安全風險分類 3人工智能內生安全風險 3人工智能應用安全風險 5技術應對措施 7針對人工智能內生安全風險 7針對人工智能應用安全風險 9綜合治理措施 10人工智能安全開發應用指引 12模型算法研發者安全開發指引 12人工智能服務提供者安全指引 13重點領域使用者安全應用指引 14社會公眾安全應用指引 15人工智能安全治理框架人工智能安全治理框架人工智能安全治理框架人工智能安全治理框架--人工智能安全治理框架（V1.0）落實《全球人工智能治理倡議》，遵循“以人為本、智能向善”的發展方向，為推動政府、國際組織、企業、科研院所、民間機構和社會公眾等各方，就人工智能安全治理達成共識、協調一致，有效防范化解人工智能安全風險，制定本框架。人工智能安全治理原則秉持共同、綜合、合作、可持續的安全觀，堅持發展和安全并重，以促進人工智能創新發展為第一要務，以有效防范化解人工智能安全風險為出發點和落腳點，構建各方共同參與、技管結合、分工協作的治理機制，壓實相關主體安全責任，打造全過程全要素治理鏈條，培育安全、可靠、公平、透明的人工智能技術研發和應用生態，推動人工智能健康發展和規范應用，切實維護國家主權、安全和發展利益，保障公民、法人和其他組織的合法權益，確保人工智能技術造福于人類。包容審慎、確保安全。風險及時采取措施。風險導向、敏捷治理。措施。關注安全風險發展變化，快速動態精準調整治理措施，持續優化治理機制和方式，對確需政府監管事項及時予以響應。管理相結合的安全治理措施，防范應對不同類型安全風險。圍繞人工智能研發應用生態鏈，明確模型算法研發者、服務提供者、使用者等相關主體的安全責任，有機發揮政府監管、行業自律、社會監督等治理機制作用。共享最佳實踐，提倡建立開放性平臺，通過跨學科、跨領域、跨地區、跨國界的對話和合作，推動形成具有廣泛共識的全球人工智能治理體系。人工智能安全治理框架構成應動態調整更新，需要各方共同對治理框架持續優化完善。安全風險方面。通過分析人工智能技術特性，以及在不同行業領域應用場景，梳理人工智能技術本身，及其在應用過程中面臨的各種安全風險隱患。應用場景，提出通過安全軟件開發、數據質量提升、安全建設運維、測評監測加固等技術手段提升人工智能產品及應用的安全性、公平性、可靠性、魯棒性的措施。綜合治理措施方面。明確技術研發機構、服務提供者、用戶、政府手段，推動各方協同共治。安全開發應用指引方面。明確模型算法研發者、服務提供者、重點領域用戶和社會公眾用戶，開發應用人工智能技術的若干安全指導規范。人工智能安全風險分類人工智能系統設計、研發、訓練、測試、部署、使用、維護等生命周期各環節都面臨安全風險，既面臨自身技術缺陷、不足帶來的風險，也面臨不當使用、濫用甚至惡意利用帶來的安全風險。人工智能內生安全風險模型算法安全風險可解釋性差的風險。以深度學習為代表的人工智能算法內部運行邏有異常難以快速修正和溯源追責。魯棒性弱風險。由于深度神經網絡存在非線性、大規模等特點，人工智能易受復雜多變運行環境或惡意干擾、誘導的影響，可能帶來性能下降、決策錯誤等諸多問題。密泄露，推理過程不可信、決策輸出錯誤，甚至運行故障。“幻覺對抗攻擊風險。攻擊者通過創建精心設計的對抗樣本數據，隱蔽地數據安全風險違規收集使用數據風險。人工智能訓練數據的獲取，以及提供服務侵犯知識產權等違法有害信息，或者來源缺乏多樣性，導致輸出違法的、不良的、偏激的等有害信息內容。訓練數據還面臨攻擊者篡改、注入錯誤、誤導數據的“投毒”風險，“污染”模型的概率分布，進而造成準確性、可信度下降。訓練數據標注不規范風險。訓練數據標注過程中，存在因標注規則不完備、標注人員能力不夠、標注錯誤等問題，不僅會影響模型算法準確度、可靠性、有效性，還可能導致訓練偏差、偏見歧視放大、泛化能力不足或輸出錯誤。數據泄露風險。人工智能研發應用過程中，因數據處理不當、非授權訪問、惡意攻擊、誘導交互等問題，可能導致數據和個人信息泄露。系統安全風險缺陷、后門被攻擊利用風險。人工智能算法模型設計、訓練和驗證漏洞等脆弱點，還可能被惡意植入后門，存在被觸發和攻擊利用的風險。供應鏈安全風險。人工智能產業鏈呈現高度全球化分工協作格局。全球人工智能供應鏈，帶來突出的芯片、軟件、工具斷供風險。人工智能應用安全風險網絡域安全風險混淆事實、誤導用戶、繞過鑒權的風險。人工智能系統及輸出內容難以鑒別生成內容的真實性，影響用戶判斷，導致誤解。同時，人工智能生成圖片、音頻、視頻等高仿真內容，可能繞過現有人臉識別、語音識別等身份認證機制，導致認證鑒權失效。不當使用引發信息泄露風險。政府、企業等機構工作人員在業務工導致工作秘密、商業秘密、敏感業務數據泄露。濫用于網絡攻擊的風險。人工智能可被用于實施自動化網絡攻擊或網絡掃描、社會工程學攻擊等，降低網絡攻擊門檻，增大安全防護難度。模型復用的缺陷傳導風險。依托基礎模型進行二次開發或微調，是常見的人工智能應用模式，如果基礎模型存在安全缺陷，將導致風險傳導至下游模型。現實域安全風險兩用物項和技術濫用風險。因不當使用或濫用人工智能兩用物項和技術，對國家安全、經濟安全、公共衛生安全等帶來嚴重風險。包括極大降低動挖掘與利用漏洞等方式，對廣泛潛在目標發起網絡攻擊。認知域安全風險效應進一步加劇。用于開展認知戰的風險。人工智能可被利用于制作傳播虛假新聞、圖像、音頻、視頻等，宣揚恐怖主義、極端主義、有組織犯罪等內容，干涉他國內政、社會制度及社會秩序，危害他國主權；通過社交機器人在網絡空間搶占話語權和議程設置權，左右公眾價值觀和思維認知。倫理域安全風險加劇社會歧視偏見、擴大智能鴻溝的風險。利用人工智能收集分析人類行為、社會地位、經濟狀態、個體性格等，對不同人群進行標識分類、區別對待，帶來系統性、結構性的社會歧視與偏見。同時，拉大不同地區人工智能鴻溝。未來脫離控制的風險。隨著人工智能技術的快速發展，不排除人工智能自主獲取外部資源、自我復制，產生自我意識，尋求外部權力，帶來謀求與人類爭奪控制權的風險。技術應對措施針對上述安全風險，模型算法研發者、服務提供者、系統使用者等需從訓練數據、算力設施、模型算法、產品服務、應用場景各方面采取技術措施予以防范。針對人工智能內生安全風險模型算法安全風險應對推理邏輯、技術接口、輸出結果提供明確說明，正確反映人工智能系統產生結果的過程。能消除模型算法存在的安全缺陷、歧視性傾向，提高魯棒性。數據安全風險應對在訓練數據和用戶交互數據的收集、存儲、使用、加工、傳輸、提嚴格落實關于用戶控制權、知情權、選擇權等法律法規明確的合法權益。識產權。對訓練數據進行嚴格篩選，確保不包含核生化導武器等高危領域敏感數據。符合數據安全和個人信息保護相關標準規范。使用真實、準確、客觀、多樣且來源合法的訓練數據，及時過濾失效、錯誤、偏見數據。向境外提供人工智能服務，應符合數據跨境管理規定。向境外提供人工智能模型算法，應符合出口管制要求。系統安全風險應對對聚合多個人工智能模型或系統的平臺，應加強風險識別、檢測、防護，防止因平臺惡意行為或被攻擊入侵影響承載的人工智能模型或系統。加強人工智能算力平臺和系統服務的安全建設、管理、運維能力，確保基礎設施和服務運行不中斷。高度關注供應鏈安全。跟蹤軟硬件產品的漏洞、缺陷信息并及時采取修補加固措施，保證系統安全性。針對人工智能應用安全風險網絡域風險應對建立安全防護機制，防止模型運行過程中被干擾、篡改而輸出不可信結果。應建立數據護欄，確保人工智能系統輸出敏感個人信息和重要數據符合相關法律法規。現實域風險應對根據用戶實際應用場景設置服務提供邊界，裁減人工智能系統可能被濫用的功能，系統提供服務時不應超出預設應用范圍。提高人工智能系統最終用途追溯能力，防止被用于核生化導等大規模殺傷性武器制造等高危場景。認知域風險應對通過技術手段判別不符合預期、不真實、不準確的輸出結果，并依法依規監管。喜好以及個人思想傾向的人工智能系統，應嚴格防范其濫用。加強對人工智能生成合成內容的檢測技術研發，提升對認知戰手段的防范、檢測、處置能力。倫理域風險應對在算法設計、模型訓練和優化、提供服務等過程中，應采取訓練數職業、健康等方面歧視。應用于政府部門、關鍵信息基礎設施以及直接影響公共安全和公民措施。綜合治理措施政府部門、行業協會、社會組織等多方參與的人工智能安全風險綜合治理制度規范。途管理，對特定人群及場景下使用人工智能技術提出相關要求，防止人工智能系統被濫用。對算力、推理能力達到一定閾值或應用在特定行業領域的人工智能系統進行登記備案，要求其具備在設計、研發、測試、部署、使用、維護等全生命周期的安全防護能力。建立人工智能服務可追溯管理制度。對面向公眾服務的人工智能系統，通過數字證書技術對其進行標識管理。制定出臺人工智能生成合成內容分發渠道等關鍵環節，便于用戶識別判斷信息來源及真實性。完善人工智能數據安全和個人信息保護規范。針對人工智能技術人信息保護要求。構建負責任的人工智能研發應用體系。研究提出“以人為本、智能向善”在人工智能研發應用中的具體操作指南和最佳實踐，持續推進人工智能設計、研發、應用的價值觀、倫理觀對齊。探索適應人工智能時代的版權保護和開發利用制度，持續推進高質量基礎語料庫和數據集建設，為人工智能安全發展提供優質營養供給。制定人工智能倫理審查準則、規范和指南，完善倫理審查制度。強化人工智能供應鏈安全保障。推動共享人工智能知識成果，開源人工智能技術，共同研發人工智能芯片、框架、軟件，引導產業界建立開放生態，增強供應鏈來源多樣性，保障人工智能供應鏈安全性穩定性。推進人工智能可解釋性研究。從機器學習理論、訓練方法、人機交互等方面組織研究人工智能決策透明度、可信度、糾錯機制等問題，不斷提高人工智能可解釋性和可預測性，避免人工智能系統意外決策產生惡意行為。人工智能安全風險威脅信息共享和應急處置機制。持續跟蹤分析安全事件等動向，協調有關研發者、服務提供者建立風險威脅信息通報和共享機制。構建人工智能安全事件應急處置機制，制定應急預案，開展應急演練，及時快速有效處置人工智能安全威脅和事件。加大人工智能安全人才培養力度。推動人工智能安全教育與人工智能學科同步發展，依托學校、科研機構等加強人工智能安全設計、開發、治理人才的培養，支持培養人工智能安全前沿基礎領域頂尖人才，壯大無人駕駛、智能醫療、類腦智能、腦機接口等領域安全人才隊伍。建立健全人工智能安全宣傳教育、行業自律、社會監督機制。面向政府、企業、社會公用事業單位加強人工智能安全規范應用的教育培訓。加強人工智能安全風險及防范應對知識的宣傳，全面提高全社會人工智能安全意識。指導支持網絡安全、人工智能領域行業協會加強行業自律，制定提出高于監管要求、具有引領示范作用的人工智能安全自律公約，引導督促人工智能技術研發機構、服務提供者持續提升安全能力水平；面向公眾建立人工智能安全風險隱患投訴舉報受理機制，形成有效的人工智能安全社會監督氛圍。促進人工智能安全治理國際交流合作。積極與各國就人工智能開展合作交流，支持在聯合國框架下成立國際人工智能治理機構，協調人工智能發展、安全與治理重大問題。推進APEC、G20、金磚國家等多邊機制下的人工智能安全治理合作，加強與共建“一帶一路”國家、“全球南方”國家合作，踐，共同制定人工智能安全國際標準。人工智能安全開發應用指引模型算法研發者安全開發指引研發者應在需求分析、項目立項、模型設計開發、訓練數據選用等關鍵環節，切實踐行“以人為本、智能向善”理念宗旨，遵循科技倫理規范，采用戶溝通交流、加強員工安全教育培訓等措施。研發者應重視數據安全和個人信息保護，尊重知識產權和版權，確保數據來源清晰、途徑合規。建立完善的數據安全管理制度，確保數據安全性和質量，以及合規使用，防范數據泄露、流失、擴散等風險，人工智能產品終止下線時妥善處理用戶數據。研發者應確保模型算法訓練環境的安全性，包括網絡安全配置和數據加密措施等。研發者應評估模型算法潛在偏見，加強訓練數據內容和質量的抽查檢測，設計有效、可靠的對齊算法，確保價值觀風險、倫理風險等可控。研發者應結合目標市場適用法律要求和風險管理要求，評估人工智能產品和服務能力成熟度。研發者應做好人工智能產品及所用數據集的版本管理，商用版本應可以回退到以前的商用版本。研發者應定期開展安全評估測試，測試前明確測試目標、范圍和安全維度，構建多樣化的測試數據集，涵蓋各種應用場景。混合測試等，利用沙箱仿真等技術對模型進行充分測試和驗證。研發者應評估人工智能模型算法對外界干擾的容忍程度，以適用范圍、注意事項或使用禁忌的形式告知服務提供者和使用者。研發者應生成詳細的測試報告，分析安全問題并提出改進方案。人工智能服務提供者安全指引場景。服務提供者應在合同或服務協議中，以使用者易于理解的方式，告知人工智能產品和服務的適用范圍、注意事項、使用禁忌，支持使用者知情選擇、審慎使用。服務提供者應在告知同意、服務協議等文件中，支持使用者行使人類監督和控制責任。服務提供者應讓使用者了解人工智能產品的精確度，在人工智能決策有重大影響時，做好解釋說明預案。服務提供者應檢查研發者提供的責任說明文件，確保責任鏈條可以追溯到遞歸采用的人工智能模型。服務提供者應提高人工智能風險防范意識，建立健全實時風險監控管理機制，持續跟蹤運行中安全風險。服務提供者應評估人工智能產品與服務在面臨故障、攻擊等異常條度有效功能。服務提供者應將人工智能系統運行中發現的安全事故、安全漏洞等及時向主管部門報告。服務提供者應在合同或服務協議中明確，一旦發現不符合使用意圖和說明限制的誤用、濫用，服務提供者有權采取糾正措施或提前終止服務。服務提供者應評估人工智能產品對使用者的影響，防止對使用者身心健康、生命財產等造成危害。重點領域使用者安全應用指引對于政府部門、關鍵信息基礎設施以及直接影響公共安全和公民生命健康安全的領域等重點領域使用者，應審慎評估目標應用場景采用人工智能技術后帶來的長期和潛在影響，開展風險評估與定級，避免技術濫用。可控性等，定期進行系統審計，加強風險防范意識與風險應對處置能力。重點領域使用者在使用人工智能產品前，應全面了解其數據處理和隱私保護措施。制，增強賬戶安全性。重點領域使用者應增強網絡安全、供應鏈安全等方面的能力，降低人工智能系統被攻擊、重要數據被竊取或泄露的風險，保障業務不中斷。重點領域使用者應合理限制人工智能系統對數據的訪問權限，制定數據備份和恢復計劃，定期對數據處理流程進行檢查。重點領域使用者應確保操作符合保密規定，在處理敏感數據時使用加密技術等保護措施。重點領域使用者應對人工智能行為和影響進行有效監督，確保人工智能產品和服務的運行基于人的授權、處于人的控制之下。重點領域使用者應避免完全依賴人工智能的決策，監控及記錄未采換到人工或傳統系統等的能力。社會公眾安全應用指引社會公眾應提高對人工智能產品安全風險的認識，選擇信譽良好的人工智能產品。社會公眾應在使用前仔細閱讀產品合同或服務協議，了解產品的功定使用預期。社會公眾應提高個人信息保護意識，避免在不必要的情況下輸入敏感信息。社會公眾應了解人工智能產品的數據處理方式，避免使用不符合隱私保護原則的產品。社會公眾在使用人工智能產品時，應關注網絡安全風險，避免人工智能產品成為網絡攻擊的目標。社會公眾應注意人工智能產品對兒童和青少年的影響，預防沉迷及過度使用。安全風險與技術應對措施、綜合治理措施映射表安全風險技術應對措施綜合治理措施內生（自身）安全風險模型算法安全風險可解釋性差的風險4.1.1（a）