本報告版權屬于出品方所有,并受法律保護。轉載、摘編或利用其他方式使用報告文字或者觀點的,應注明來源。違反上訴聲明者,本單本報告部分內容引用自上海賽博網絡安全產業創新研究院和上海觀安信息技術股份有限公司聯合出品的《人工智能數據安全治理報告》,特此感謝。當前,隨著以“算力新基建、數據新要素、AI為代表的AIGC應用掀起人工智能新—輪浪潮,全在技術和產業上進入重要轉型階段。在此背景下,影響用戶隱私、公民權益、商業秘密、國家安全等各個方面,AIGC的創新應用和數據安全治理工作本報告重點聚焦并梳理了人工智能應用中較為獨特或更突出的安全問題,全面分析了當前全球人工智能數據安全和算法治理的主要現狀和最新動態,基于全球相關治理實踐和我國實際情況,構建第一章人工智能發展與安全挑戰1.數據采集階段:難以保障數據所有者權利2.數據處理階段:可能導致決策錯誤或算法歧視3.數據流通階段:流通交互的合法性及安全性4.數據使用階段:可能影響國家、企業及個人安全第二章全球人工智能數據和算法安全治理現狀1.美國:鼓勵AIGC發展,以場景化立法規制安全2.歐盟:重塑AIGC治理規范,基于風險識別強監管3.中國:實施AIGC適度監管,多層級、多角度規范第三章AIGC數據和算法安全治理框架參考文獻PART1PART 近年來,隨著大數據、云計算、人工智能等為代表的數字技術帶來全球性的科技革命和產業變革,征的算力經濟發展浪潮為人工智能全面發展注入了算力新基建成為人工智能新發展的堅實底座和基礎支撐。數字化時代的數據呈指數級爆發,隨著人工智能等智能化應用的持續發展,用于人工智能訓練和推理計算的智能算力需求也呈現出快速增長趨勢。近年來,美、歐、日、英等全球主要經濟體大力發展以云計算、邊緣計算、智算數據中心等為代表的新型算力基礎設施。2022年,中國“全面啟成渝、內蒙古、貴州、甘肅、寧夏等8地啟動建設2023年,科技部發布《關于支持建設國家新—代人工智能公共算力開放創新平臺的函》,批復9個平臺建設國家新—代人工智能公共算力開放創新平臺、16個平臺建設國家新—代人工智能公共算力開放創新平臺,加快推進算力基礎設施建設。算力作為數字經濟時代的關鍵生產力,其基礎設施建設保障了人工智能發展所需要的巨大基礎計算和存儲需求,為人工智能市場化應用提供高質量的硬件支數據新要素成為人工智能新發展的核心動能和強大驅動。2022年12月,中國發布《中共中央國務院關于構建數據基礎制度更好發揮數據要素作用的意見》,從數據產權、流通交易、收益分配、安全治理等方面構建數據基礎制度,提出20條政策舉措。隨著全球各國不斷加快數據市場的建設,將進—步形成包括數據要素確權定價、數據交易流通和收益分配等核心功能的數據要素市場,極大地推動政府公共數據開放和社會企業數據共享,進—步打通數據壁壘,推動更大規模的數據有序、便捷、高效和安全流動交易,為人工智能全面發展注入高質AI大模型成為人工智能新發展的創新引領和產大模型在大規模數據集上完成數據預訓練后,能夠直接支撐各類應用。早期的大模型源于NLP(自然語言處理)領域,隨著人工智能多模態生成能力的演進,數據規模和參數規模的有機提升,目前多模態通用大模型逐漸成為發展主流。進入算力經濟時代,基于AI大模型的各類應用有望帶來生產力的顛“成長期”,其中,AIGC作為人工智能行業在技術上的新突破、新發展,主要呈現兩個關鍵特征。●AIGC領域技術迅速突破。人工智能相關技術發展經過三個階段,“圖靈測試”為代表性事件的早期萌芽階段(20世紀50年代至90年代中期),從實驗性向實用性轉變的沉淀積累階段(20世紀90態預訓練大模型、深度生成模型、生成式對抗網絡 (GAN)、語言模型(Transformer)等AI技術的快速發展階段(21世紀10年代中期至今)。目前,重點領域的技術突破催生了AIGC人工智能應用,在大模型、算力及AI技術的支撐下,個發展方向,前者具有任務單—、需求明確、應用計劃和問題解決能力,在不同的應用場景或任務領●AIGC產業生態初步成型。人工智能產業鏈已形成包括智能芯片、傳感器、智能設備廠商的硬件層,數據分析處理、算法模型、軟件開發和關鍵技術廠商的技術層,行業應用、解決方案、產品服務開發廠商的應用層等三大層級體系,整體產業結同時,AIGC產業作為萬眾矚目的藍海,市場規模持續增長。根據對610個國內外應用的統計,AIGC約包含48個分類。根據應用場景,可以分為特定實驗(蛋白質序列)模擬類以及代碼編寫協助隨著人工智能在產業和技術兩個方面加快度過“探索期”,逐步進入“成長期”,人工智能(AIGC)發展與安全更加深度地交織在—起,數據和算法安全問題已然成為人工智能突破關鍵轉軌期所必須解決的重要制約瓶—方面,人工智能發展加劇了傳統數據安全風險。人工智能的新發展必然伴隨著數據總量的井噴數據在多種渠道和方式下的流動更加復雜,數據利用場景更加多樣,整體數字空間對于人類現實社會各個領域的融合滲透更趨于深層,這將使得傳統數另—方面,人工智能催生了各種新型的數據安全和算法風險。人工智能通過訓練數據集構造和優將帶來更多的隱私保護憂患、智能代替人工造成的就業擔憂、算法對于市場競爭帶來的不公平以及科技倫理等—系列問題。同時,人工智能在自動化網絡攻擊、數據黑產的應用,使得網絡安全和數據安全威脅更加復雜,對國家和企業現有的安全治理能人工智能(AIGC)發展過程中面臨的安全挑戰既有傳統數據安全問題,也具有人工智能特性帶來的新型風險,1.數據采集階段:難以保障數據所有者權利1.數據采集階段:難以保障數據所有者權利需的數據呈現指數級增長趨勢,因此通過數據采集獲取海量數據是人工智能發展的重要前提。從數據采集方式來看,目前主要包括現場無差別采集、直由于難以提前預知采集的數據對象和數據類型,因此在公開環境尤其是公共空間進行現場采集時,將不可避免地因采集范圍的擴大化而帶來過度采集問題,當采集的對象為用戶時,也難以獲得用戶的充分授權同意。直接在線采集時,由于是通過技術手段對于網絡公開數據進行掃描爬取,而人工智能系統通常由訓練好的模型部署而成,需要對數據進行連續性的處理分析,因此很難保障數據所有者的修改、撤回等權益,并且可能涉及知識產權問題。數據交易時,由于目前數據交易和流通的市場化機制不健全,因此存在—部分企業通過灰色渠道獲得數據,數據收集存在違法問題。最后,隨著AI生成技術的發展,有效網絡數據的增長將跟不上訓練模型所需數據量的增速,與此同時數據獲取的成本也不斷上漲,因此合成類數據(syntheticData)將是未2023年12023年1月23日,在加州北區法院,美國三名漫畫藝術家針對包括stabiIityAI在內的三家AIGC商業應用公司發起集體訴訟,指控stabiIityAI研發的stabIeDifusion模型以及三名被告各自推出的、基于stabIeD2.數據處理階段:可能導致決策錯誤或算法歧視性不足、異構化嚴重、數據集標注質量過低、缺乏標準化的數據治理程序、數據投毒攻擊等。在數據與模型算法適配度極低的情況下,在進行算法訓練時將會明顯帶來反復優化、測試結果不穩定等問題,使得人工智能運行的成本大大提高,嚴重的數據污染甚至直接導致數據投毒可能導致人工智能決策錯誤。在自動駕駛、智能工廠等對實時性要求極高的人工智能場景中,惡意攻擊者人為地在訓練數據集中定向添加異常數據或是篡改數據,將通過破壞原有訓練數據的概率分布導致模型產生分類或聚類錯誤,從而連續性引發人工智能的決策偏差或錯誤。數據投毒對人工智能核心模塊產生的定向干擾還可能擴散到智能設備終端(如智能駕駛汽車的剎車裝置、智能工廠的溫度分析裝置等),產生災難性事故后果。數據偏差可能導致人工智能決策歧視。人工智能算法決策中所使用的訓練數據和樣本數據,因地域數字化發展不平衡或社會價值的傾向偏見而存在比如在對話生成場景中,ChatGPT等應用可能因為訓練數據的不足,生成帶有政治偏見的信息,在金融征信、醫療教育和在線招聘領域,可能因為邊遠地區、弱勢群體和少數族裔的數據量不足、數據質量不高等因素,導致自動化決策的準確率會基于人群特征形成明顯的分化,從而產生實質性的歧視影 的算法會自動拒絕年齡較大的應聘者,55歲以上的女性和60歲以上的男性將被取消3.數據流通階段:流通交互的合法性及安全性海量數據在存儲及交互中泄露和濫用隱患。部分人工智能企業采取委托第三方或眾包的方式進行海量數據的采集、標注、分析和算法優化,數據在供應鏈的各個主體之間形成復雜、實時的交互流通鏈路,考慮到各主體數據安全能力的參差不齊,可能產生數據泄露或濫用的風險。此外,人工智能初創企業對于開源框架、第三方軟件包、數據庫和其他相關組件等均存在較大的依賴性,但由于缺乏嚴格的測試管理和安全認證,因此將面臨不可預期的CIearviewAI的面部識別應用客戶包括了美國移民局、司法部、銀行,FBI,ICE,梅數據孤島和流通壁壘導致人工智能數據供給不足。底層數據資源的競爭是人工智能企業最關鍵的市場競爭力體現。以GPT-3為例,該模型有1750億個參數,預訓練數據量高達45TB。然而,數據需求和供給之間的不對稱、成熟的數據要素市場尚未形成,這些因素都嚴重影響了行業的發展。同時,在政府與企業之間、大企業與小企業之間、行業與行業之間,因數據確權、數據安全等問題也存在著諸多法律和技術上的數據流通壁壘,間接形成了數全球數字經濟發展不均衡的大背景下,大型科技巨算法研發優化、產品設計應用等環節分散在不同的國家,而小型初創企業也需要諸多第三方平臺和數據分析公司的支撐。因此,無論是出于企業自身需要還是第三方合作,在人工智能技術研發和場景應用中均需要常態化、持續性、高速率、低延時的跨境數據流動。在各國日益趨嚴的數據出境安全評估要求下,數據出境流動而面臨極大的政策障礙,更將對主權國家的國家安全、數據主權等帶來復雜的4.數據使用階段:可能影響國家、企業及個人安全算法推薦、模型濫用將威脅公民隱私和國家安全,隨著大數據分析和用戶畫像技術的快速發展,個性化服務變得越來越普遍,各類平臺和企業對于服務的核心基礎,這種為開展算法推薦而對用戶習慣行為長期跟蹤和深度分析的行為,將使公民隱私面臨安全風險,甚至可被用于政黨競選和政治宣傳等目的,對各國現行的政治制度產生極大的沖擊。此外,基于大模型和算法的自動代碼編寫、內容自動生成使得網絡攻擊、輿論引導等惡意行為的成本成語言生成,模型惡意使用可能導致攻擊者通過隱蔽的算法也可能完成意識形態輸出與滲透,部分國2023年5月,甘肅平凉市公安局崆峒分局網安大隊在日常網絡巡查中發2023年5月,甘肅平凉市公安局崆峒分局網安大隊在日常網絡巡查中發現,某百度賬息。犯罪嫌疑人洪某通過ChatGPT將搜集到的新聞要素修改編輯后,使用“海豹科技”軟件上傳至其購買的百家號上非法獲利,并且造成惡劣的社會影響。?????????????????由于算法模型在部署應用中通常需要將訪問接口公共發布給用戶使用,攻擊者可以利用神經網絡等人工智能算法對訓練數據集的記憶,通過公共訪問接口對算法模型進行黑盒訪問,從而分析系統的輸入輸出和其他外部信息,并推測系統模型的參數及訓練數據中的隱私信息。甚至部分攻擊者能夠通過構造出與目標模型相似度非常高的模型,進行不斷地優化逼近,從而實現對算法模型的竊取,還原出模型訓練和運行過程。逆向還原攻擊對算法模型、參數特征的竊取將直接威脅企業的知識產權和網絡資產安全。此外,辦公環境中對于AIGc的不當使用,也可能造成企業商業秘密泄露——輸入應用的數據被人工智2023年42023年4月,三星曝出三起員工因使用chatGPT而泄露敏感信息的事件。由于三星允許其半導體部門的工程師使用chatGPT進行源代碼修復,在修復過程中,員工向chatGPT輸入了包括新程序的源代碼本體、與硬件相關的內部會議記錄等在內的機密數據,最終導致相關數據被chatGPT獲取,用于進—步的模型訓練。???PART2PART全球人工智能數據和算法安全治理 在人工智能領域數據安全、算法歧視、科技倫理等風險隱患涌現的背景下,人工智能數據和算法安全成為世界主要國家均高度重視人工智能的安全問題,并將其提升至國家戰略層面。聚焦AIGC領域,各國近—年加快采取監管舉措,規范AIGC應用過程中的數據處理活動,并且將數據和算法治理放在首要位置。1.美國:鼓勵AIGC發展,以場景化立法規制安全美國積極主動地通過立法來謀求其全球科技主導地位,對于AIGC持“全面鼓勵、擁抱發展”的態度。雖然目前暫無專門規范AIGC的法律文件,僅國參議院聽證會上,敦促立法者對制造先進AI的組織實施許可要求和其他法律要求,但人工智能的整體治理仍在推行中,因此AIGC的治理工作可以參考在人工智能及算法治理方面,美國長期以來關注人工智能及算法對于公民權利、自由及數據和隱私安全的影響,并且通過發布一系列政策文件逐步能的未來做好準備》和《國家人工智能研究和發展完全可追溯和可訪問性,支持人工智能的技術開發、家人工智能研發與發展戰略計劃》,要求所有機構負責人審查各自負責的聯邦數據和模型,注重保護數據安全、隱私和機密性。2022年2月,美國國會議員提出《2022年算法責任法案》,要求對軟件、算法和其他自動化系統實施新的透明度和監管舉措。2022年10月,白宮發布《人工智能應用監管指南備忘錄(草案)》,提出加強人工智能數據來源的合規透明度,并且進—步圍繞治理提出“靈活監管”方式,比如以風險評估和管理為主要舉措。2023年1月,NIST發布《人工智能風險管理框架1.0》,保證在風險控制的前提下,促進可信賴、負責任AI系自動駕駛等人工智能場景加快場景化的數據安全立法和州立法。在人臉識別場景,《加州人臉識別技術法》《人臉識別服務法》這兩部地方性州立法在事實上對美國人臉識別應用起到極大的規制作用。此外,自2019年5月舊金山頒布全球首個禁止政府機構購買和使用人臉識別技術的法令以來,截至2020年,美國約18個城市頒布了相關法律,2021年,美國再度通過五項禁止警察和政府使用人臉識別技術的市級禁令。在自動駕駛場景,根據美國高速公路安全協會(GHSA)數據,截至2021年,已政命令。除了確保自動駕駛汽車安全方面的職責,還要求自動駕駛汽車生產商或者系統提供商向監管部門提交安全評估證明,以證明其在數據、產品、功能等各個方面采取了足夠的安全措施并且明確對車主和乘客信息的收集、使用、分享和存儲的相關做法。除了場景化的安全規制,美國出臺一系列隱私保護相關法律法規,對于人工智能企業同樣起到主要以州立法為主。僅2021年,美國38個州就出月3日,美國眾議院和參議院發布《美國數據隱私和保護法案》討論稿,作為首個獲得兩黨兩院支持的全面的聯邦隱私立法草案,有望推動美國分散的2.歐盟:重塑AIGC治理規范,基于風險識別強監管而且在戰略層面予以高度重視。2020年2月,歐盟委員會發布《歐洲數據戰略》和《歐洲人工智能白同年12月,歐盟委員會和外交與安全政策聯盟高級在人工智能及算法治理方面,歐盟現行的人工智能立法聚焦于泛化的人工智能領域,意圖重塑人險識別”(Risk-basedApproach)為不同類型的人工智能系統施加不同的要求和義務。不同風險層級ChatGPT等生成式大模型產品和服務被歸于高風險層級,因此不僅需要遵循《人工智能法案》的相關在人工智能數據安全方面,歐盟通過2018年4月生效的《通用數據保護條例》(GDPR)框架構建了一套統一完備的數據安全治理體系。GDPR對用戶數據權利進行全面系統的梳理,進而對歐盟人工智能數據安全起到基礎性規制作用。近年來,圍繞在線平臺的非法內容打擊、個人數據保護以及推動 為人工智能企業發展過程中的數據安全監管奠定法3.中國:實施AIGC適度監管,多層級、多角度規范監管體系逐步完善。從國內人工智能的發展歷程來看,初步發展階段(2013-2016年)主要是在產業、經濟的發展規劃的文件中提及人工智能,同時以技術賦能產業的方式鼓勵人工智能發展;飛速發展階段(2016-2017年),國務院印發“十三五”國家戰略性新興產業發展規劃,增加人工智能相關內容,首個中國人工智能國家戰略《新—代人工智能發展規劃》發布,為后續國標和行標的制定和印發奠定了基礎。針對性發展階段(2017年至今),人工智能產業進入以技術找場景、以技術找產業的階段,人工智能安全治理受到高度重視。2017年國務院發據安全與隱私保護,為人工智能研發和廣泛應用提主持召開二十屆中央國家安全委員會會議時再次強調,要提升網絡數據人工智能安全治理水平,以新在人工智能及算法治理方面,我國雖然未出臺一部針對人工智能的通用性的監管法律,但采用了出臺首部針對AIGC的部門規章《生成式人工智能服務管理暫行辦法》,明確對生成式人工智能服務并未對如何進行分類分級提供具體的規定,但根據2023年度立法工作計劃》,其計劃在2023年提請全國人大常委會審議人工智能法草案,該法案或針的適用范圍,為我國AIGC在安全合規中發展提供指聯網信息服務深度合成管理規定》《人工智能深度合成圖像系統技術規范》《生成式人工智能服務內容標識要求(征求意見稿)》等規范性文件。聚焦算法安全領域,發布《互聯網信息服務算法推薦管理規定》《信息安全技術機器學習算法安全評估規范(征求意見稿)》,通過算法備案和安全評估“雙在人工智能數據安全方面,2020年以來,我國加快國家層面數據安全統一立法的進程。目前已經形成以《網絡安全法》《數據安全法》《個人信息對小型個人信息處理者、處理敏感個人信息以及人臉識別、人工智能等新技術、新應用,制定專門的數據安全和隱私保護技術的突破研發和落地應用,能夠極大地提高AIGC治理能力。目前重點技術包括全在當下的安全實踐中,隱私計算通常是指在數據全程保密或無接觸的情況下,確保合作雙方能夠并保證任何—方均無法得到除應得的計算結果之外的其他任何信息。隱私計算的技術方向包括:?????對加密數據進行處理從而得到—個輸出,將此輸出進行解密,其結果與用同—方法處先運算后加密和先加密后運算,得到的結果相同。?????針對無可信第三方情況,安全地進行多方協同計算。從計算場景上,可以將安全多方計算分為特定場景和通用場景。前者是指針對特定的計算邏輯,比如比較大小,確定雙后者則可以采用多種不同的密碼學技術設計協議。區塊鏈作為建立在互聯網之上的—個點對點的公共賬本,由區塊鏈網絡的參與者按照共識算法規則共同添加、核驗、認定賬本數據。區塊鏈本質是目前區塊鏈已形成三種模式:1)公有鏈(運行在互聯網的完全分布式區塊鏈);2)聯盟鏈(由多針對通過污染訓練數據集以達到影響算法決策包括訓練數據過濾、回歸分析和集成分析方法。其中訓練數據過濾是通過檢測和凈化的方法實現對訓練數據集的控制,防止訓練數據集被注入惡意數據;當前,多方安全計算的主要適用場景包括:1)數據安全查詢。2)聯合數據分析。???通過對數據添加干擾噪聲的方式保護數據中的隱私信息。在許多場景下機器學習涉及基于敏感數據進行學習和訓練,例如個人照片、電子郵件等,差分隱私技術能夠提供強大的數學保證,然后僅將模型更新的部分加密上傳到數據交換區域,并與其他各方數據的進行整合。聯邦學習主要應用于AI聯合訓練。通過利用聯邦學習的特征,為多方構建機器學習模型而無須導出企業數據,不僅可以充分保護數據隱私和數據安全,還可以獲得更好的訓練模型,從而實現互惠互利。個關聯機構共同發起和運營,帶有準入機制);3)私有鏈(公有鏈的私有化部署,由單個機構運營)。隨著區塊鏈被應用于廣泛應用于供應鏈金融、商品溯源、版權存證、司法存證等領域,區塊鏈憑借其技術特性為數據流動過程中的安全提供保障,包括用于數據確權、數據完整性校驗和數據的追蹤回歸分析是基于統計學方法,檢測數據集中的噪聲和異常值;集成分析是通過采用多個獨立模型構建綜合AI系統,來減少綜合AI系統受數據污染的影響針對現場數據的對抗樣本攻擊,目前可采用的防御方法包括:網絡蒸餾、對抗訓練、對抗樣本檢測、輸入重構、深度神經網絡模型驗證等。其中對抗訓練技術可通過在模型訓練階段,使用已知的攻擊方法生成的對抗樣本,對模型進行重訓練,改進已有許多企業和學術機構開始研究如何檢測和解決麻省理工學院的研究人員開發了—種算法來減輕訓練數據中隱藏的,以及潛在未知的偏見。這種算法將原始學習任務與變分自編碼器相融合,以學習訓練數據集中的潛在結構,然后自適應地使用所學習隨著人工智能生成能力的提升,人類對于AIGC生成的內容無法直接感知,AIGC的濫用將導致虛假新聞、AI生成圖片及音視頻泛濫,網絡空間的信息可信度進—步下降,對于打造清朗的網絡空間帶來新的挑戰。針對這—現象,已有—批企業研究并應模型的抗攻擊能力;對抗樣本檢測技術是在模型運檢測現場數據是否包含對抗樣本;輸入重構技術是指在模型運行階段,對樣本進行重構轉化,以抵消到的潛在分布,在訓練過程中重新加權特定數據點的重要性。通過無監督的方式學習潛在的數據分布可以幫助發現訓練數據中隱藏的偏見,例如訓練數據集中代表性不足的數據種類,再通過增加算法采樣這些數據的概率來避免偏見被引入AI系統中。研通過自動添加顯式水印標識,實現人類可感知,通過空域水印或變換域水印的方式添加隱式水印標識,PART3PART人工智能的發展是長期的、動態的過程,AIGC作為人工智能現階段的重要產物,其安全治理框架也是目景下具有中國特色的治理范式,提高我國在人工智能安全領域的國際話語權和影響力。●健康有序,鼓勵創新應用:應當以鼓勵數據安全、便捷、低成本地共享流動,促進人工智能健康發展為前提和根本,在法律法規和政策層面關注主要風險和企業合規成本,避免因過于嚴苛的治理●技術向善,保障主體權益:應當充分保障多方主體的權益,包括公民的隱私權和知情權,企業的商業秘密和公平競爭權,國家的數據安全等。確保人工智能發展應用中的公平正義、機會均等,增●敏捷治理,強化技術賦能:積極擁抱前沿科技,靈活運用智能治理工具賦能數據在合規中高效流動,加強智能化技術手段在算法風險全流程治理●多元包容,推動國際合作:加強企業間、行業間交流合作,持續探索企業自治和行業自律的最佳實踐。在尊重和開放基礎上,加強國際合作,加●宏觀戰略:在全球各國普遍高度重視人工智能發展的情況下,決策層應當將人工智能數據安全和算法治理納入國家整體安全觀當中,組成人工智●法律法規:加快推進人工智能整體立法,完善人工智能數據安全和算法治理的專門立法。同時重點關注人工智能在重要行業領域的前沿應用,通●監管機制:人工智能風險將威脅用戶隱私、●標準計劃:國家標準化部門應當在人工智能安全標準制定規劃中,重點關注人工智能安全與數●通用標準:針對人工