新防御，新威脅AI和GenAI為網(wǎng)絡(luò)安全帶來了什么2新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)目錄目錄網(wǎng)絡(luò)安全走在前面28我們依靠AI36GenAI將加強(qiáng)網(wǎng)絡(luò)安全3新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)4250建議：使用AI和GenAI加強(qiáng)網(wǎng)絡(luò)防御66結(jié)論67研究方法4新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)網(wǎng)絡(luò)安全事件不斷增加：隨著網(wǎng)絡(luò)安全事件數(shù)量（包括網(wǎng)絡(luò)釣魚、魚叉式網(wǎng)絡(luò)釣魚、勒索軟件、deepfakes和欺詐計(jì)劃）日益復(fù)雜，組織必須加強(qiáng)其網(wǎng)絡(luò)防御。我們的51%大幅上升。這些影響往往具有很大的破壞性，大約一半的執(zhí)行摘據(jù)報(bào)告，在過去三年中，各組織的直接和間接損失估計(jì)超過5000萬很明顯，由于AI和GenAI，新的網(wǎng)絡(luò)安全風(fēng)險(xiǎn)正在出現(xiàn)與此同時(shí)，這些技術(shù)的使用為加強(qiáng)組織的網(wǎng)絡(luò)安全提供了機(jī)會(huì)這代表了安全專業(yè)人員預(yù)測、檢測和響應(yīng)威脅方式的變革。執(zhí)行摘要要報(bào)告安全事件的組織的在過去的一年里，與AI有關(guān)deepfakes、惡意軟件開發(fā)、繞過安全控制、利用漏洞、自動(dòng)黑客攻擊、創(chuàng)建惡意GPT（生成式預(yù)訓(xùn)練變形金剛）、通過模仿真實(shí)用戶行為繞過安全控制。2.網(wǎng)絡(luò)攻擊面的擴(kuò)大97%的受訪組織在過去一年中報(bào)告了與GenAI相關(guān)的安全事件，組織必須應(yīng)對擴(kuò)大的攻擊面。“即時(shí)注入”攻擊操縱GenAI模型并損害其模型輸出的完整性5新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)隨著AI和GenAI在各個(gè)行業(yè)的使用越來越多，外部攻擊面變得越來越復(fù)雜和多方面除了組織需要保護(hù)的傳統(tǒng)攻擊面（如網(wǎng)絡(luò)、端點(diǎn)、數(shù)據(jù)平臺(tái)和應(yīng)用程序）執(zhí)行摘代理、集成人工智能的應(yīng)用程序以及多個(gè)人工智能助手、顧問和新的搜索工具。執(zhí)行摘此外，這些技術(shù)可以顯著擴(kuò)大內(nèi)部攻擊面，因?yàn)閮?nèi)部參與者或員工可能會(huì)濫用它們-例如將機(jī)密信息上傳到ChatGPT等外部工具。另一個(gè)令人擔(dān)憂的問題是“影子AI”，即未經(jīng)批準(zhǔn)的應(yīng)用程序被不了解公司政策的員工安裝和使用，不受IT控制。-從企業(yè)數(shù)據(jù)收集和模型從定制到開發(fā)和維護(hù)要要-必須加以保護(hù)，以防止自定義中使用的敏感數(shù)據(jù)受到損害，并確保解決方案的可用性和完整性。此外，GenAI還帶來了額外的風(fēng)險(xiǎn)，包括幻覺和引入漏洞，當(dāng)用于代碼生成時(shí)，這可能導(dǎo)致進(jìn)一步的安全問題。我們的研究發(fā)現(xiàn)，組織已經(jīng)意識(shí)到這些威脅，大約60%的組織認(rèn)為有必要因此增加網(wǎng)絡(luò)安全預(yù)算。將AI和GenAI整合到網(wǎng)絡(luò)安全及其好處中：從積極的方面來看，五分之三的組織認(rèn)為AI對于有效的威脅響應(yīng)至關(guān)重要，大多數(shù)組織依靠AI來加強(qiáng)其數(shù)據(jù)安全。應(yīng)用程序安全和云安全。AI通過提供實(shí)時(shí)響應(yīng)能力來增強(qiáng)威脅檢測和報(bào)告。它可以顯著減少分析師的疲勞，并引導(dǎo)分析師走上最相關(guān)的調(diào)查路徑，從而提高速度和準(zhǔn)確性。此外，各組織還認(rèn)為，從長遠(yuǎn)來看，GenAI將加強(qiáng)網(wǎng)絡(luò)安全超過一半的組織的領(lǐng)導(dǎo)層認(rèn)為，GenAI可以推進(jìn)他們的安全戰(zhàn)略。6新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)執(zhí)行摘要執(zhí)行摘要?建立一個(gè)強(qiáng)大的框架、政策和治理，以確保數(shù)據(jù)的安全性和完整性，促進(jìn)對人工智能模型的信任。專注于模型選擇和培訓(xùn)，以滿足組織需求。?投資基于AI和GenAI的解決方案，與現(xiàn)有的安全運(yùn)營中心（SOC）系統(tǒng)集成，提高其有效性。逐步整合AI代理人進(jìn)入網(wǎng)絡(luò)安全行動(dòng)，以協(xié)助分析人員有效應(yīng)對事件和減輕威脅。確保持續(xù)監(jiān)控和更新人工智能系統(tǒng)，以應(yīng)對不斷變化的威脅。?最后，鑒于網(wǎng)絡(luò)攻擊的增加，保護(hù)業(yè)務(wù)流程和在員工中培養(yǎng)風(fēng)險(xiǎn)意識(shí)文化應(yīng)該是重中之重。?制定明確的戰(zhàn)略，將AI和GenAI集成到現(xiàn)有的安全系統(tǒng)中。評估相對于對這些技術(shù)的投資所獲得的維護(hù)事件響應(yīng)協(xié)議，并提供可操作的指示，以便采取快速有效的行動(dòng)。?持續(xù)重新評估安全環(huán)境，及時(shí)識(shí)別新風(fēng)險(xiǎn)并部署自適應(yīng)防御機(jī)制。7新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)誰啊？本報(bào)告概述了人工智能作為發(fā)展和增強(qiáng)網(wǎng)絡(luò)安全誰啊？本報(bào)告概述了人工智能作為發(fā)展和增強(qiáng)網(wǎng)絡(luò)安全彈性的一個(gè)關(guān)鍵方面，GenAI既為這一驅(qū)動(dòng)力提供了支持，又在保護(hù)GenAI項(xiàng)目方面從中受益本報(bào)告專為C級高管和網(wǎng)絡(luò)安全人員撰寫在汽車、消費(fèi)品、零售、銀行、保險(xiǎn)、電信、能源和公用事業(yè)、航空航天和國防、高科技、工業(yè)設(shè)備制造、制藥和醫(yī)療保健以及公共部門工作的領(lǐng)導(dǎo)者。例，并提供組織可以采取行動(dòng)以加強(qiáng)防御的建議。關(guān)于接受調(diào)查的組織的詳細(xì)情況，見本報(bào)告末尾的研究方法8新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)定義出于本研究的目的，我們使用以下定義：?人工智能（AI）：開發(fā)能夠執(zhí)行歷史上需要人類智能的任務(wù)的計(jì)算機(jī)系統(tǒng)，例如識(shí)別語音，做出決策和識(shí)別模式。AI是一個(gè)涵蓋各種技術(shù)的術(shù)語，包括機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和自然語言處理（NLP）。1?機(jī)器學(xué)習(xí)（ML）：這是AI的一個(gè)子領(lǐng)域，它使用在數(shù)據(jù)集上訓(xùn)練的算法來創(chuàng)建能夠預(yù)測結(jié)果并對信息進(jìn)行分類，而無需人工干預(yù)。今天，它被用于廣泛的商業(yè)目的，包括根據(jù)消費(fèi)者的需求向消費(fèi)者推薦產(chǎn)品。他們過去的購買，預(yù)測股市波動(dòng)，將文本從一種語言翻譯成另一種語言，等等。2?生成AI（GenAI它是一種能夠?qū)W習(xí)和重新應(yīng)用數(shù)據(jù)屬性和模式的AI，用于各種應(yīng)用程序，從創(chuàng)建不同風(fēng)格的文本，圖像和視頻到生成定制內(nèi)容。它使機(jī)器能夠執(zhí)行以前認(rèn)為只有人類才能完成的創(chuàng)造性任務(wù)。39新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)網(wǎng)絡(luò)安全走在前面新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)“在過去四年里，我們遇到的攻擊次數(shù)翻了一番。”數(shù)字技術(shù)快速發(fā)展的一個(gè)不受歡迎的副產(chǎn)品是安全事件和違規(guī)行為的指數(shù)級增長，引起了全球組織的嚴(yán)重關(guān)注。安全事件被定義為破壞信息系統(tǒng)的公開性、完整性或可用性的任何事件，可能導(dǎo)致重大的運(yùn)營和聲譽(yù)損害。荷蘭合作銀行首席信息安全官Corence“在過去四年里，我們遇到的攻擊次數(shù)翻了一番。”胡里奧·C.Padilha首席信息安全官襲擊事件繼續(xù)增長。”胡里奧C。大眾汽車和奧迪南美首席胡里奧·C.Padilha首席信息安全官加。如今，威脅行為者發(fā)現(xiàn)，在復(fù)雜性、頻率和可訪問性方面，策劃攻擊變得越來越容易。GenAI的出現(xiàn)使這一局面進(jìn)一步復(fù)雜化這些技術(shù)雖然具有變革性，但也使系統(tǒng)暴露在威脅行為者面前。除了保護(hù)，人工智能可以被武器化，以自動(dòng)化和增強(qiáng)網(wǎng)絡(luò)攻擊的復(fù)雜性，使其更難以檢測和緩解。美國情報(bào)官員觀察到政府法規(guī)必須不斷發(fā)展，以跟上人工智能最近的快速發(fā)展。與此同時(shí)，微軟支持的研究顯示，87%的英國組織面臨人工智能網(wǎng)絡(luò)攻擊的風(fēng)險(xiǎn)5此外，GenAI生成高度逼真的合成內(nèi)容的能力帶來了新的風(fēng)HoneywellConnectedEnterprise首席技術(shù)官JasonUrso表?在銀行業(yè)中，多達(dá)61%的組織每天記錄10-50起事件，），（58%）和電信（58%）緊隨其后。新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)百少于1010-5050-100100多新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)如圖2所示，在過去三年中，經(jīng)歷一次或多次違規(guī)的組織比地利用網(wǎng)絡(luò)釣魚漏洞攻擊Slack、Microso在一次大規(guī)模數(shù)據(jù)泄露事件中，一家美國電信組織披露，惡意行為者從第三方提供商的云中竊取了超過1億消費(fèi)者的通話和短信記錄。8同樣，一家美國銀行控股公司的客戶在2024年3月初被告知他們的數(shù)據(jù)可能遭到泄露，包括他們的姓名、賬號和信用卡詳細(xì)信息。他們被敦促在接下來的12到24個(gè)月內(nèi)監(jiān)控他們的賬戶是否有欺詐活動(dòng)一家美國零售公司的眾包交付服務(wù)遭受了網(wǎng)絡(luò)攻擊，惡意行為者在2023年12月初至2024年2月初期間訪問了其部分司機(jī)的敏感數(shù)據(jù)，包括社會(huì)安全號碼，駕駛執(zhí)照號碼和其他聯(lián)系信息。10針對公共部門的網(wǎng)絡(luò)攻擊也在增加2023年，新加坡公共部門的數(shù)據(jù)泄露事件增加了10%，可能是由于數(shù)字服務(wù)的增加。11數(shù)據(jù)泄露暴露了加拿大政府雇員的敏感信息。澳大利亞政府正在調(diào)查一家衛(wèi)生組織的“大規(guī)模勒索軟件”數(shù)據(jù)泄露事件，影響個(gè)人的個(gè)人和健康信息。1399%的受訪組織在過去三年中至少有一次違規(guī)行為2021年至2023組織中的網(wǎng)絡(luò)安全漏洞大幅增加所占百分比202120222023新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)?澳大利亞的增幅顯著，從2021年的48%增至2023年的97%;美國的增幅亦顯著，從2021年的61%增至2023年的95%?在各個(gè)行業(yè)中，從2021年到2023年，經(jīng)歷網(wǎng)絡(luò)安全事件的組織比例顯著增加以汽車為例，其占比從2021年的49%上升至2023年的91%2023年12月，針對汽車原始設(shè)備的網(wǎng)絡(luò)攻擊?在金融服務(wù)領(lǐng)域，88%和93%的銀行機(jī)構(gòu)分別在2022年和2023年經(jīng)歷了安全事件，而89%的保險(xiǎn)業(yè)在這兩年都報(bào)告了違規(guī)行為。在過去三年中，違規(guī)行為導(dǎo)致了直接或間接的損害（例如修復(fù)違規(guī)行為所需的時(shí)間，聲譽(yù)損害等）。超過5000萬美元的資金。2023年，另一家汽車OEM的IT安全和數(shù)據(jù)保護(hù)政策受到損害，來自客戶、員工和業(yè)務(wù)合作伙伴的近該違規(guī)行為可能導(dǎo)致該組織面臨33億美元的罰款。2019年，一家美國酒店公司152023年，一家跨國公司遭受勒索軟件攻擊，導(dǎo)致數(shù)據(jù)被盜，擾亂了公司運(yùn)營，給公司造成了超過2700萬美元的損失。16汽車和保險(xiǎn)行業(yè)的組織遭受超過1億美元財(cái)務(wù)損失的比例相對較高（分別為違規(guī)行為平均造成5000萬美元的經(jīng)濟(jì)損失一半的組織過去三年內(nèi)因違規(guī)行為對組織造成的5%1%1億美元-5億美元超過5億美元百分之四十八低于5000萬美元百分之四十六5000萬美元-1億美元間接損害包括修復(fù)違約所花費(fèi)的時(shí)間、名譽(yù)損害等。收入在10億美元到50億美元之間的組織每賺100美元就會(huì)遭受1.60美元的損失，而收入超過收入在10億美元到50億美元之間的組織每賺100美元就會(huì)遭受1.60美元的損失，而收入超過200億美元的組織則會(huì)遭受0.40美元的損失。收入介于平均值之間的組織在過去的一年里，與云相關(guān)的安全事件有所增加云計(jì)算在過去一年中的安全事件增加了近90%云機(jī)器速度攻擊Chatbots時(shí)間敏感的應(yīng)用物聯(lián)網(wǎng)設(shè)備釣魚語音控制數(shù)字助理內(nèi)部威脅對抗性機(jī)器學(xué)習(xí)技術(shù)零日攻擊一60%5%35%1%56%4%40%1%53%6%41%1%49%5%45%1%48%5%46%40%5%54%1%37%7%56%1%37%7%56%增加減少?zèng)]有變化不知道新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)），“網(wǎng)絡(luò)攻擊的可擴(kuò)展性構(gòu)成了一個(gè)重大挑戰(zhàn)。然而，我們可以使用人工智能技術(shù)來幫助安全運(yùn)營中心的分析師，快速搜索多個(gè)來源，就警報(bào)響應(yīng)提供建議科倫斯·克洛普Rabobank首席信息安全官新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)AI和GenAI風(fēng)險(xiǎn)格局新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)人工智能風(fēng)險(xiǎn)格局正在迅速發(fā)展，這是由最新的技術(shù)進(jìn)步、跨行業(yè)采用率的增加以及更復(fù)雜的（Gen）人工智能模型的出現(xiàn)所推動(dòng)的隨著人工智能系統(tǒng)在決策中變得越來越不可或缺，意外后果、偏見和安全漏洞的可能性也在增加，重新評估風(fēng)險(xiǎn)管理策略，以確保可靠、安全和負(fù)責(zé)任的人工智能部署。面臨違規(guī)行為的組織比例的增加（如圖2所示）以及機(jī)器速度攻擊的增加（如圖3所示）可能表明，越來越多的威脅行為者正在依賴AI和GenAI來引發(fā)網(wǎng)絡(luò)攻擊。AI和GenAI可能帶來風(fēng)險(xiǎn)的方式可以分為三個(gè)方面。1.更復(fù)雜的攻擊和更多的對手罪分子對GenAI的典型使用包括網(wǎng)絡(luò)漏洞、自動(dòng)黑客攻擊、創(chuàng)建惡意GPT（生成式預(yù)訓(xùn)練變形金剛）、通過模仿真實(shí)用戶行為繞過安全控制。例如，這些參與者可以生成高級網(wǎng)絡(luò)釣魚電子郵件、文件操作腳本或逃避檢測的代碼182024年1英國政府的國家網(wǎng)絡(luò)安全中心（NCSC）發(fā)布了一份評估報(bào)告，強(qiáng)調(diào)人工智能幾乎肯定會(huì)在未來兩年增加網(wǎng)絡(luò)攻擊的數(shù)量和影響。?復(fù)雜的威脅：GenAI可以降低障礙威脅行為者，導(dǎo)致更高的網(wǎng)絡(luò)風(fēng)險(xiǎn)和更復(fù)雜的攻擊。此外，攻擊者可能會(huì)操縱人工智能系統(tǒng)來產(chǎn)生錯(cuò)誤的預(yù)測或拒絕客戶服務(wù)。?即時(shí)注入風(fēng)險(xiǎn)：這涉及使用惡意輸入來操縱AI和GenAI模型，從而損害其完整性。攻擊者可以在圖像中嵌入有害的腳本和命令，導(dǎo)致模型遵守。多模式提示注入攻擊可以泄露數(shù)據(jù)、重定向查詢、傳播?社交工程攻擊：基于AI和GenAI的社交工程攻擊，如深度偽造或釣魚電子郵件，由于其高度個(gè)性化和真實(shí)性，防御起來特別具有挑戰(zhàn)性。這些攻擊在聊天、視頻或音頻中使用自定義誘餌，以驚人的準(zhǔn)確性模仿個(gè)人，以定制的消息針對多個(gè)系統(tǒng)或個(gè)人最近，有幾個(gè)值得注意的使用GenAI創(chuàng)建的deepfake案例。20一家跑車制造商的高管收到了似乎來自首席執(zhí)行官的意想不到的信息，要求簽署幾項(xiàng)協(xié)議。使用deepfake技術(shù)，攻擊者進(jìn)行了一次實(shí)時(shí)電話交談，發(fā)出了一個(gè)聲音，一家跑車制造商的高管收到了似乎來自首席執(zhí)行官的意想不到的信息，要求簽署幾項(xiàng)協(xié)議。使用deepfake技術(shù)，攻擊者進(jìn)行了一次實(shí)時(shí)電話交談，發(fā)出了一個(gè)聲音，模仿CEO的然而，當(dāng)這位高管注意到前后不一致并意識(shí)到出了問題時(shí)，攻擊被20Afteradesignandengineeringfirmlost$25mntoadeepfakescaminearly2024,theAsiabranchofanothermultinationalorganizationbecamethenextvictimwhenadigitallyrecreatedversionofitsCFOdeceivedanemployeeattheHongKongoffice.這一欺詐性的冒充行為導(dǎo)致該員工轉(zhuǎn)移了50萬美元，據(jù)稱是為了資助該組織的一個(gè)新分支機(jī)構(gòu)21?人工智能蠕蟲：此外，研究人員警告說，一個(gè)新的轉(zhuǎn)變，在網(wǎng)絡(luò)景觀-人工智能蠕蟲。這些漏洞有可能從一個(gè)系統(tǒng)傳播到另一個(gè)系統(tǒng)，從而可能危及數(shù)據(jù)安全或部署惡意軟件在這個(gè)過程中。隨著GenAI系統(tǒng)獲得自主權(quán)，它們正在成為容易受到惡意行為者利用的媒介這些AI蠕蟲可以利用這種互聯(lián)性，通過GenAI生態(tài)系統(tǒng)傳播并感染許多設(shè)備。這些蠕蟲可能會(huì)危害關(guān)鍵基礎(chǔ)設(shè)施，竊取敏感用戶行為來制作個(gè)性化攻擊，從而超越傳統(tǒng)的安全性。22超過五分之二的組織遭受了財(cái)務(wù)損失，使用deepfakes造成的損失我們的組織有遭遇deepfake攻擊在過去的1-2年我們遭受了經(jīng)濟(jì)損失 從剝削deepfake技術(shù)212.擴(kuò)大網(wǎng)絡(luò)攻擊面ChatGPT于二零二二年十一月推出，將GenAI技術(shù)的興奮推向狂熱。從2023年開始，世界各地的組織開始嘗試新的工具，引導(dǎo)一系列的用例。根據(jù)我們的最新研究，近四分之一（24%）的組織在其部分或大部分職能和位置中啟用了GenAI功能。23然而，如前所述，人工智能的日益普及帶來了更大的脆弱性和機(jī)遇。在我們的研究中，我們發(fā)現(xiàn)97%的組織在過去一年中遇到了與使用GenAI相關(guān)的如今，組織必須應(yīng)對日益復(fù)雜和多方面的擴(kuò)展攻擊面除了保護(hù)網(wǎng)絡(luò)、端點(diǎn)、數(shù)據(jù)平臺(tái)和應(yīng)用程序等傳統(tǒng)攻擊面外，他們還需要保護(hù)人工智能和GenAI支持的新應(yīng)用程序，例如對話式人工智能代理、集成人工智能的應(yīng)用程序以及多個(gè)人工智能助手、顧問和新搜索工具。此外，AI和GenAI可以顯著擴(kuò)展內(nèi)部法律風(fēng)險(xiǎn)：如果沒有嚴(yán)格的治理和監(jiān)督，使用GenAI也會(huì)放大法律風(fēng)險(xiǎn)，例如暴露新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)商業(yè)秘密、專有信息和客戶數(shù)據(jù)，因?yàn)閿?shù)據(jù)安全措施不足影子人工智能：另一個(gè)問題是組織內(nèi)影子人工智能的興起，未經(jīng)批準(zhǔn)的人工智能應(yīng)用程序被不適當(dāng)?shù)匕惭b和使用這帶來了雙重安全風(fēng)險(xiǎn)：一個(gè)來自用戶行為（例如泄露機(jī)密信息），另一個(gè)來自應(yīng)用程序本身（如果它們有安全缺陷或漏洞）。在一項(xiàng)調(diào)查中，微軟發(fā)現(xiàn)，全球75%的知識(shí)工作者在工作中使用GenAI，78%的AI用戶將自己的AI帶到工作中（他們的組織沒有提供工具）。24我們對GenAI的最新研究顯示，員工未經(jīng)授權(quán)的使用相對普遍。之間39%的組織有禁令或限制政策，其中一半表示在工作場所仍然存在未經(jīng)授權(quán)使用Gen此外，我們最近對軟件工程的GenAI的研究也報(bào)告說，63%的使用GenAI的軟件專業(yè)人員以未經(jīng)授權(quán)的方式使用它，而只有37%的人使用其組織提供的許可工具26一些組織已經(jīng)采取了極端的措施，完全禁止其員工使用ChatGPT等人工智能工具。例如，一個(gè)跨國組織禁止了ChatGPT，因?yàn)樗墓こ處煵恍⌒耐ㄟ^這些工具泄露了公司源代碼的機(jī)密元素。然而，影子人工智能的興起讓人質(zhì)疑徹底禁止這些工具是否真的有效。22新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)3.定制GenAI解決方案的可持續(xù)管理保護(hù)GenAI解決方案的整個(gè)生命周期對于確保敏感數(shù)據(jù)的保護(hù)和系統(tǒng)的可靠性至關(guān)重要。從企業(yè)數(shù)據(jù)收集的初始階段（收集有價(jià)值的敏感信息）到Gen的定制，根據(jù)特定業(yè)務(wù)需求量身定制的AI模型，每個(gè)階段都必須得到保障。在開發(fā)和部署過程中，可能會(huì)出現(xiàn)“映射和緩解GenAI風(fēng)險(xiǎn)”中確定的漏洞，這些漏洞可能會(huì)暴露機(jī)密數(shù)據(jù)或損害系統(tǒng)性能。在整個(gè)生命周期中實(shí)施強(qiáng)大的安全措施不僅可以保護(hù)敏感數(shù)據(jù)不受損害，解決方案的可用性、可靠性和完整性，使組織能夠最大限度地發(fā)揮AI的優(yōu)勢，同時(shí)最大限度地降低風(fēng)險(xiǎn)。有了人工智能，組織還面臨著確保他們構(gòu)建或使用的人工智能模型沒有偏見的挑戰(zhàn)采用GenAI可能會(huì)進(jìn)一步增加組織對幻覺等問題這是當(dāng)模型產(chǎn)生一個(gè)表面上真實(shí)有效的輸出時(shí)，它實(shí)際上部分或全部發(fā)明了。在其機(jī)器人向客戶提供不準(zhǔn)確的信息，誤導(dǎo)他們購買全價(jià)機(jī)票后，向客戶提供賠償28用于生成代碼雖然這可以提高熟練度，但它也可能引入眾所周知的漏洞（例如，MITRECWETop25MostDangerousSoftwareWeaknesses（MITRECWE最危險(xiǎn)的25個(gè)軟件弱點(diǎn)）。29三分之二的組織擔(dān)心面臨的威脅增加雖然組織對GenAI的潛力感到興奮，但他們也意識(shí)到采用AI帶來的風(fēng)險(xiǎn)與GenAI相關(guān)的大多數(shù)風(fēng)險(xiǎn)對應(yīng)用程序安全性來說并不新奇然而，有些風(fēng)險(xiǎn)是人工智能獨(dú)有的，包括模型漂移、模型盜竊和數(shù)據(jù)中毒。GenAI特別引入了額外的風(fēng)險(xiǎn)和漏洞，例如偏見，有害或不適當(dāng)?shù)膬?nèi)容生成，幻覺和即時(shí)注入攻擊。23新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)2023年，蘋果限制部分員工使用ChatGPT和其他外部人工智能工具，如GitHub該組織擔(dān)心員工在使用這些工具時(shí)可能會(huì)泄露機(jī)密數(shù)據(jù)30同樣，亞馬遜禁止員工使用第三方GenAI工具，特別是用于處理機(jī)密數(shù)據(jù)的工具。此策略旨在防止數(shù)據(jù)所有權(quán)問題并保護(hù)敏感的公司信息。在數(shù)據(jù)中毒中，人工智能模型受到損害，例如，通過將惡意數(shù)據(jù)注入訓(xùn)練數(shù)據(jù)集或操縱訓(xùn)練數(shù)據(jù)來創(chuàng)建漏洞。到目前為止，研究人員已經(jīng)發(fā)現(xiàn)了大約100個(gè)機(jī)器學(xué)習(xí)（ML）模型上傳到HuggingFace，這是一個(gè)ML的開源平臺(tái)，可以作為將惡意代碼注入用戶機(jī)器的推動(dòng)者3267%我們擔(dān)心可能會(huì)泄漏敏感數(shù)據(jù)/知識(shí)產(chǎn)權(quán)盜竊，67%用于訓(xùn)練GenAI模型的訓(xùn)練數(shù)據(jù)集惡意行為者是一個(gè)主要問題67%惡意行為者采用GenAI使風(fēng)險(xiǎn)增加64%組織安全58%的有害違規(guī)行為惡意提示是一個(gè)主要問題24新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)大多數(shù)組織都認(rèn)為，他們需要增加安全預(yù)算來加強(qiáng)防御我們對利用GenAI潛力的研究表明，組織平均實(shí)現(xiàn)了近8%的整體生產(chǎn)力提升在過去的一年里，到2026年，他們預(yù)計(jì)運(yùn)營效率、成本降低和銷售將大幅改善33我們目前的調(diào)查結(jié)果還突出表明，各組織越來越意識(shí)到安全風(fēng)險(xiǎn)的增加以及加強(qiáng)對網(wǎng)絡(luò)安全措施投資的必要性。如圖7所示，大多數(shù)組織都承認(rèn)需要增加對GenAI的分配，以加強(qiáng)防近6/10的組織認(rèn)為他們需要增加安全預(yù)算來加強(qiáng)他們的防御在采用GenAI之后我們需要大規(guī)模增加58%我們的安全預(yù)算加強(qiáng)我們的防御組織和越來越多的政府正在花費(fèi)比以往任何時(shí)候都多的錢來保護(hù)他們的數(shù)據(jù)庫和關(guān)鍵防御系統(tǒng)免受網(wǎng)絡(luò)攻擊。網(wǎng)絡(luò)安全目前占整體技術(shù)預(yù)算的12%，自2020年以來上升了3個(gè)百分點(diǎn)3425新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)繪制和緩解GenAI風(fēng)險(xiǎn)GenAI的價(jià)值鏈可能很復(fù)雜，有多個(gè)外部參與方，并在其各個(gè)階段引入了不同的風(fēng)險(xiǎn)制定安全人工智能戰(zhàn)略的一個(gè)關(guān)鍵因素?實(shí)施適當(dāng)?shù)木徑鈶?zhàn)略GenAI管道中固有的挑戰(zhàn)，確保AI實(shí)施和部署的強(qiáng)大和值得信賴的方法26新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)GenAI風(fēng)險(xiǎn)參考架構(gòu)用戶層應(yīng)用層模型層數(shù)據(jù)層用戶層應(yīng)用層模型層數(shù)據(jù)層提示訓(xùn)練數(shù)據(jù)內(nèi)部數(shù)據(jù)提示訓(xùn)練數(shù)據(jù)內(nèi)部數(shù)據(jù)用戶用戶/界面數(shù)據(jù)泄漏響數(shù)據(jù)泄漏響應(yīng)聊天記錄圖書館聊天記錄圖書館基礎(chǔ)模型/基礎(chǔ)模型/LLM微調(diào)數(shù)據(jù)數(shù)據(jù)泄露過度依賴數(shù)據(jù)泄露過度依賴有偏見、有害或不適當(dāng)?shù)膬?nèi)容有偏見、有害或不適當(dāng)?shù)膬?nèi)容幻覺快速注入拒絕服務(wù)權(quán)快速注入拒絕服務(wù)權(quán)限過大未經(jīng)授權(quán)的檢索供供應(yīng)鏈模型漂移模型盜竊數(shù)據(jù)中毒數(shù)據(jù)數(shù)據(jù)中毒數(shù)據(jù)泄露供應(yīng)鏈數(shù)據(jù)供應(yīng)鏈數(shù)據(jù)最終用戶部署者最終用戶部署者來源：CapgeminiGroupCy27新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)“最終用戶”是指那些僅通過提示輸入和輸出與GenAI交互的用戶接口.“部署者”是指開發(fā)、實(shí)施、集成或管理GenAI系統(tǒng)任何部分的任何人從圖中可以看出，除了應(yīng)用程序?qū)雍陀脩魧又猓瑪?shù)據(jù)層或模型層也可能存在安全問題或風(fēng)險(xiǎn)為了確保這些舉措的安全，組織必須了解并最大限度地減少這些風(fēng)險(xiǎn)。開發(fā)人員正在引入風(fēng)險(xiǎn)緩解功能。例如，在2024年第三季度，谷歌預(yù)計(jì)將預(yù)覽其ModelArmor保護(hù)系統(tǒng)，該系統(tǒng)將使客戶能夠檢查，路由和保護(hù)將與包括VertexAI在內(nèi)的GoogleCloud產(chǎn)品集成3528新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)我們依靠AI29新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)五分之三的組織認(rèn)為AI對于檢測和響應(yīng)攻擊至關(guān)重要一家跨國航空航天和國防公司的網(wǎng)絡(luò)安全專家補(bǔ)充的數(shù)據(jù)和檢測特定的行為。人工智能和自動(dòng)化的集成對絡(luò)安全流程。人工智能與網(wǎng)絡(luò)安全的相關(guān)性得到了66%的組織的肯定，他們優(yōu)先考慮在這種情況下使用人工智能此外，60%的受訪者認(rèn)為人工智能對于有效應(yīng)對網(wǎng)絡(luò)威脅至關(guān)重要，并強(qiáng)調(diào)其戰(zhàn)略意義。的組織認(rèn)識(shí)到人工智能對于有效應(yīng)對網(wǎng)絡(luò)威脅至關(guān)重要，并強(qiáng)調(diào)其戰(zhàn)略意義。30如圖10所示，數(shù)據(jù)安全（76%）和應(yīng)用程序安全（75%）是組織最常使用AI如圖10所示，數(shù)據(jù)安全（76%）和應(yīng)用程序安全（75%）是組織最常使用AI的領(lǐng)域同意使用AI這是他們組織的優(yōu)先三分之二的組織優(yōu)先考慮在網(wǎng)絡(luò)安全中使用AI我們組織AI在網(wǎng)絡(luò)安全中的使用率為66%我們組織我們在安全運(yùn)營中廣泛使用人工智能65%如果沒有人工智能，我們將無法實(shí)現(xiàn)61%識(shí)別關(guān)鍵威脅如果沒有人工智能，我們將無法實(shí)現(xiàn)60%有效應(yīng)對網(wǎng)絡(luò)攻擊31新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)超過五分之三的組織在網(wǎng)絡(luò)安全中使用AI來保護(hù)數(shù)據(jù)安全身份和??日本在數(shù)據(jù)安全中使用AI方面處于領(lǐng)先地位?銀行業(yè)在數(shù)據(jù)安全（84%）、應(yīng)用程序安全?高科技在應(yīng)用安全（88%）和數(shù)據(jù)安全（68%）方面的AI采用率較高，而工業(yè)設(shè)備制造業(yè)在數(shù)據(jù)安全（80%）和應(yīng)用安全（79%）方面的采用率較高。32AI能夠更快地響應(yīng)違規(guī)行為通過自動(dòng)化威脅檢測和響應(yīng)的某些元素，人工智能最大限度地減少了人工干預(yù)，提高了效率，并確保對不斷變化的網(wǎng)絡(luò)威脅進(jìn)行具有成本效益的快速和強(qiáng)大的防御“我智能，就不可能有效地分析所有這些數(shù)據(jù)，”負(fù)責(zé)CNP例如，人工智能功能可以實(shí)時(shí)檢測和預(yù)防支付詐騙，縮短響應(yīng)時(shí)間并減輕財(cái)務(wù)和聲譽(yù)損失。36氪使用人工智能快速檢測欺詐性索賠，通過分析數(shù)據(jù)減少調(diào)查時(shí)間和成本模式，識(shí)別異常，并簡化欺詐檢測和解決過程。37新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)超過五分之三的組織發(fā)現(xiàn)人工智能在網(wǎng)絡(luò)安全方面提供了更高的效率和準(zhǔn)確性測改進(jìn)報(bào)告降低響應(yīng)和檢測33新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)隨著時(shí)間的推移，威脅行為者對人工智能的使用迅速增加，但組織在部署人工智能進(jìn)行威脅檢測或修復(fù)方面并沒有跟上這一步伐這種差異凸顯了組織提升其人工智能能力的巨大機(jī)會(huì)，以增強(qiáng)早期漏洞檢測和改進(jìn)響應(yīng)策略。三分之二的組織表示，他們將檢測安全漏洞的時(shí)間縮短了至少5%。九2019年修復(fù)漏洞所需的時(shí)間減少10%以上占2024年補(bǔ)救違規(guī)行為所需時(shí)間沒有變化2019年檢測漏洞所需的時(shí)間下降0%-5%2024年發(fā)現(xiàn)漏洞所需的時(shí)間下降5%-10%34新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)超過60%的組織報(bào)告說，他們的檢測時(shí)間至少減少了5%，近40%的組織表示，在SOC中實(shí)施AI后，補(bǔ)救時(shí)間減少了5%或更多荷蘭合作銀行的CorenceKlop評論說：“網(wǎng)絡(luò)攻擊的可擴(kuò)“我們每個(gè)月都會(huì)記錄數(shù)十億次網(wǎng)絡(luò)安全事件。如果沒有人工智能，就不可能有效地分“我們每個(gè)月都會(huì)記錄數(shù)十億次網(wǎng)絡(luò)安全事件。如果沒有人工智能，就不可能有效地分析它們題。”阿德里亞諾·奧利維拉，負(fù)責(zé)CNPSeguradora的網(wǎng)絡(luò)安全，CNP35新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)36新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)將加強(qiáng)網(wǎng)絡(luò)安全37新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)從長遠(yuǎn)來看，GenAI將加強(qiáng)網(wǎng)絡(luò)安全GenAI將實(shí)現(xiàn)先進(jìn)的威脅模擬和主動(dòng)防御策略。超過61%的受訪者預(yù)計(jì)GenAI將在長期內(nèi)加強(qiáng)網(wǎng)絡(luò)安全;另有62%的受訪者預(yù)計(jì)它將發(fā)揮積極作用在漏洞檢測方面。這些見解反映了人們對GenAI先發(fā)制人的安全措施越來越有信心CooperativaCentralAilos首席信息官HélioCordeiroMariano表示：“GenAI的互動(dòng)和能力可以更多地了解我們境中的問題。GenAI預(yù)測和消除復(fù)雜網(wǎng)絡(luò)威脅的能力將提高組織抵御不斷變化的數(shù)字威脅環(huán)境的能力。弗雷德里克·佩用。我相信，在未來幾個(gè)月或幾年內(nèi)，人工智能和生成式人工智能將取得重大進(jìn)展。生成式人工智能有許多超過一半的組織領(lǐng)導(dǎo)層相信GenAI的安全性適用于組織關(guān)于在網(wǎng)絡(luò)安全中使用GenAI的聲明0%的百分比55%3%0%的百分比55%3%`29%13%我們的領(lǐng)導(dǎo)層是GenAI用于推進(jìn)網(wǎng)絡(luò)安全我們的領(lǐng)導(dǎo)層正在對GenAI在網(wǎng)絡(luò)安全中的使用采取“觀望”我們的領(lǐng)導(dǎo)層不相信GenAI推進(jìn)網(wǎng)絡(luò)安全的潛力我們的領(lǐng)導(dǎo)層對GenAI的潛力存在分歧來推進(jìn)網(wǎng)絡(luò)安全我們的領(lǐng)導(dǎo)層并沒有充分意識(shí)到人工智能的潛力用于推進(jìn)網(wǎng)絡(luò)安全38新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)“我們已經(jīng)開始將Gen“我們已經(jīng)開始將GenAI用于診斷和其他應(yīng)用。我相信，在未來幾個(gè)月或幾年內(nèi)，人工智能和生成式人工智能將取得重大進(jìn)展。生成式人工智能有許多潛在的應(yīng)用，特別是在增強(qiáng)針對攻擊的主動(dòng)措施方面。目前許多首席信息官是被動(dòng)的，而不是主動(dòng)的，在網(wǎng)絡(luò)攻擊期間缺乏對監(jiān)控工具的充分參與。?在日本和澳大利亞，62%的組織表示，他們的領(lǐng)導(dǎo)層是GenAI的強(qiáng)烈倡導(dǎo)者，以促進(jìn)網(wǎng)絡(luò)安全，這是受訪國家中最高的設(shè)備制造子行業(yè)組織表示，他們的領(lǐng)導(dǎo)層是GAI的強(qiáng)烈倡導(dǎo)者，以推進(jìn)網(wǎng)絡(luò)安全，這是所有行弗雷德里克·佩加-菲奧內(nèi)西門子醫(yī)療集團(tuán)（SiemensHealthineers）法國、比利時(shí)和盧森堡數(shù)字健康和網(wǎng)絡(luò)安全主管39新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)超過一半的組織希望通過使用通用AI通過正確的數(shù)據(jù)和正確的模型，GenAI能夠快速分析和解釋大量數(shù)據(jù)集，從而能夠早期識(shí)別潛在威脅，盡管對于更高級的用例來說，這仍然是一個(gè)挑戰(zhàn)的結(jié)果隨著GenAI的潛力越來越大，組織越來越多地有趣的是，只有不到50%的人相信GenAI能夠節(jié)省成本。Gen可能對采用構(gòu)成障礙。38超過五分之三的組織預(yù)計(jì)通過使用GenAI可以更快地檢測威脅檢測主動(dòng)威脅更好的監(jiān)管檢測合規(guī)40近五分之三的組織認(rèn)為GenAI將增強(qiáng)網(wǎng)絡(luò)安全分析GenAI的生成功能和模擬工具改進(jìn)了整體安全措施，使分析師更加高效和有效，并大大解放了他們，使他們能夠?qū)Ｗ⒂诮宸种慕M織認(rèn)為GenAI將增強(qiáng)網(wǎng)絡(luò)安全分析GenAI的生成功能和模擬工具改進(jìn)了整體安全措施，使分析師更加高效和有效，并大大解放了他們，使他們能夠?qū)Ｗ⒂诟鼜?fù)雜的威脅。57%的組織承認(rèn)專業(yè)培訓(xùn)的重要性，在威脅檢測、事件響應(yīng)和漏洞管理等任務(wù)中使的組織表示，GenAI將使網(wǎng)絡(luò)安全分析師能夠?qū)Ｗ⒂趹?yīng)對復(fù)雜威脅的戰(zhàn)略超過一半（58%）的組織表示，GenAI將使網(wǎng)絡(luò)安全分析師能夠?qū)Ｗ⒂趹?zhàn)略，應(yīng)對復(fù)雜威脅GenAI將如何改變網(wǎng)絡(luò)安全專業(yè)人員的角色？并培養(yǎng)他們的技能41新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)“GenAI可以支持決策，實(shí)現(xiàn)快速行動(dòng)，并為安全分析“GenAI可以支持決策，實(shí)現(xiàn)快速行動(dòng)，并為安全分析師提供有價(jià)值的支持，特別是在以監(jiān)督或半監(jiān)督方式使用時(shí)。這種方法在復(fù)雜和關(guān)鍵的環(huán)境中尤為弗蘭克·漢密爾頓·莫賴斯Gen員，增強(qiáng)對現(xiàn)實(shí)世界攻擊的準(zhǔn)備。摩根大通使用人工智能和GenAI模型通過分析交易模式、識(shí)別異常和改進(jìn)實(shí)時(shí)監(jiān)控來檢測欺詐，從而增強(qiáng)整體安全性和欺詐預(yù)防。39盧西亞諾42新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)探索人工智能和新一代人工智能用例43整個(gè)組織的AI用例整個(gè)組織的AI用例脆弱性管理和優(yōu)先次序人工智能可以分析大量的漏洞數(shù)據(jù)，使安全團(tuán)隊(duì)能夠優(yōu)先考慮關(guān)鍵風(fēng)供應(yīng)商風(fēng)險(xiǎn)管理AI工具評估IT供應(yīng)商和供應(yīng)商的網(wǎng)絡(luò)安全狀況，準(zhǔn)和監(jiān)管要求，以減輕供應(yīng)鏈漏洞和依賴性。惡意軟件檢測分析惡意軟件特征，以預(yù)測基于簽名的方法可能無法檢測到的未來感染嘗試網(wǎng)絡(luò)威脅情報(bào)分析來自威脅源和暗網(wǎng)等來源的數(shù)據(jù)，以識(shí)別新出現(xiàn)的威脅并預(yù)測攻擊者的戰(zhàn)術(shù)、技術(shù)和程序（TTP）。安全策略執(zhí)行44新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)?網(wǎng)絡(luò)安全公司CheckPoint和中國奇虎360Netlab安全公司發(fā)現(xiàn)了一個(gè)名為“收割者”的僵尸網(wǎng)絡(luò)，該網(wǎng)絡(luò)影響了100多萬臺(tái)互聯(lián)網(wǎng)連接設(shè)備，包括路由器和IP（互聯(lián)網(wǎng)協(xié)議）攝像頭。AI威脅情報(bào)可以幫助識(shí)別和阻止僵尸網(wǎng)絡(luò)流量，防止攻擊。40?美國聯(lián)邦政府使用AI平臺(tái)實(shí)時(shí)分析數(shù)十億起事件，從商品惡意軟件到復(fù)雜的?美國運(yùn)通利用人工智能實(shí)時(shí)分析客戶交易，并識(shí)別可疑活動(dòng)，如不尋常的支出模式、位置不一致和已知的欺詐活動(dòng)。42?摩根大通利用人工智能驅(qū)動(dòng)的漏洞管理解決方案來監(jiān)控廣泛的網(wǎng)絡(luò)漏洞，并根據(jù)漏洞的嚴(yán)重程度和可能性對修補(bǔ)工作43?PayPal使用人工智能來檢查每筆交易是否存在危險(xiǎn)信號，并識(shí)別和阻止惡意網(wǎng)頁內(nèi)容和潛在的網(wǎng)絡(luò)威脅。4545組織在OT（用于監(jiān)視和控制工業(yè)環(huán)境中的設(shè)備，流程和基礎(chǔ)設(shè)施的硬件和軟件）中使用AI組織在OT（用于監(jiān)視和控制工業(yè)環(huán)境中的設(shè)備，流程和基礎(chǔ)設(shè)施的硬件和軟件）中使用AI來檢測異常，預(yù)測威脅，并自動(dòng)化工業(yè)控制，監(jiān)督控制和數(shù)據(jù)采集系統(tǒng)（見圖物理安全安全政策數(shù)字孿生集成強(qiáng)制安全安全系統(tǒng)中的AI（例如，數(shù)字孿生副本可以進(jìn)行監(jiān)控，以防止未經(jīng)授權(quán)的物理擬攻擊來測試安全性獲得關(guān)鍵基礎(chǔ)設(shè)施。敏感信息策略保護(hù)關(guān)鍵資產(chǎn)，并模沒有現(xiàn)實(shí)世界的干擾。工業(yè)管理中的工業(yè)管理中的人工智能可以檢測與正常人工智能工具的偏差，評估傳感器數(shù)據(jù)中操作參數(shù)的網(wǎng)絡(luò)安全，以識(shí)別OT供應(yīng)商和供應(yīng)商，評估第三方潛在的設(shè)備故障或破壞風(fēng)險(xiǎn)暴露，并確保合規(guī)性。attemptsinreal-time.46?霍尼韋爾利用人工智能快速分析大量的工業(yè)控制系統(tǒng)的數(shù)據(jù)，識(shí)別異常模式或行為。其人工智能平臺(tái)不斷審查過去事件的模式，并調(diào)整這些信息以減輕新出現(xiàn)的威脅。47?西班牙對外銀行（BBVA）是一家西班牙跨國金融服務(wù)機(jī)構(gòu)，擁有一個(gè)專門的人工智能驅(qū)動(dòng)的網(wǎng)絡(luò)安全中心，為銀行的每個(gè)運(yùn)營和業(yè)務(wù)要素提供全面的安全響應(yīng)，包括預(yù)測威脅和準(zhǔn)備運(yùn)營策略，提供彈性策略，以及保護(hù)BBVA的數(shù)據(jù)處理中心（DPC）。48人工智能通過實(shí)現(xiàn)對設(shè)備或工廠傳感器的實(shí)時(shí)監(jiān)控、威脅檢測和自動(dòng)響應(yīng)來增強(qiáng)物聯(lián)網(wǎng)安全性（見圖18）。改進(jìn)的安全策略IoT設(shè)備異常用戶身份驗(yàn)證強(qiáng)制檢測AI可以開發(fā)更多AI可以執(zhí)行安全策略AI可以分析物聯(lián)網(wǎng)數(shù)據(jù)復(fù)雜的用戶和訪問控制，以保護(hù)數(shù)據(jù)流，識(shí)別異常關(guān)鍵資產(chǎn)和功耗敏感的認(rèn)證方法例如多因素和信息。模式交流生物特征等等，以表示潛在妥協(xié)增強(qiáng)型供應(yīng)商訪問控制風(fēng)險(xiǎn)管理AI分析用戶行為AI工具評估網(wǎng)絡(luò)安全改善物聯(lián)網(wǎng)供應(yīng)商和供應(yīng)商的模式訪問控制的魯棒性評估第三方風(fēng)險(xiǎn)敞口，并確保合規(guī)47新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)Ring和Nest都集成了AI功能，并使用計(jì)算機(jī)視覺算法來檢測和跟蹤運(yùn)動(dòng)，向連接的設(shè)備發(fā)送警報(bào)，并通過移動(dòng)應(yīng)用程序提供實(shí)時(shí)視頻流。49至少有五分之二的組織已經(jīng)使用GenAI進(jìn)行了試點(diǎn)計(jì)劃GenAI可以推進(jìn)組織的安全運(yùn)營。例行培訓(xùn)和微調(diào)的LLM（例如Google組織已經(jīng)開始將GenAI整合到其網(wǎng)絡(luò)安全運(yùn)營中。如圖19所示，大約40%-50%的公司已經(jīng)啟動(dòng)了概念驗(yàn)證（proofofconcept，簡稱proof）或試點(diǎn)。此外，近十分之三（28%）的組織計(jì)劃在不久的將來在網(wǎng)絡(luò)安全中實(shí)施GenAI的組織計(jì)劃在不久的將來在網(wǎng)絡(luò)安全中實(shí)施GenAI48百分之十五百分之十六百分之十七百分之二十百分之十九百分之二十百分之十八分之二十百分之二十百分之十九分之百分之十五百分之十六百分之十七百分之二十百分之十九百分之二十百分之十八分之二十百分之二十百分之十九分之二十百分之二十三百分之二十五百分之二十五百分之二十三百分之二十六百分之二十三百分之二十三百分之二十三百分之二十九一一百分之五十二百分之二十七目前，至少有五分之二的組織正在試用GenAI以實(shí)現(xiàn)安全性為網(wǎng)絡(luò)安全實(shí)施GenAI的組織比例百分之四十五百分之二十九百分之四十五百分之二十九百分之四十五百分之四十五十七百分之四十六百分之五十百分之四十二百分之五十百分之四十八百分之四十九百分之四十六百分之四十四百分之四十五百分之四十三百分之五十百分之三十九百分之四十一占48%占48%占48%占48%百分之四百分之二十三百分百分百分百分百分百分百分百分百分百分百分百分百分百分百分百分之三二三十三十六十三十占6%百分之三憑證占6%去識(shí)別百分之三百分之三自動(dòng)化百分之一百分之四自動(dòng)化百分之四百分之二百分之三百分之四百分之五百分之五百分之三監(jiān)管合規(guī)百分之三百分之五占6%百分之五百分之四占6%一代惡意軟件檢測釣魚攻擊檢測和攻擊檢測動(dòng)態(tài)調(diào)整IAM政策和威脅情報(bào)威脅響應(yīng)報(bào)告生成安全數(shù)據(jù)共享網(wǎng)絡(luò)流量分析自動(dòng)化威脅搜索預(yù)防活動(dòng)生成和檢測生物識(shí)別和異常檢測威脅搜索和法醫(yī)裁剪權(quán)限異常檢測一代脆弱性一代網(wǎng)絡(luò)攻擊仿真培訓(xùn)49新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)不落實(shí)有計(jì)劃在不久的將來實(shí)施概念驗(yàn)證實(shí)施50新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)以下是組織如何在其業(yè)務(wù)中使用GenAI的示例?賽門鐵克是博通公司的一個(gè)部門，一家美國設(shè)計(jì)師、開發(fā)商、制造商和全球軟件產(chǎn)品供應(yīng)商，正在分階段將GenAI嵌入其安全平臺(tái)。GenAI將檢測、理解和修復(fù)復(fù)雜的網(wǎng)絡(luò)攻擊。51?萬事達(dá)卡使用基于GenAI的預(yù)測技術(shù)，通過將受損卡的檢測率提高一倍，減少卡欺詐檢測期間的誤報(bào)，高達(dá)200%，并將識(shí)別風(fēng)險(xiǎn)/受損商家的速度提高?GrupoBoticário是巴西美容零售和化妝品公司，采用實(shí)時(shí)安全模型來檢測、預(yù)防和應(yīng)對潛在的欺詐行為。53根據(jù)我們的研究，大約20%的組織已經(jīng)擴(kuò)大了其網(wǎng)絡(luò)安全運(yùn)營的部署，低于人工智能在網(wǎng)絡(luò)安全中的應(yīng)用程度。廣泛的數(shù)據(jù)使用和與模型的交互可以成本迅速上升，成為大規(guī)模實(shí)施的主要障礙除了模型的許可成本（或培訓(xùn)成本）外，重要的費(fèi)用還包括模型和數(shù)據(jù)管道的維護(hù)和更新需要立即響應(yīng)的關(guān)鍵模型，例如在實(shí)時(shí)客戶服務(wù)中使用的模型，縮放管理多個(gè)工具和復(fù)雜的基礎(chǔ)架構(gòu)還增加了運(yùn)營費(fèi)用，使大規(guī)模實(shí)施復(fù)雜化。其次，GenAI模型輸出的質(zhì)量取決于模型訓(xùn)練所依據(jù)的數(shù)據(jù)的大小和質(zhì)量如果沒有這一點(diǎn)，組織可能會(huì)發(fā)現(xiàn)很難從他們的GenAI模型中獲得正確的結(jié)果。這些與成本和數(shù)據(jù)相關(guān)的擔(dān)憂可能會(huì)阻礙GenAI的大規(guī)模采用，以加強(qiáng)防御。50新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)建議：使用AI和GenAI加強(qiáng)網(wǎng)絡(luò)防御51新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)隨著人工智能和基于人工智能的風(fēng)險(xiǎn)繼續(xù)上升，組織的安全根據(jù)我們的調(diào)查、訪談和經(jīng)驗(yàn)，我們在下面提出了加戰(zhàn)略應(yīng)該在很大程度上依賴于使用相同的技術(shù)來保護(hù)其資產(chǎn)強(qiáng)組織防御的建議和運(yùn)營。基于持續(xù)評估您的安全環(huán)境和風(fēng)險(xiǎn)制定整合和監(jiān)測計(jì)劃獲得必要的基礎(chǔ)設(shè)施制定AI/GenAI安全策略路線圖和選定的使用案例在人工智能時(shí)代，制定強(qiáng)大的安全策略對于保護(hù)組織資產(chǎn)和數(shù)據(jù)完整性至關(guān)重要各組織應(yīng)執(zhí)行以下措施：?制定明確的戰(zhàn)略，將AI和GenAI集成到現(xiàn)有的安全系統(tǒng)中。采用分階段的方法，發(fā)展當(dāng)前的系統(tǒng)，以解決針對人工智能技術(shù)的細(xì)微風(fēng)險(xiǎn)和威脅。AI和GenAI都有自己的應(yīng)用程序。例如，人工智能可以幫助進(jìn)行威脅或異常檢測，自動(dòng)響應(yīng)常見事件，分析大型數(shù)據(jù)集，而GenAI可以幫助創(chuàng)建逼真的網(wǎng)絡(luò)釣魚模擬，并開發(fā)復(fù)雜的場景來測試防御。?評估相對于GenAI工具的投資所獲得的效率或降低的風(fēng)險(xiǎn)制定一項(xiàng)明確的戰(zhàn)略來衡量這些因素至關(guān)重要。除了初始投資，重要的是要評估持續(xù)的運(yùn)營成本，并確定長期回報(bào)是否值得這些費(fèi)用。投資一個(gè)工具，僅僅因?yàn)樗薌enAI，而不考慮總體成本，可能導(dǎo)致效率低下，長期.52新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)“識(shí)別低風(fēng)險(xiǎn)、高價(jià)值的用例，以評估性能和安全影對風(fēng)險(xiǎn)的識(shí)別和緩解進(jìn)行標(biāo)準(zhǔn)化和基準(zhǔn)化，為有效管理?定期審查您的網(wǎng)絡(luò)安全戰(zhàn)略和人工智能政策，以適應(yīng)不斷變化的威脅和技術(shù)進(jìn)步。之間的協(xié)作IT團(tuán)隊(duì)、法律專家、業(yè)務(wù)領(lǐng)導(dǎo)者和組織內(nèi)外的其他利益相關(guān)者，匯集知識(shí)、經(jīng)驗(yàn)和資源至關(guān)重要。巴西一家零售銀行的LucianoValdomiroDosSantos評論了這種跨不同內(nèi)部部門和部門合作的重要性，不僅包事件響應(yīng)協(xié)議為了有效地管理嚴(yán)重的安全事件，如數(shù)據(jù)泄露、泄漏、勒索軟件攻擊或敏感信息丟失，組織應(yīng)該建立一個(gè)全球事件響應(yīng)和管理團(tuán)隊(duì)，全天候提供服務(wù)例如，ISO/IEC27035-1：2016框架提供了用于分析、評估、響應(yīng)和遏制網(wǎng)絡(luò)安全威脅的協(xié)議，確保與國際標(biāo)準(zhǔn)保持一致。·概述遏制和緩解的初步行動(dòng)·利用GenAI為急救人員提供見解和建議。然而，鑒于其相對新穎，至關(guān)重要的是讓人類參與決策過程，以確保深思熟慮和適當(dāng)?shù)夭扇⌒袆?dòng)，而不是從一開始就自動(dòng)采取行動(dòng)·確保調(diào)查證據(jù)的安全保管鏈，并保留所有安全事件的詳細(xì)記錄此文檔對于未來的威脅分析、響應(yīng)計(jì)劃和主動(dòng)漏洞緩解至關(guān)重要·進(jìn)行徹底的事件后分析，以確定安全控制和響應(yīng)程序中的差距，以提高整體網(wǎng)絡(luò)安全彈性。BT前董事總經(jīng)理、現(xiàn)任獨(dú)立顧問的AlexandraFoster評論將人工智能（尤其是GenAI）集成到事件響應(yīng)規(guī)劃中，不僅使組織能夠?qū)Π踩录龀隹焖俜磻?yīng)，還能預(yù)測和緩解未來的威脅。它可以模擬各種網(wǎng)絡(luò)攻擊場景，使事件響應(yīng)團(tuán)隊(duì)能夠微調(diào)其響應(yīng)。53新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)“人工智能和生成式人工智能“人工智能和生成式人工智能的方法應(yīng)該基于基于風(fēng)險(xiǎn)的框架，這需要在啟動(dòng)之前識(shí)別和編目與技術(shù)或項(xiàng)目相關(guān)的所有潛在風(fēng)險(xiǎn)這種先發(fā)制人的方法能夠及時(shí)識(shí)別新的風(fēng)險(xiǎn)并部署適應(yīng)性防御機(jī)制。胡里奧·C.Padilha南美大眾汽車和奧迪首席信息安全官·胡里奧·C.Padilha南美大眾汽車和奧迪首席信息安全官這種方法還支持遵守法規(guī)要求，并促進(jìn)積極主動(dòng)的安全文化。在我們的研究中，62%的組織認(rèn)為GenAI將使他們能夠主動(dòng)識(shí)別漏洞GenAI可以進(jìn)一步幫助解釋復(fù)雜的法規(guī)并生成合規(guī)所需的詳細(xì)報(bào)告 GenAI將允許他們主動(dòng)識(shí)別漏洞54新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)獲得必要的基礎(chǔ)設(shè)施AI和GenAI的采用需要更復(fù)雜的通信、數(shù)據(jù)管理和云計(jì)礎(chǔ)設(shè)施、專用AI處理器和廣泛的數(shù)據(jù)存儲(chǔ)。探索進(jìn)硬件之間的協(xié)同作用至關(guān)重要。組織可以增強(qiáng)GenAI模型，實(shí)現(xiàn)快速處理和分析大量數(shù)據(jù)。這使人工智能能夠快速識(shí)別復(fù)雜網(wǎng)絡(luò)中的異常和潛在威脅OpenGovAsia的首席執(zhí)行官兼主編MohitSagar肯定道，OpenGovAsia是一個(gè)內(nèi)容平臺(tái)，發(fā)起了公共部門CIO和技術(shù)將基于人工智能的安全機(jī)制引入數(shù)據(jù)中心和網(wǎng)絡(luò)基礎(chǔ)設(shè)施將至關(guān)重要。然而，更快的硬件和處理器也會(huì)消耗更多的能源，并導(dǎo)致碳足跡。組織應(yīng)該考慮利用云來擴(kuò)展所需的功能，而不是購買GPU場和利用云資源可以通過優(yōu)化共享基礎(chǔ)設(shè)施的使用來提高可持續(xù)性，從而提高資源利用效率并減少碳足跡。55新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)建立框架、政策和指導(dǎo)方針數(shù)據(jù)管道和就緒性一個(gè)強(qiáng)大的、集成良好的、可擴(kuò)展的數(shù)據(jù)平臺(tái)可以確保數(shù)據(jù)的安全性和完整性，這對于培養(yǎng)對人工智能模型的信任至關(guān)重要此外，人工智能，特別是GenAI在網(wǎng)絡(luò)安全中的有效性取決于數(shù)據(jù)的大小和質(zhì)量，以及用于分析數(shù)據(jù)的算法目前，無論是數(shù)據(jù)量和質(zhì)量還是算法都不夠先進(jìn)，無法在網(wǎng)絡(luò)安全中廣泛使用GenAI-除了一些數(shù)據(jù)和算法可靠的目標(biāo)應(yīng)用程序之外。?識(shí)別和分類數(shù)據(jù)源、文件和非結(jié)構(gòu)化數(shù)據(jù)，尤其是機(jī)密數(shù)據(jù)（例如，客戶信息、商業(yè)交易數(shù)據(jù)等）。?記錄數(shù)據(jù)訪問的頻率和目的，以識(shí)別依賴關(guān)系和潛在瓶頸，并防止違規(guī)行為。此外，這些數(shù)據(jù)平臺(tái)必須隨著組織增加其勞動(dòng)力，構(gòu)建復(fù)雜的數(shù)據(jù)基礎(chǔ)設(shè)施和管理更大量的數(shù)據(jù)而無縫擴(kuò)展。荷蘭合作銀行的CorenceKlop表示：“我會(huì)AI和GenAI提出了有關(guān)數(shù)據(jù)治理、知識(shí)產(chǎn)權(quán)（IP）、偏見緩解和負(fù)責(zé)任地利用AI生成內(nèi)容的重要問題。建立一個(gè)專門的團(tuán)隊(duì)或部門來監(jiān)督組織層面的人工智能CooperativaCentralAilos的HélioCordeiroMariano強(qiáng)調(diào)了這一治理機(jī)制的重要性：“我們正在建立一個(gè)創(chuàng)新團(tuán)隊(duì)，以有效地調(diào)動(dòng)所有部門。我們的關(guān)注點(diǎn)不僅限于安全線需求。我們的方法包括從小處著手，測試價(jià)值生成，并治理、規(guī)劃和調(diào)整期望是至關(guān)重要的討論，特別是在整合人工智能以獲益時(shí)?為AI和GenAI工具的開發(fā)和部署制定政策和指導(dǎo)方針，以確保道德實(shí)踐和有效治理。?為員工使用AI和GenAI工具制定明確的指導(dǎo)方針強(qiáng)調(diào)遵守?cái)?shù)據(jù)隱私法規(guī)，并強(qiáng)調(diào)濫用的影響這使員工能夠做出明智的決定，并降低組織風(fēng)險(xiǎn)。巴西一家支方案公司的首席信息安全官評論說：“任何人都可能私泄露也是一個(gè)重要問題;敏感信息不應(yīng)該被任何人息的訪問。這些都是我們目前面臨的挑戰(zhàn)。”?通過基于角色的訪問控制和技術(shù)（如阻止、哈希和限制平臺(tái)與外部網(wǎng)絡(luò)的連接），控制和限制必要利益相關(guān)者的數(shù)據(jù)訪問。56新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)?促進(jìn)定期重新評估所有使用中的模型及其產(chǎn)生的輸出，以完善和修改框架。一家跨國服裝公司的首席技術(shù)官評論?對隱私政策保持透明，讓客戶輕松訪問解釋人工智能算法底層邏輯的資源，并提供清晰的方法來識(shí)別、消除和防止偏見。考慮在內(nèi)部建立專門的角色安全團(tuán)隊(duì)來監(jiān)督這些工作。“某些組織正在其安全職能部門內(nèi)任命首席信任官，這證明了不斷發(fā)展的法規(guī)與人工智能可信度的考慮相互關(guān)聯(lián)，包括風(fēng)險(xiǎn)和機(jī)?征求包括技術(shù)專家、商業(yè)專業(yè)人士和用戶在內(nèi)的不同利益相關(guān)者的反饋意見，以評估潛在的影響和影響AI的應(yīng)用。政府和私營部門顯然需要加強(qiáng)合作，以管理復(fù)雜的技術(shù)平臺(tái)。57新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)“某些組織正在其安全職能部門內(nèi)任命首席信任官，這證明了不斷發(fā)展的法規(guī)正在模糊傳統(tǒng)角色和責(zé)任的融合。現(xiàn)在，網(wǎng)絡(luò)安全框架與以下考慮因素相互關(guān)聯(lián)：AI可信度，包括風(fēng)險(xiǎn)和機(jī)遇” 亞歷山德拉·福斯特英國電信前董事總經(jīng)理，現(xiàn)在是獨(dú)立顧問58新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)模型選擇和培訓(xùn)為了減少LLM的碳足跡，組織應(yīng)該限制培訓(xùn)。專門在原始網(wǎng)絡(luò)安全日志上使用知名和可靠的LLM，最它們提供強(qiáng)大的攻擊模擬，并探索假設(shè)場景，這對于測試現(xiàn)有警報(bào)和防御至關(guān)重要。56.為了獲得更多的LLM靈活性，組織可以探索開源模型，如Meta的Llama，并對其進(jìn)行微調(diào)以滿足其特定需求。除了專注于LLM之外，組織還可以考慮使用小語言模型），時(shí)間，針對特定用例，并且具有更小的碳足跡。SLM也有較小的攻擊面，使它們不太容易受到敵對攻擊。57得在生產(chǎn)中很難信任AI。未來，組織可能會(huì)使用LLM和SLM的組合來滿足他們的網(wǎng)絡(luò)安全需求。因此，他們還應(yīng)注重發(fā)展acustomGenAIdeploymentpipelinetomanagethesemodelseffectively.組織還可以探索自定義GPT模型，這類似于定制的網(wǎng)絡(luò)工具。這些模型學(xué)習(xí)組織的特定語言，適應(yīng)其細(xì)微差別，保持持續(xù)的警惕以檢測異常，并不斷學(xué)習(xí)。組織必須在相關(guān)數(shù)據(jù)（如日志、事件報(bào)告和威脅情報(bào)）上訓(xùn)練這些模型。組織應(yīng)該將它們與現(xiàn)有的技術(shù)堆棧同步，從而實(shí)現(xiàn)與防火墻、入侵檢測系統(tǒng)和其他安全協(xié)議的無縫通信。應(yīng)該注意的是，這些自定義GPT也容易受到漏洞的影響。建立防止濫用的護(hù)欄，并進(jìn)一步防止開發(fā)隔離和生產(chǎn)環(huán)境將有助于降低風(fēng)險(xiǎn)。在測試和測試之間保持清晰的界限模型性能和完整性至關(guān)重要。在訓(xùn)練模型時(shí)，組織確實(shí)需要注意，在敏感數(shù)據(jù)上訓(xùn)練的模型也應(yīng)該被認(rèn)為是敏感的。因此，同樣重要的是要保護(hù)這些模型，使其具有與訓(xùn)練數(shù)據(jù)相同的安全性和機(jī)密性，以防止未經(jīng)授權(quán)的訪問。為了保護(hù)這些模型和模型權(quán)重不被未經(jīng)授權(quán)的訪問和竊取，組織應(yīng)該：防止數(shù)據(jù)外泄?集成機(jī)密計(jì)算技術(shù)，以確保處理過程中的模型權(quán)重，并最大限度地減少攻擊面。58此外，組織可以遵循聯(lián)邦學(xué)習(xí)（FL）方法，這是一種分散的ML方法，其中訓(xùn)練在多個(gè)設(shè)備上進(jìn)行，只發(fā)送模型更新而不是原始數(shù)據(jù)。這種方法通過將個(gè)人信息保存在本地設(shè)備上來增強(qiáng)隱私，在不集中敏感數(shù)據(jù)的情況下協(xié)作改進(jìn)模型因此，這種方法支持威脅檢測、異常識(shí)別、惡意軟件檢測和預(yù)測分析，而不會(huì)犧牲數(shù)據(jù)的機(jī)密性59此外，隨著芯片軟件化的日益突出，組織的攻擊面也在增加。這種擴(kuò)展的攻擊面可能導(dǎo)致嚴(yán)重的安全問題，如未經(jīng)授權(quán)訪問敏感數(shù)據(jù)，操縱芯片功能，甚至完全由攻擊者控制Therefore,introducingrobustsecuritymeasuresatthechiplevelisequallycrucial.59新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)制定整合和監(jiān)測計(jì)劃與現(xiàn)有SOC解決方案GenAI通過增強(qiáng)當(dāng)前的SOC功能，幫助自動(dòng)化，數(shù)據(jù)解釋，建議最佳實(shí)踐來改造SecOps隨著威脅變得越來越復(fù)雜，組織必須轉(zhuǎn)向AI驅(qū)動(dòng)的解決方案，以增強(qiáng)檢測和更快響應(yīng)。組織應(yīng)該投資于基于AI的解決方案，這些解決方案可以自主識(shí)別威脅并阻止它們。通過制定特定的響應(yīng)手冊和優(yōu)化工作流程，人工智能還使安全團(tuán)隊(duì)能夠有效地確定優(yōu)先級，檢測和修復(fù)問題。如今，組織可以利用市場上的許多解決方案來檢測諸如deepfake之類的威脅同樣，設(shè)置針對常見攻擊的護(hù)欄將有助于確保AI系統(tǒng)不會(huì)變得流氓。必須拆除筒倉，促進(jìn)跨平臺(tái)協(xié)作，能夠全面監(jiān)控和保護(hù)組織數(shù)字基礎(chǔ)設(shè)施的各個(gè)方面60此外，為了防范即時(shí)注入風(fēng)險(xiǎn)和人工智能系統(tǒng)的自主性，實(shí)現(xiàn)一個(gè)額外的安全層至關(guān)重要，該安全層可以持續(xù)監(jiān)控和攔截潛在的流氓命令。這個(gè)輔助系統(tǒng)應(yīng)該被設(shè)計(jì)成圍繞主AI系統(tǒng)，充當(dāng)看門人，可以在命令到達(dá)核心AI功能之前對其進(jìn)行審查和過濾采用零信任方法--將每個(gè)輸入都視為潛在的泄密和審查--可以幫助減輕這些風(fēng)險(xiǎn)并增強(qiáng)整體安全性。部署AI代理組織應(yīng)該將人工智能代理戰(zhàn)略性地整合到其網(wǎng)絡(luò)安全運(yùn)營中。它們旨在獨(dú)立運(yùn)作、計(jì)劃、反思、追求更高層次的目并在最少或有限的直接人工監(jiān)督下執(zhí)行復(fù)雜的工作流程。61.在網(wǎng)絡(luò)安全方面，這些代理人自主運(yùn)作，監(jiān)測網(wǎng)絡(luò)流量，檢測異常情況，實(shí)時(shí)應(yīng)對威脅，并在沒有人為干預(yù)的情況下積極尋找威脅此外，人工智能代理模擬攻擊，識(shí)別漏洞并除了生態(tài)系統(tǒng)協(xié)作，組織還必須培訓(xùn)員工與這些先進(jìn)系統(tǒng)協(xié)作。隨著攻擊量的增加，在特定閾值內(nèi)運(yùn)行的AI代理在防御方面至關(guān)重要一個(gè)組織的運(yùn)作。然而，這些物質(zhì)確實(shí)需要保障。我們對GenAI的最新研究表明，57%的人承認(rèn)在將AI代理集成到其操作中之前需要強(qiáng)大的控制機(jī)制，73%的人堅(jiān)持認(rèn)為人類必須驗(yàn)證并在必要時(shí)干預(yù)AI決策。62.在利用這種自主代理人和由于其存在的風(fēng)險(xiǎn)而保持監(jiān)督之間需要謹(jǐn)慎平衡60新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)連續(xù)監(jiān)測組織必須持續(xù)監(jiān)控和更新AI和GenAI系統(tǒng)，以抵御不斷變化的威脅。它們應(yīng)：?監(jiān)控、測量、審計(jì)和記錄指標(biāo)，以確保AI模型的負(fù)責(zé)任、道德和安全部署實(shí)施評分機(jī)制可以實(shí)時(shí)了解與每個(gè)輸入相關(guān)的風(fēng)險(xiǎn)級別和輸出，幫助用戶做出明智的決定，并保持強(qiáng)大的監(jiān)督。監(jiān)控模型隨時(shí)間的漂移并重新校準(zhǔn)模型將確保輸出可靠。?重點(diǎn)測試AI特定的風(fēng)險(xiǎn)，包括越獄、即時(shí)注入以及與生成內(nèi)容的一致性、可讀性和毒性相關(guān)的問題。此外，評估偏見并進(jìn)行紅色團(tuán)隊(duì)演習(xí)，以加強(qiáng)模型的安全態(tài)勢。?投資于實(shí)時(shí)行為模式匹配。隨著社會(huì)工程攻擊的增加，組織必須能夠檢測和防止任何不符合員工規(guī)范的行為?投資于現(xiàn)有的解決方案和工具，以檢測GenAI簽名和模式，如deepfakes，并主動(dòng)預(yù)防潛在的攻擊和有效地減輕威脅創(chuàng)建意識(shí)和培訓(xùn)計(jì)劃在我們的研究中，58%的組織提到了短缺63%的受訪者承認(rèn)，由于人才的原因，將GenAI整合到現(xiàn)有的安全解決方案中存在困難。局限性。因此，目前超過一半（51%）的組織正在投資全面的人工智能網(wǎng)絡(luò)安全培訓(xùn)計(jì)劃。這些計(jì)劃促進(jìn)了對人工智能功能，限制和道德考慮的更深入理解，確保負(fù)責(zé)任的使用。BT前董事總經(jīng)理AlexandraFoster強(qiáng)調(diào)了多樣化培訓(xùn)計(jì)劃的重要性：“當(dāng)今許多組織都域。我相信有很大的潛力來擴(kuò)大這些努力，包括社會(huì)工程和惡意軟件的綜合計(jì)劃。這可能涉及將模擬和利用游戲化進(jìn)行有效的培訓(xùn)。此外，這些舉措應(yīng)該超越網(wǎng)絡(luò)安全團(tuán)隊(duì)，涵蓋所有部門，培養(yǎng)安全第一的文用。61新防御，新威脅：AI和GenAI為網(wǎng)絡(luò) 的組織承認(rèn)，由于人才限制，將GenAI集成到現(xiàn)有的安全解決方案中存在困難51% 如今，有50%的組織正在投資全面的人工智能網(wǎng)絡(luò)安全培訓(xùn)計(jì)劃。 的組織提到缺乏有才華的網(wǎng)絡(luò)安全專業(yè)人員。提高認(rèn)識(shí)和培訓(xùn)有助于改進(jìn)威脅檢測、響應(yīng)策略和整體網(wǎng)絡(luò)安全態(tài)勢。西門子醫(yī)療集團(tuán)的FrédéricPégaz-Fiornet表?人工智能網(wǎng)絡(luò)安全方面的用戶意識(shí)和教育確保個(gè)人認(rèn)識(shí)到潛在的威脅并了解如何應(yīng)對。這減少了人為錯(cuò)誤，加強(qiáng)了整體安全性，并促進(jìn)了警惕文化，提高了人工智能驅(qū)動(dòng)防御的有效性。?AI和GenAI的網(wǎng)絡(luò)安全技能提升之間的差距。一家汽車公司的首席信息安全官強(qiáng)調(diào)了G調(diào)了對員工進(jìn)行GenAI教育的重要性，F(xiàn)redericJesupret，集團(tuán)信息安全62新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)?意識(shí)計(jì)劃應(yīng)該超越最終用戶和安全團(tuán)隊(duì)，包括數(shù)據(jù)科學(xué)家和工程師，他們在開發(fā)和定制模型的安全性方面發(fā)揮著至關(guān)重要的作用。另外，重要的是評估所有相關(guān)人員的實(shí)踐，例如GenAI用戶、開發(fā)人員、數(shù)據(jù)科學(xué)家以及網(wǎng)絡(luò)和基礎(chǔ)設(shè)施團(tuán)隊(duì)，以確保他們符合安全政策和最佳實(shí)踐。的組織認(rèn)為，GenAI將大大重新定義 63新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)“我們正在建立一個(gè)創(chuàng)新團(tuán)隊(duì)，以有效地參與所有部門。我們的關(guān)注點(diǎn)不僅限于安全線索，還包括公司如何導(dǎo)航實(shí)驗(yàn)、測試和模擬。我們正在制定一個(gè)流程，以優(yōu)先考慮有影響力的行動(dòng)并展示其價(jià)值。市場上有許多替代品，并非所有替代品都適合我們的特定需求。我們的方法包括從小處著手，測試價(jià)值生成，并迅速擴(kuò)展有前途的計(jì)劃治理、規(guī)劃和調(diào)整期望是至關(guān)重要的討論，特別是在整合人工智能以全面造福我們的業(yè)務(wù)時(shí)。CentralAilos首席信息官64新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)保護(hù)業(yè)務(wù)流程，培養(yǎng)風(fēng)險(xiǎn)意識(shí)文化隨著社會(huì)工程攻擊的興起，組織必須將安全意識(shí)嵌入組織思維中。員工必須接受培訓(xùn)快速識(shí)別和報(bào)告潛在威脅。通過可以確保員工保持警惕，積極主動(dòng)地防范安全漏洞。提高員工的意識(shí)和批判性思維能力（例如分析背景和從可信來源證實(shí)）可以幫助組織抵消惡意行為者構(gòu)成的威脅。此外，網(wǎng)絡(luò)攻擊往往突出了業(yè)務(wù)流程中的問題。Organizationalhierarchiesrelyontrustintheindividuawithinstructionsoftenconveyedviaemailorworkflowtools.隨著數(shù)字通信的使用越來越多，以及威脅行為者攔截這些通信的能力越來越強(qiáng)，驗(yàn)證這些交互的真實(shí)性至關(guān)重要AI可以通過整合cleardemarcationofdutiescanhelpensureefficiencieswhileremainingsecure.在人員、流程和技術(shù)的三連勝中，所有這三個(gè)要素都必須無縫集成，以創(chuàng)建彈性和強(qiáng)大的防御。65新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)“有必要進(jìn)行檢查，以確保生成AI不會(huì)進(jìn)入負(fù)面或錯(cuò)誤的循環(huán)，就像在某些情況下觀察到的那樣。這強(qiáng)調(diào)了提升員工能力的必要性。雖然生成式人工智能可以處理比手動(dòng)流程更多的事件，但人類監(jiān)督對于定期驗(yàn)證結(jié)論并確保道德考慮得到維護(hù)仍然至關(guān)重要。" 弗雷德里克·熱蘇普雷特安聯(lián)集團(tuán)信息安全66新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)AI和GenAI越來越多地被惡意行為者利用，他們利用這些技術(shù)來增強(qiáng)他們的攻擊。威脅形勢繼續(xù)變得更加復(fù)雜，威脅行為者利用AI和GenAI進(jìn)行大規(guī)模攻擊，對網(wǎng)絡(luò)安全構(gòu)成重大隨著威脅的數(shù)量比以往任何時(shí)候都要增加，組織必須轉(zhuǎn)向這些同樣的技術(shù)來對網(wǎng)絡(luò)攻擊進(jìn)行強(qiáng)大的防御組織將需要在對抗惡意行為者的斗爭中保持創(chuàng)新優(yōu)勢他們越來越依賴AI進(jìn)行快速準(zhǔn)確的檢測以及實(shí)時(shí)威脅和細(xì)微異常的報(bào)告，從而實(shí)現(xiàn)主動(dòng)防御策采用GenAI使組織面臨一些新的挑戰(zhàn)，威脅-來自外部行為者和員工，它還提供了加強(qiáng)安全的機(jī)會(huì)。與此同時(shí)，他們還必須了解與采用GenAI相關(guān)的風(fēng)險(xiǎn)，并采取必要的緩解措施。控制機(jī)制，并將其納入現(xiàn)有的反應(yīng)過程。這將使組織能夠充分挖掘這些技術(shù)的潛力，創(chuàng)造一個(gè)有彈性的網(wǎng)絡(luò)安全態(tài)勢，這對于保護(hù)其最有價(jià)值的資產(chǎn)和培養(yǎng)價(jià)值鏈上的信任至關(guān)重要。67新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)研究方法我們對亞太、歐洲和北美13個(gè)國家的12個(gè)行業(yè)的1,000家組織進(jìn)行了有針對性的調(diào)查他們的年收入超過10億美元。我們于2024年5月進(jìn)行了全球調(diào)查我們在下面提供了這些受訪者及其組織的分布情況各總部所在地組織各部門組織百分之十五UnitedStates百分之十五UnitedStatesUnitedKingdom國加拿大西班牙百分之十百分之九百分之九百分之十百分之九百分之九占6%澳大利亞占6%澳大利亞6%占6%占6%占6%百分之五高科技工業(yè)設(shè)備制造制藥和醫(yī)療保健荷蘭瑞典新加坡l68l新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)各年收入組織按年度預(yù)算分列的公共部門組織按職能分列的答復(fù)者超過100億百分之十五信息安全百分之十七百分之十五信息安全百分之十七超過20十億10億美元-不到5010億美元-不到50億50億至100億美元百分之十九100億美元-不百分之十九100億美元-不到200億百分之二十八百分之二十八1億1億-5億美元百分之五十七50億美元-不到100億百分之五十七50億美元-不到100億69新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)69新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)為了補(bǔ)充調(diào)查結(jié)果，我們還與18位來自使用AI和/或GenAI進(jìn)行網(wǎng)絡(luò)安全防御的組織的高管進(jìn)行了深入討論。位Capgemini專家，討論具體影響。70新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)4.福布斯，“GenAI及其對網(wǎng)絡(luò)物理威脅格局的惡意影6.VentureBeat，“GenAI是網(wǎng)絡(luò)安全供應(yīng)商降低AI戰(zhàn)爭失敗風(fēng)險(xiǎn)所需的力量激增”，2023年12月。8.判決，“ATT在大規(guī)模違反客戶數(shù)據(jù)后處于十字準(zhǔn)線中”，2024年7月網(wǎng)站”，2024年2月。11.《海峽時(shí)報(bào)》，“新加坡公共部門數(shù)據(jù)泄露事件上升10%，2023年記錄了201起案件”，2024年7月13.ABC新聞，“澳大利亞政府調(diào)查腳本提供商MediSecure的“大規(guī)模勒索軟件”數(shù)據(jù)泄露事件”，2024年5月。14.Ekran，“內(nèi)部威脅導(dǎo)致的真實(shí)數(shù)據(jù)泄露的7個(gè)例子”，2024年2月16.安全周刊，“江森自控勒索軟件攻擊：數(shù)據(jù)盜竊確認(rèn)，成本超過2700萬美元，”2024年2月。17.機(jī)器速度攻擊是以超過人類能力的速度發(fā)生的網(wǎng)絡(luò)攻擊，通常利用自動(dòng)化，人工智能和機(jī)器學(xué)習(xí)來進(jìn)行攻擊。目標(biāo)是在人類操作員有機(jī)會(huì)做出反應(yīng)之前壓倒防御并利用系統(tǒng)18.微軟，“在人工智能時(shí)代保持領(lǐng)先于威脅行為者”，2024年2月14日。19.國家網(wǎng)絡(luò)安全中心，“人工智能對網(wǎng)絡(luò)威脅的近期影響”，2024年120.法拉利高管通過向騙子提出一個(gè)只有首席執(zhí)行官BenedettoVigna可以回答的問題來挫敗Deepfake企圖，“2024年7月。21.《南華早報(bào)》，“香港雇員在與英國跨國公司的deepfake‘CFO’進(jìn)行視頻通話后被騙支付400萬港元”，二零二四年五月。24.微軟，《2024年工作趨勢指數(shù)年度報(bào)告》，2024年5月26.CapgeminiResearchInstitute，“TurbochargingsoftwarewithgenAI，”2024年7月28.《衛(wèi)報(bào)》，“加拿大航空公司下令向被航空公司聊天機(jī)器人誤導(dǎo)的客戶付款”，2024年2月71新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)31.《印度時(shí)報(bào)》，“亞馬遜對在工作中使用人工智能的員工發(fā)出‘警告’”，2024年2月generativeAI2ndedition:To34.IANS研究安全預(yù)算基準(zhǔn)報(bào)告，數(shù)據(jù)截至2023年10月3日35.GoogleCloud，“通過GoogleCloud推進(jìn)AI驅(qū)動(dòng)的安全性藝術(shù)”，2024年5月36.萬事達(dá)卡，“萬事達(dá)卡利用其人工智能能力打擊實(shí)時(shí)支付詐騙”，2023年7月37.Emerj，“ArtificialIntelligenceatEscherichia，”May2024.詐”2023年7月。40.SOCRadar，“威脅情報(bào)在識(shí)別和應(yīng)對僵尸網(wǎng)絡(luò)攻擊方面可以挽救生命”，2023年6月41.RelevantSoftware，“人工智能驅(qū)動(dòng)的威脅情報(bào)系統(tǒng)代表了持續(xù)努力保護(hù)數(shù)據(jù)基礎(chǔ)設(shè)施的重大進(jìn)步”，2024年4月42.RelevantSoftware，“AI網(wǎng)絡(luò)安全軟件可以幫助欺詐檢測”，2024年4月44.UCToday，“思科推出'首款'AI驅(qū)動(dòng)的身份智能”，2024年446.環(huán)球郵報(bào)，“人工智能如何徹底改變物理安全行業(yè)”，2024年649.福布斯，“人工智能如何破壞物理安全業(yè)務(wù)”，2023年9月。51.博通，“博通與谷歌云合作，加強(qiáng)人工智能驅(qū)動(dòng)的網(wǎng)絡(luò)安全”，2023年9月52.萬事達(dá)卡，“萬事達(dá)卡利用生成式人工智能技術(shù)加速卡欺詐檢測”，2024年5月53.Google，“來自世界領(lǐng)先組織的真實(shí)世界人工智能用例”，2024年4月56.Nvidia，“構(gòu)建網(wǎng)絡(luò)語言模型以解鎖新的網(wǎng)絡(luò)安全功能”，2024年7月57.Synergy-technical，“小語言模型對人工智能計(jì)算未來的意義”，2024年259.Tripwire，“網(wǎng)絡(luò)安全的聯(lián)邦學(xué)習(xí)：威脅檢測的協(xié)作情報(bào)”，2024年3月60.Sumologic，“人工智能將如何影響網(wǎng)絡(luò)安全：第五代SIEM的開始”，2024年4月72新防御，新威脅：AI和GenAI為網(wǎng)絡(luò)與專家Karine自2019年起擔(dān)任Capgemini云基礎(chǔ)設(shè)施服務(wù)首席運(yùn)營官。在加入Capgemini之前，Karine是沃達(dá)豐的技術(shù)服務(wù)總監(jiān)，她還曾在Steria、Alcatel和NCR擔(dān)任高級職務(wù)。Karine在管理大型轉(zhuǎn)型和基礎(chǔ)設(shè)施業(yè)務(wù)方面有著良好的記錄。她擁有市場營銷和歐洲管理、經(jīng)濟(jì)科學(xué)和歐洲經(jīng)濟(jì)學(xué)三個(gè)碩士學(xué)位。Marco曾擔(dān)任Tru