對網絡安全領域可解釋人工智能的全面調查引言人工智能已成為實現全球各行業可持續性目標的關鍵技術。其應用在日常場景中顯而易見，如醫療保健、農業、教育、金融服務、面部識別、欺詐檢測、零售購買預測、導航、在線客戶支持以及許多其他領域。由于人工智能的廣泛影響，眾多國際和國家級別的倡議已被啟動，旨在應對其發展和監管。然而，人工智能是一把雙刃劍，在網絡安全領域既是變革者，也是潛在風險。在各領域關鍵應用中的廣泛應用使得AI模型容易受到攻擊。因此，保護AI系統和確保數據安全和用戶隱私是至關重要的。□iMotiva□ie認識到人工智能在網絡安全中的重要性以及確保人工智能系統的必要性，印度政府首席科學顧問辦公室（PSA）通過SETS發布了題為“CybSec4AI”強調了人工智能和網絡安全交叉學科中必要的研發倡議，以及專業技能的培養。目標是實現開發基于人工智能/機器學習（AI/ML）的工具和系統在網絡安全方面的自給自足，同時創建安全的人工智能/機器學習系統和解決方案。該工作組審議了在人工智能和網絡安全等跨學科領域啟動研發方案的需要，這些方案將導致系統發展、解決方案和產品的產生。同時，還提出了為數據創建、模擬和測試設施所需的研發基礎設施。人力資源需求已確定，以應對該新興領域中工程師和科學家不斷增長的需求，并提出了加速技能建設的方案。根據麥肯錫全球人工智能（AI）2021益顯著影響，越來越多的組織正在采用人工智能能力[1]。可解釋人工智能（XAI）1幫助人類用戶理解、解釋和信任由AI模型做出的預測。通過提供AI模型決策的依據，XAI確保決策過程的透明性。這種提高的透明度使用戶對結果更加有信心，并促進信任的形成。1“解釋”一詞在牛津高階英漢雙解詞典中的定義為：“一種使某事物變得清晰的說法或陳述；為行動或信仰提供的理由或辯解”[2]。理解模型的決定也解決了公平性問題，并在調試模型方面提供幫助。該研究于2004年開始，重大突破始于2014年左右，當時DARPA宣布了其XAI項目。根據DARPA[3]，XAI的目標是“在保持高水平的學習性能（預測準確性）的同時，生成更多可解釋的模型；并使人類用戶能夠理解、適當信任并有效管理新興的人工智能伙伴”。目的和范圍這是一篇方法論文。專注于在國內外層面進行的“可解釋人工智能（XAI）”在網絡安全領域的相關研究成果。論文結構該研究方法論文的結構如下：XAI基礎部分提供了可解釋人工智能的概念、技術和在人工智能模型中可解釋性的重要性概述。XAI在網絡安全部分探討了XAI在網絡安全任務中的應用和好處。相關研究回顧部分總結了該領域現有的研究，突出與網絡安全中的XAI相關的方法和發現，同時納入了國家與國際的努力。隨后，XAI在網絡安全中的挑戰部分討論了在網絡安全系統中實施XAI的局限性以及潛在的對立威脅。最后，該研究方法論文以關于未來方向的見解作結，提出了XAI在網絡安全方面的研究方向和問題。智能（XAI）人工智能在網絡安全中的智能通過提升威脅檢測、預防和響應能力，顯著增強了網絡安全。根據2024年月發布的NASSCOM報告，印度的人工智能市場正以25-35%的復合年增長率增長，預計到2027年將達到約170億美元。[4]人工智能系統通過分析大量數據以識別異常、檢測惡意軟件和預測潛在的網絡安全威脅。它們自動化威脅情報收集和事件響應，使快速有效的應對措施成為可能。人工智能還優化了掃描和修補流程，增強了漏洞管理，并強化了用戶行為分析，以檢測內部威脅和欺詐。此外，將人工智能集成到網絡安全框架中不僅加強了防御機制，還增強了預見和應對復雜網絡攻擊的能力，確保了更加堅固和有彈性的數字環境。XAI在網絡安全中的必要性可解釋人工智能已成為安全領域的關鍵，因為它增強了透明度、信任和問責制。XAI在網絡安全中的關鍵性之一在于其促進AI安全專業人員理解為什么一個AI模型將某個活動標記為惡意或良性。通過使AI系統的運作透明化，XAI允許持續優化和改進。XAI提供對模型決策過程的洞察，使得能夠識別和糾正偏差。這確保了網絡安全措施是公平和無偏見的，維護了安全協議的完整性。統計數據表明，與2021年同期相比，2022年第三季度全球攻擊增加了28%[5]。從三個網絡安全利益相關者的角度出發，可解釋方法的使用包括：1）設計者，2）戶，3）對手。他們的工作徹底審視了各種傳統和安全特定的解釋方法，并探索了有趣的研究方向[6]。GautamSrivastava[7]XAI智能農業、智能城市、智能治理、智能交通、工業4.0以及5G及以后的技術。一項關于XAI在網絡安全領域的簡短調查列出了幾個支持可解釋性實施的XAI庫[8,9]。通過對244篇文獻的詳盡綜述，突出了使用深度學習技術（如入侵檢測系統、惡意軟件檢測、釣魚和垃圾郵件檢測、僵尸網絡檢測、欺詐檢測、零日漏洞、數字取證和加密挖礦）在網絡安全領域的各種應用。他們的調查還考察了這些方法中可解釋性的當前使用情況，確定了有前途的工作和挑戰，并提供了未來的研究方向。它強調了需要更多的形式化，強調了人機交互評估的重要性，以及對抗性攻擊對XAI的影響[10]。X_SPAM方法結合了機器學習技術隨機森林和深度學習技術LSTM來檢測垃圾郵件，利用可解釋人工智能技術LIME通過解釋分類決策來增強可信度[11]。關于將XAI應用在網絡安全領域劃分為三組的研究，例如：針對網絡攻擊的防御性應用、各行業在網絡安全方面的潛力、針對XAI應用的網絡安全對抗威脅以及防御方法。他們還強調了在網絡安全領域實施XAI面臨的挑戰，并強調了標準化可解釋性評估指標的重要性[12]。在聚焦于網絡安全中的可解釋人工智能（XAI）應用，特別是在公平性、完整性、隱私和健壯性方面時，很明顯，現實場景通常是被忽視。此外，當前用于防御XAI方法的對策是有限的[13]。XAI在網絡安全威脅情報（CTI）中的應用跨越了三個主要主題：釣魚分析、攻擊向量分析和網絡安全防御開發[14]。另一項研究[15]中的優勢和擔憂，并提出了一個設計可解釋和隱私保護的系統監控工具的流程。XAI在網絡安全應用中變得越來越重要，因為缺乏可解釋性會損害對AI除了可解釋性之外，用于網絡安全的AI模型還必須保證準確性和性能。訓練數據集在任何機器學習應用中都起著至關重要的作用。可解釋AI（XAI）檢測高度不平衡的數據集和糾正偏差，從而提高系統的魯棒性。可解釋安全（XSec）[16]的概念解決了XAI面回顧。側信道分析（SCA）通過分析物理發射如功耗、電磁泄露或定時信息，從加密設備中提取機密信息。AI算法在增強SCA輪廓方面發揮著重要作用。AI算法用于識別大型數據集中的模式，并用于識別側信道發射與機密信息之間的微妙相關性[17,18]。在人工智能輔助的側信道攻擊（SCA）中，特征/興趣點（PoI）對秘密信息的檢索起到了貢獻作用。對那些對決策貢獻最大的特征/興趣點（PoI）的可解釋性進行了解釋[19]的抵抗性。一種稱為真理表深度卷積神經網絡（TT-DCNN）有可解釋性，被用于執行SCA。通過將神經網絡（NN）轉換為SAT操作性，以了解NN模型學到了什么[20]。掩碼和隱藏是用于在實現層面保護秘密信息的對策。但是，AI算法在擊敗這些對策方面是有效的。在SCA（側信道攻擊）中，ExDL-SCA（基于深度學習的SCA的可解釋性）方法被用來理解這些對策對AI輔助SCA的影響[21]。這有助于開發者評估實施對策的安全性。此外，XAI（可解釋人工智能）在硬件木馬檢測[81]中也發揮著重要作用。圖1描述了XAI在網絡安全各個領域的應用。釣魚攻擊檢測網絡僵尸檢測勒索軟件&釣魚攻擊檢測網絡僵尸檢測勒索軟件&檢測惡意軟件硬件安全硬件安全入侵檢測系統可解釋人工智能在安全領域的應用對于所有利益相關者誰給予和接受安全？什么是解釋的？何時進行解釋關于安全的問題有明確答案嗎？需要安全嗎？如何解釋安全性？垃圾郵件檢測異常檢測域名生成算法檢測圖1：可解釋人工智能在網絡安全中的應用域名生成算法檢測相關工作綜述國際努力2017年，美國國防部高級研究計劃局（DARPA）信息創新辦公室（I2O）主任約翰·在特定數據上訓練的統計模型。第三波是“情境適應”，特點是能夠理解和解釋其決策背后的推理的系統[22]。DARPA的XAI項目專注于兩大挑戰：（1）據中的感興趣事件進行分類；（2）開發機器學習方法，為自主系統構建決策政策，以執行各種模擬任務[23]。2020年，IBM推出了“政策實驗室”，這是一個旨在開發AI政策和建議的平臺，為政策制定者提供了一個愿景和實用指導，以利用創新的優勢，同時確保在快速變化的技術環境中保持信任[24]。2022年，IBM，以建立道德人工智能實施的治理方法[25]。2020年，谷歌發布了一份名為《AIExplainability》的白皮書，這是一份與谷歌云人工智能解釋產品相伴的技術參考。該白皮書旨在利用人工智能解釋來簡化模型開發，并向關鍵利益相關者解釋模型的行為。“全球人工智能行動計劃”項目，作為世界經濟論壇“塑造技術治理未來：人工智能與機采用，激發人工智能的變革潛力。到2026年，Gartner預計組織將通過實施AI的透明度、信任和安全，在采用、業務目標和用戶接受度方面實現其AI模型50%的改進[26]。Gartner來越在其模型中使用可解釋的AI，尤其是在醫療保健和金融服務等安全和監管行業[26,27]。人工智能的隱私、安全和/或風險管理始于人工智能可解釋性，這是必需的基線。——AvivahLitan，Gartner副總裁兼杰出分析師2019解釋人工智能系統時，開發者和政策制定者面臨的挑戰和考慮因素。它強調，人工智能模型的解釋取決于其應用，并提供了關于如何在不影響系統性能（包括準確性、可解釋性和隱私性）的情況下實施XAI的觀點。[28]在2022年9月，美國國家標準與技術研究院（NIST）理框架（AIRMF）的草案，旨在發展和實施可信的人工智能，其中可解釋性是識別和管理人工智能系統風險的綜合方法中需要考慮的特性之一[29]。2022年5月，IBM通過“IBM全球AI采納指數2022”[30]提供了關于全球整體AI采納情況的見解，包括阻礙AI發揮其潛力的障礙和挑戰，以及AI業和國家。圖2中的統計數據顯示，大多數組織尚未采取必要步驟以實現可信的人工智能。具體來說，61%接受調查的組織尚未作出顯著的努力。努力解釋基于AI的決策。安全專業人士是組織中第四大AI用戶群體，占比26%。此外，29%的組織使用AI進行安全和威脅檢測。圖2：根據IBM采用指數[30]此外，84%的IT專業人員承認信任在人工智能中的重要性，并認為解釋人工智能決策對其業務至關重要。目前，17%的IT專業人員更傾向于報告他們的業務重視人工智能能方面面臨著多個障礙。值得注意的是，63%工智能所需的技術和培訓而面臨困難。IT部門在政府與醫療行業的專業人員，目前正探索或部署人工智能，相較于其他行業的人員，他們更有可能識別出可解釋性與信任方面的障礙。國家努力作為全球增長最快的經濟體之一，印度對重塑世界的AI革命充滿濃厚興趣。認識到AI始制定國家AI戰略。在國家層面，印度國家發展研究所（NITIAayog）、信息技術與通信部（MeitY）、商務部與工業部以及印度政府首席科學顧問辦公室已經成立了由領域專家組成的各個工作組，以制定本戰略。這些工作組已經起草了聚焦于人工智能的國家級文件。2018年6月，印度國家發展委員會（NITIAayog）#AIForAll”的討論稿[31]。該文件旨在指導研究和在新興和前沿技術的進步中，特別關注利用人工智能促進印度社會的包容性增長。本文還強調了在人工智能中“可解釋性”的重要性，解決了一個普遍問題，即人工智能解決方案通常作為黑箱運行，對于超出輸入和輸出數據的處理過程缺乏理解。2018年2月，印度電子和信息技術部（MeitY）成立了四個委員會，以促進人工智能（AI）的發展并制定政策框架。這些委員會負責了解與人工智能相關的監管和技術挑戰，并確定人工智能實施可能有益的領域[32]。在2018年3月，由商務部和工業部成立的特別小組發布了一份關于《人工智能（AI）》的報告，該報告專注于第四次工業革命及其經濟影響，特別是關于人工智能的方面。[33]。2020年7月，首席科學顧問辦公室通過電子交易和安全協會（SETS）發布了一份名為“CybSec4AI”的任務小組報告，強調了人工智能和網絡安全相互作用的尖端研究。這份報告強調了AI模型安全性的重要性[34]。2020年10月，印度電子和信息技術部（MeitY）與NITIAayog共同舉辦了RAISE2020——“2020年負責任的人工智能促進社會賦權”大型虛擬峰會，主題為人工智能（AI）[35]。峰會強調了可解釋人工智能對于培養對技術的信任至關重要，并強調了更好責任人工智能更廣泛范圍內的一個關鍵組成部分，定期發布的負責任人工智能（RAI）專家報告[36]。在2020年，印度電子與信息技術部下的國家電子治理司推出了名為“YUVAi-用人工智能為烏納蒂和維卡斯（Unnati和Vikas）貢獻力量”的創新挑戰計劃，這是面向學校學生的國家倡議，旨在“負責任的人工智能”領域。該計劃旨在提升新一代的數字準備能力，并繼續實施包容性和協作性的人工智能技能培訓努力[37]。在此基礎上，英特爾印度分公司于2022年加入并啟動了“2022年負責任的人工智能”計劃[38]。2021年2月，印度國家發展機構（NITIAayog）發布了《負責任的AI#AIFORALL這是為印度制定的方法論文檔的第一部分，提出了負責任AI管理的原則。該文檔探討了系統性和社會性的倫理考量，并深入探討了治理AI系統的法律和監管方法。透明度被強調為確保公平、誠實、無偏見的部署和問責制的一個關鍵原則。此外，該文檔還討論了XAI[39]2021年8月，尼蒂·阿亞og在《負責任的人工智能》方法文檔的第二部分中繼續其努力，重點關注實施這些原則[40]。隨后，2022年11月，尼蒂·阿亞og發布了第三份討論。該論文探討了在印度背景下，負責任人工智能原則在面部識別技術（FRT）中的應用，旨在為其安全、負責任的發展和部署建立框架。該論文還建議了開發人員構建可解釋的FRT系統應遵循的原則，確保對系統決策過程的明確解釋[41]。2022年10月11日，印度軟件和服務公司協會（NASSCOM）與微軟、塔塔咨詢服務公司（TCS）、IBM研究、德勤和FractalAnalytics合作發布了“負責任人工智能中心及用于各行業的工具和指導，幫助企業自信地擴大人工智能技術規模，同時確保用戶安全和信任。在發布活動中，一個關鍵焦點是解決XAI（可解釋人工智能）的挑戰。[42,43]2022年，NASSCOM與微軟、Capgemini、Ernst&Young和EXL合作推出了針對印度的NASSCOM采納成熟度，提供了一個綜合得分。盡管印度在全球人工智能投資中只占很小的比例（約1.5%），但該國在這一變革性技術方面取得了重大進展。為了充分挖掘這一潛力，采用最佳實踐對于將技術進步轉化為實際的國民價值至關重要[44]。2020年6月，印度成為經濟合作與發展組織（OECD）\"全球人工智能伙伴關系（GPAI）\"的創始成員。該倡議旨在指導全球人工智能的負責任發展和應用，強調人權、包容性、多樣性、創新和經濟增長[45,46]。在2022年12月，谷歌宣布了一筆100萬美元的贈款投資，以在NITIAayog在印度建立首個多學科責任AI中心——IIT-Madras[47]。全球人工智能伙伴關系（GPAI）峰會于2023年12月在新德里舉行，匯聚了來自科學、工業、民間社會、政府、國際組織和學術界的專家。峰會旨在促進國際社會在人工智能相關優先事項上的合作。在2023-2024年度的聯邦預算中，宣布建立三個卓越中心（COEs）專注于人工智能，其愿景為“打造印度人工智能，讓人工智能為印度服務”。SETS|XAI在網絡安全領域本報告來源于三個皮匠報告站（），由用戶Id:879887下載，文檔Id:618526，下載日期:2025-0國家級努力產生了關于人工智能的幾份報告，突出了其在數字印度框架下的潛力。NITIAayog發起的ec4AI目前，在網絡安全領域，盡管該領域正在進行研究，但仍缺乏關于可解釋人工智能（XAI）的精確國家標準、政策或框架。實施此類標準將揭示復雜數據模型的工作原理，增強對AI決策的信任，并推動負責任的人工智能模型的發展。可解釋人工智能是負責任人工智能（RAI）的一個關鍵方面，它涵蓋了更廣泛的原則，如公平性、無偏見、透明度、隱私、安全、可靠性、安全性、合規性、保護以及積極價值的強化。雖然使用道德黑客測試系統是有益的，但旨在破壞系統的惡意攻擊是不受歡迎的。3.3XAI在網絡安全中應用的方法論本節提供了可解釋人工智能（XAI）在網絡安全領域的應用調查，涵蓋了網絡安全、異常檢測和微架構攻擊。入侵檢測系統（IDSs）已成為計算機網絡中確保網絡安全環境的關鍵工具。近年來，IDSs利用了各種分類算法，如決策樹、支持向量機（SVM）、K-最近鄰（KNN）、樸素貝葉斯分類器、深度神經網絡（DNN）、卷積神經網絡（CNN）（RNN）、自編碼器等，以檢測入侵。對檢測到的入侵的預測提供解釋至關重要，這有助于理解不同類型攻擊的具體特征。實現了用于執行入侵檢測的兩階段模型[48]。在第一階段，XGBoost（eXtremeentBoost）模型結合SHAP解釋框架，為第一階段監督學習模型的結果提供解釋。在第二階段，從第一階段獲得的解釋被用于訓練自動編碼器，以使模型能夠對零日攻擊或未見過攻擊取得良好的效果。模型被入侵檢測系統（IDS）錯誤分類的原因在[49]原因的解釋有助于決定未來對抗攻擊的步驟。對抗機器學習技術被用于生成由訓練分類器做出的錯誤估計的解釋。對抗方法涉及修改錯誤分類的樣本，直到模型將正確的類別分配。修改后的樣本與真實樣本之間的差異被用來說明導致錯誤分類的主要特征。在網絡安全方面，數據驅動模型的誤報輸出可能導致整個系統的泄露和損害。鑒于這系統的模型。所提出的模型使用兩個獨立的模塊來提供關于系統決策的易于理解答案，同時達到盡可能高的準確性[50]。本研究的SHAP框架本地解釋被用于提供對每個特征影響的詳細信息，以幫助對入侵檢測系統（IDS）進行決策。全局解釋提取了重要的特征，并探索了特征值與特定類型攻擊之間的關系[51]。XAI技術被用于提升網絡安全背景下腳手架攻擊的檢測與防御[52]。在文獻[53]產生影響的最為相關的輸入特征。深度學習技術在安全應用中得到了應用，例如惡意軟件分類、二進制逆向工程，這些應用在決策過程中缺乏透明度。大多數模型，如LIME，然而，在大多數復雜的安全問題中，這導致了不準確的解釋[54]。介紹了一種名為“使用非線性逼近的局部解釋方法”（LEMNA）的模型，該模型包括混合回歸模型，用于考慮線性和非線性決策邊界，以提高復雜安全應用的局部解釋保真度。融合Lasso技術被集成以捕捉特征依賴性。所提出的LEMNA模型被證明有助于通過解釋分類器如何做出正確決策來建立TRUST。LEMNA用于解釋基于異常的入侵檢測系統（IDS）[55]的輸出。通過考慮有助于預測每個特征對預測貢獻的得分。基于決策樹的自動編碼器模型在[56]過計算不同屬性值之間的相關性來實現，對模型做出的預測進行解釋。提出了一種使用深度神經網絡（DNN）進行異常檢測的框架[57]。層級相關性傳播（LRP）用于分解DNN測異常的貢獻。該系統設計得能夠提供預測的置信度分數，并對檢測到的異常提供文本描述。隨著每年釣魚攻擊的增多，LIME和EBM等可解釋框架被用于將網址分類為釣魚或合法，并提供相應的解釋[58]。LIME和顯著性圖被用來解釋AI模型在基于微架構的網站指紋攻擊決策中的決策過程[59]。可解釋機器學習框架可解釋性指的是理解輸入與輸出之間關系的能力。另一方面，可解釋性涉及以人類可以理解的方式闡明模型的輸出。模型的可解釋性一般分為兩類：全局可解釋性和局部可解釋性。全局可解釋性使用戶能夠理解目標結果的分布與特征之間的關系。同時，局部可解釋性為特定輸入數據點上的預測提供解釋。本節重點介紹了幾個關鍵框架，這些框架提供了對模型預測的洞察。LIME：局部可解釋模型無關解釋本地代理模型是可解釋模型，用于解釋機器學習黑盒模型的個別預測[60]。當輸入數據被修改并作為機器學習模型的輸入時，會測試預測的變化。這種變化很小，因此仍然接近原始數據點。LIME創建了一個新的數據集，包括擾動樣本及其對應黑盒模型的預測。然后，它在這個數據集上訓練一個可解釋模型，權重根據樣本實例與感興趣實例的鄰近性分配。SHAP（SHapleyAdditiveexPlanation）值：Shapley加性解釋（SHAP）是一個統一的框架，通過Shapley的預測結果[61]。Shapley值基于博弈論和局部解釋思想的統一。Shapley值表示相關特征對預測的影響。KernelShap，一種從線性LIME擴展和適應的方法，被引入來計算Shapley值，以避免Shapley值對于許多特征變得難以處理[60]。其他變體被提出以獲得基于不同類型模型的Shapley值，例如樹SHAP、深度SHAP、低階SHAP、線性SHAP和最大SHAP[61]。在兩個數據集上使用深度學習模型，對兩種主要解釋器/可解釋方法LIME和SHAP和可分離性方面，SHAP的表現略優于LIME[62]。SHAP產生與人類解釋相一致的解釋，隨著特征的增加，其計算成本較高。隨著聯盟數量的增長，SHAP的計算工作量呈指數級增加。而LIME的計算成本相對較低，盡管具有更高的特征數量。LIME和SHAP模型是替代模型。它們通過改變輸入來建模預測的變化。它們可以……理解到，如果通過改變變量的值，模型預測變化不大，那么感興趣的變量在預測中不起主要作用。錨定錨算法，由提出LIME算法的同一研究者團隊在[63]中引入。它是LIME的擴展，通過件。錨解決了局部解釋方法LIME的不足，LIME錨定器結合了強化學習技術和圖搜索算法，以最小化模型調用次數和所需的運行時間，同時從局部最優解中恢復。與LIME的代理模型不同，得出的解釋以易于理解的IF-THEN規則表達，被稱為錨定器。簡化解釋（ExplainLikeI’m5）ELI5[64]Python包，旨在解釋黑盒機器學習（各種回歸和分類模型）模型。ELI5類似于LIME（但ELI5不是模型無關的），它提供了與每個特征相關的權重，以描述該特征在機器學習模型中的重要性。ELI5已經實現了大多數常用的基于Python器學習包，如Scikit-learn、Keras和XGBoost。滑板運動員滑板者[65]是另一個能夠揭示模型內部決策策略的Python于探索和理解機器學習模型的行為，以及描述神秘且不明確的機器學習模型[66]。基于本地規則的解釋（LORE）這是一個用于解釋黑盒實例的框架。該模型采用決策樹進行局部解釋的提取。LORE是一種基于局部、事后和模型無關的方法[67]。XAI在網絡安全領域的挑戰皇家學會[68]的報告正確地指出了人工智能中可解釋性的局限性。可解釋性有助于提對手提供了機會，在輸入的小擾動上操縱分類器的輸出，以隱藏系統的偏差。提供100％準確的解釋以增強AI作為輸入來克隆AI黑盒。這影響了原始AI模型的所有權。因此，應謹慎行事。因此，僅解釋性本身并不能成為萬能的解決方案。[70]對XAI模型構成的威脅由于XAI大致分為兩大領域：1)，2)對XAI模型的對抗攻擊盡管在網絡安全領域中，XAI（可解釋人工智能）承諾透明性和可解釋性，但這些XAI模型容易受到網絡攻擊。在[71]中引入了一類新的攻擊，稱為ADV2，誤導性的對抗輸入來欺騙目標DNN及其耦合的解釋器。在[72]中，描述了設計一種新型黑盒攻擊，用于分析基于梯度的XAI方法的一致性、正確性和置信度安全性屬性。提出的方法可以用于設計安全的魯棒XAI方法，它專注于針對兩類敵人的黑盒定向攻擊：一是破壞基礎分類器和解釋器的完整性，另一類是僅攻擊解釋器而不改變分類器的預測。他們提出了一個與網絡安全相關的分類法。提出了三種不同的方法，其中，X-PLAIN/數據的解釋，b)XSP-PLAIN，c)LAIN給定輸入，可以生成與之相似的輸入，兩者在視覺上幾乎無法區分，都被分配了相同的預測標簽，但它們具有非常不同的解釋[73]。因此，其顯著性歸因和可解釋信息變得不那么可靠。此外，解釋甚至可以被任意操控[74]。在模型的可解釋模塊以及人工智能模型免受網絡攻擊，通過適當的防御方法變得同樣重要。對解釋的對抗性使用隱私和透明度是可信機器學習的兩個基石。提供解釋與預測相結合可減輕可能損害敏感輸入訓練數據和模型本身[75,76]因此，可解釋機器學習本身可能面臨隱私風險。使用解釋從模型預測中重建訓練數據的方法，通常被稱為模型逆攻擊，已被探討[77]。展示了一項實驗，演示了敵方如何使用基于梯度的解釋來執行成員推斷攻擊，以預測敵方可訪問的輸入數據是否為訓練數據的一部分[78,79]。同時也證明，敵方可以通過生成的解釋從模型預測中提取結構和模型參數[79]。至關重要的是，通過僅授權實體訪問來保護XAI模型免受攻擊者的侵害。未來方向不透明的系統運行令用戶不滿意，因此可解釋性對于確保人工智能模型的可信度至關重要。XAI對于促進人工智能的道德和公平使用也至關重要。可解釋性有助于監督遵守道德原則。認識到XAI對可信性的重要性，美國國家標準與技術研究院（NIST）于2021年發布了一份題為“可解釋人工智能的四個原則”的報告，概述了XAI系統的基本屬性和原則：解釋、意義、解釋準確性和知識限制[80]。對XAI模型及其適用性的研究現有可解釋人工智能模型需要對其在各類網絡安全應用中的適用性進行評估。評估時，應考慮在有無XAI模型的情況下可能發生的網絡攻擊類型。此外，還必須考察XAI模型對實時需求和關鍵基礎設施安全應用中結果準確性的影響。需要一種方法來評估模型在目標領域的適用性以及驗證這些模型。研究應專注于保護隱私的XAI方法，以防止對手利用解釋。新開發工具應接受研究者的同行評審，以評估其可用性。同時，也有必要比較現有XAI模型在描述準確性、稀疏性和效率等方面適用于安全應用的適用性。創建高質量數據集將對網絡安全應用中XAI方法的有效性產生重大影響。研究應關注平衡XAI在網絡安全中的性能和可解釋性。此外，保護數據和XAI生成的解釋免受攻擊者的侵害以及防范對抗性攻擊至關重要。一個用于安全應用的可解釋人工智能軟件工具包可以通過與研發、學術界和工業界的合作開發。此工具包將指導用戶在網絡安全領域應用XAI，并確保用于各種應用中的XAI模型的安全性。測試與驗證類似于OpenSSL，是否可能存在開放的XAI，其中所有內部狀態都是可見的。對正在開發的系統/人工智能模型進行測試可以通過測試向量（可以稱之為注入偏差的數據集、真實的好數據集等）進行，正如對任何系統一樣。可以引入擾動來觀察系統如何反應。XAI策略標準化政策框架可以提出一個適合于印度基于XAI的網絡安全框架和治理模式。i)（少數系統可能需要較低水平的透明度，而其他系統可能需要較高的透明度，這完全基于應用），ii)（評估可解釋安全性方法）多方面方法（必須在系統的整個生命周期設計階段提供解釋，包括設計、實施、利用、分析和更新階段），可以考慮。摘要本文討論了……的重要性可解釋人工智能（XAI）在網絡安全領域的應用，強調國內外視角。XAI可以檢測并減輕AI模型中的偏差，從而實現更公平、更可靠的安全措施。它通過提供對AI動安全系統的信心至關重要。此外，XAI通過幫助識別誤報和漏報來提高安全措施的正確性和可靠性。參考文獻/business-functions/quantumblack/our-見解/全球調查/2021年人工智能的狀態 Doran,D.,Schulz,S.Besold,T.R.,新的視角概念化，“arXivarXiv:1710.00794，2017”。Gunning,D.和Aha,D.，“DARPA的可解釋人工智能節目，“人工智能雜志第40卷第2期（2019年）：44-58。”https://www.nasscom.in/knowledge-center/publications/ai-powered-tech-服務路線圖——面向未來準備的企業/2022/10/26/third-quarter-of-2022-reveals- 網絡攻擊增加/ ]

Nadeem,A.,Vos,D.,Cao,C.,Pajola,L.,Dieck,S.,Baumgartner,R.,&V:r,可解釋機器學習在計算機安全應用中的解釋 arXiv預印本arXiv:2208.1060,.

Sok:斯里瓦斯塔瓦，G.，賈韋里，R.H.，巴塔查里亞，S.，潘達亞，S.，馬達昆塔尹德里，G.，霍爾，J.G.，阿拉扎布，M.和加德卡AIT..絡安全領域的應用：現狀《藝術、挑戰、開放問題和未來方向》 arXiv預印arXiv:2206.0358,.Rjoub,G.,Bentahar,J.,Wahab,O.A.,Mizouni,R.,Song,A.,Cohen,R.,Otrok,H.,andMourad,A.,“關于網絡安全的可解釋人工智能調查”，IEEE網絡與服務管理匯刊，2023.Hariharan,S.,Velicheti,A.,Anagha,A.S.,Thomas,C.Balakrishnan,N.，“網絡安全中的可解釋人工智能：簡短回顧”，載于2021年第4（ISEA-ISAP）（第1-12頁），2021年。Capuano,N.,Fenza,G.,Loia,V.Stanzione,C.，“可解釋的人工智能”在網絡安全：調查，“IEEEAccess”，第10卷，第93575-93600頁，2022年。Ibrahim,A.,Mejri,M.Jaafar,F.，““關于可信垃圾郵件檢測”，IEEE國際網絡安全會議安全與韌性（CSR）（第160-167頁），2023年。Vigano,L.,andMagazzeni,D.,“可解釋的安全”，收錄于 2020IEEE歐洲區研討會：安全和隱私工作坊（歐洲S&PW） (第293-300頁)，2020年。Charmet,F.,Tanuwidjaja,H.C.,Ayoubi,S.,Gimenez,P.F.,Han,Y.,Jmila,H.,Blanc,G.Takahashi,T.Zhang,Z.，“網絡安全中的可解釋人工智能：一種綜述與展望”文獻綜述，“電信年鑒”，第1-24頁，2022年。Samtani,S.,Chen,H.,Kantarcioglu,M.和Thuraisingham,B.，“可解釋的人工智能用于網絡威脅情報（XAI-CTI），” IEEE交易在可靠與安全計算領域 ,19（04），第2149-2150頁，2022年。Bhusal,D.Rastogi,N.，“SoK：在安全監控中建模可解釋性”信任、隱私和可解釋性，”arXiv預印本arXiv:2210.17376，2022Vigano,L.,andMagazzeni,D.,“可解釋的安全”，收錄于 2020IEEE歐洲區研討會：安全和隱私工作坊（歐洲S&PW） (第293-300頁)，2020年。EmmanuelProuff,RémiStrullu,RyadBenadjila,EleonoraCagli,andCécileDumas.2018年，關于側信道分析中深度學習技術的探究簡介：ASCAD數據庫。IACR密碼學電子預印本檔案，2018年（2018），第53號Picek,S.,Perin,G.,Mariot,L.,Wu,L.,&Batina,L.(2023).Sok:，55(11)，1-35。Golder,A.,Bhat,A.,&Raychowdhury,A.(2022,June).Yap,T.,Benamira,A.,Bhasin,S.,&Peyrin,T.用SAT方程的可解釋神經網絡”，《加密硬件與嵌入式系統密碼學交易》，第24-53頁，2023年。Perin,G.,Wu,L.,&Picek,S.,層狀可解釋性”，密碼學電子檔案，2022年。https:///about-us/darpa-perspective-on-ai]]]]]

/program/explainable-artificial-intelligence /policy/ai-precision-regulation/ /downloads/cas/4DPJK92W/en/articles/what-it-takes-to-make-ai-safe-and- /en/documents/4020030“可解釋人工智能：基礎知識政策簡報”，英國皇家學會，2019年（https://royal/-/media/policy/projects/explainable-ai/AI-and-interpretability-policy-briefing.pdf)/system/files/documents/2022/03/17/AI-RMF- 1stdraft.pdfhttps:///downloads/cas/GVAGA3JP人工智能國家戰略#AIFORALL，討論稿，印度政府國家發展研究所，2018年月。網絡安全、安全、法律和倫理問題，印度電子和信息技術部（MeitY），府。來源：.in/artificial-intelligence-committees-reports人工智能任務小組，印度商務部和工業部。來源：.in/whats-new/report-task-force-artificial-intelligence .in/psa-prod/publication/Taskforce-Report-CybSec4AI-SETS.pdf.in/raise https://www.gpai.ai/projects/responsible-ai/ https://innovateindia.mygov.in/yuvai/https://responsibleaiforyouth.negd.in/home.in/sites/default/files/2021-02/Responsible-AI- 22022021.pdf.in/sites/default/files/2021-08/Part2-Responsible-AI- 12082021.pdf.in/sites/default/files/2022- 11/Ai_for_All_2022_02112022_0.pdfhttps://nasscom.in/responsible-ai/.in/news/nasscom-launched-the-responsible-ai-hub-and-資源包 https://nasscom.in/knowledge-center/publications/nasscom-ai-adoption-index.in/PressReleasePage.aspx?PRID=1631676https://oecd.ai/en/wonk/an-introduction-to-the-global-partnership-on-ais- 工作于負責任的AI https://www.iitm.ac.in/happenings/press-releases-and-coverages/google-印度理工學院馬德拉斯人工智能研究中心獲得100萬英鎊資助Barnard,P.,Marchetti,N.,DaSilva,L.A.，“通過可解釋人工智能（XAI）現穩健的網絡入侵檢測”，IEEE2022.Marino,D.L.,Wickramasinghe,C.S.,andManic,M.,解釋人工智能的對抗性方法，”載于2018年IEEE工業電子學會第44屆年會2018），第3237-3243頁，2018年。Szczepański,M.,Chora?,M.,Pawlicki,M.Kozik,R.,\"通過混合Oracle-explainer方法實現入侵檢測系統的可解釋性\",2020年國際神經網絡聯合會議，2020年。王明，鄭克，楊陽，王霞，“入侵檢測系統的可解釋機器學習框架”，IEEEss，第8卷，第73127頁至第73141頁，2020年。Senevirathna,Thulitha,BartlomiejSiniarski,MadhusankaLiyanage,and\"網絡入侵檢測中欺騙性的后驗可解釋人工智能（XAI）方法\檢測.\"IEEE第二十一屆消費者通信與網絡會議（CCNC），第107-112頁，2024年。Amarasinghe,K.Manic,M.，“提升用戶對深度神經網絡的信任度”基于入侵檢測系統（“basedintrusiondetectionsystems,”InIECON2018-44thAnnualConfeIEEE（第3262-3268頁），2018年。郭偉，穆迪，徐杰，蘇鵬，王剛，邢欣，“Lemna：解釋基于深度學習的安全應用”，2018年ACMSIGSAC計算機與通信安全會議論文集，第364-379頁，2018李，H.，魏，F.和胡H.，“基于IDS和SDN，“ACM國際安全工作坊論文集”在軟件定義網絡和網絡功能虛擬化，第1316頁，2019年。Aguilar,D.L.,Perez,M.A.M.,Loyola-Gonzalez,O.,Choo,K.K.R.,andBucheli-Susarrey,E.,“Towardsaninterpretableautoencoder:adecisiontree-based自編碼器及其在異常檢測中的應用，《IEEE《可靠的和安全的計算》，2022年。Amarasinghe,K.,Kenney,K.Manic,M.，“網絡基礎異常檢測，”第11屆國際人類系統交互（HSI），第311-317頁，2018年。Hernandes,PauloR.Galego,CamilaP.Floret,KatiaF.CardozoDeAlmeida,ViníciusCamargoDaSilva,Jo?oPauloPapa,andKeltonA.PontaraDaCosta.\"Phishing基于URL的XAI技術檢測\"，IEEE系列會議計算智能（SSCI），第01-06頁，2021年。Gulmezoglu,B.,“基于XAIIEEETransactionsonDependableandSecureComputing，2021.Ribeiro,M.T.,Singh,S.,andGuestrin,C.,\"WhyshouldItrustyou?Explainingthepredictionsofanyclassifier,”Proceedingsofthe22ndACMSIGKDDinternationalconferenceonknow