生成式AI應用程序安全測試和驗證標準世界數字技術學院標準世界數字技術標準WDTAAI-STR-01被指定為WDTA規范。本文件是世界數字技術學院(WDTA)的財產，受國際版權法保護。未經WDTA事先書面許可，禁止使用本文檔，包括復制、修改、分發或重新發布。WDTA不世界數字技術學院(WDTA)致力于成為全球數字技術創新的開拓者，與作為非政府組織的聯合國框架保持一致。WDTA堅持其3s原則-速度，安全，共享-致力于加速數字規范的創建，帶頭通過合作努力，WDTA致力于推動數字技術的發展，以改善社會計劃是WDTA國際計劃的核心部分，旨在解決人工智能系統擴散帶來的復雜挑戰。認識到術在全球范圍內的快速擴展和整合，AISTR本標準文檔提供了一個框架，用于測試和驗證生成式AI應用程序的安全性。該框架涵蓋了AI應用程序生命周期中的關鍵領域，包括基本模型選擇，檢索增強生成設計模式中的嵌入和矢量數據庫，提示執行/推理，代理行為，微調，響應處理和AI應用程序運行時安全性。主要目標是確保AI應用程序在其整個生命周期中按照其預期設計安全運行。通過為AI應用程序堆棧的每一層提供一套測試和驗證標準和指南，重點關注安全性和合規性，本文檔旨在幫助開發人員和組織增強使用llm構建的AI應用程序的安全性和可靠性，減輕潛在的安全風險，提高整體質AISTR計劃代表了我們如何處理AI技術的開發和部署的范式轉變。倡導人工智能系統中的安全、信任和責任，為更道德、安全和公平的數字未來奠定了基礎，在未來，人工智能技術是進步的推動者，而不是不確定性和傷害的來源。生成式AI應用程序安全測試和驗證標準是AI致謝WDTAAISTR工作組聯合主席主要作者道森廣告(OWASP?基礎)審閱者郭建玲(百度)黃靜(科大訊飛)(OpenAI)(亞馬遜)王永霞(騰訊)1生成式AI應用程序安全測試和驗證標準生成式AI應用程序安全測試和驗證標準文檔概述了一個全面的框架，用于測AI應用程序的安全性，特別是那些使用大型語言模型(llm)構建的應用程序。它定義了AI應用程序堆棧各層的測試和驗證范圍(圖1)。將生成的GenAI模型集成到更大的支持AI的系統或下游應用程序中可能會引入安全問題。因此，所有下游AI應用程序都需要安全測試和標準驗雖然本文檔作為初始版本，但其在本次迭代中的主要重點是LLM。但是，重要的是要注意范AI安全測試和驗證協同工作，以確保AI應用程序安全且按預期運行。在可行的情況下，應在整個開發生命周期中采用穩健的方法，使用諸如快速注入，掃描和紅色團隊練習之類的技術來主動識別問題。然而，單獨的測試有局限性，特別是對于第三方組件，測試可能是不可能的或有限的。在這種情況下，聘請專門審計AI治理、流程和程序的外部專家或組織組件的安全性極為重要。徹底審核AI應用程序以檢查所有生命周期部署環境中對下游AI應用程序的徹底檢查可確保遵守安全標準，即使在模型級別評估不充分的如此。具有強大測試實踐的集成保證方法以及對策略，流程和性能的持續驗證，為系統繼續自主學習提供了負責任的AI結果的保證。它們共同提供有關系統優缺點的信息，通2本規范涵蓋基于基本LLM模型構建的下游應用程序的安全測試，但不詳細說明基本LLM模型本身的安全測試一下規范。將來要發布的單獨文檔將涵蓋專門針對基本LLM模型的安全測試基礎模型選擇:在選擇之前，應檢查下游AI應用的候選模型。本節介紹驗證基本模型的合規性、適當的數據使用和API安全性。該文件提供了指導，以確保所選擇的模型符合法律，道德和操作標準，這是確保AI應用程序安全性的關鍵一步。范圍包括嵌入和矢量數據庫:在大多數下游AI應用程序中，這些都是關鍵組件，用于存儲和檢索語言數據塊。本文檔概述了測試數據完整性，質量和匿名化過程的程序，以保護用戶隱私并遵守法規。該規范提供了測試矢量數據庫的機密性、提示和知識檢索與檢索增強生成(RAG):RAG可以顯著提高生成AI應用程序的事實準確性和可靠性，例如大型語言模型。它通過在文本生成期間實時地動態合并從外部源提取的相關的、特定領域的知識來實現這一點。本節將指導有效提示的構建、提示模板的創建和使用以及外部api的集成。它還包括測試矢量數據庫的檢索過程，確保AI應用程序可以準確地訪問和利用相提示執行/推理:文檔詳細介紹了提示執行/推理層中LLMapi的測試過程，包括對緩存機制和驗證過程的測試，以優化性能和準確性。此層還包括用于檢查提示和確保llm不被用于執行未經代理行為:這些是高級LLM應用程序功能。該規范概述了對快速解釋，內存利用率，知識應用，計劃和動作啟動的測試。這包括測試集成到AI應用程序中的工具微調:通常會針對特定的下游AI應用程序對GenAI模型進行微調。本節包括數據隱私測試、基本模型選擇的重新評估和模型部署，以確保3響應處理:對AI的響應、相關性、毒性和倫理考慮進行事實核查測試，以維護AI交互的可信和AI應用程序運行時安全性:運行時安全性涉及對AI應用程序的持續實時監控。它涵蓋數據保護、模型安全、基礎設施安全以及審計跟蹤合規性。這確保了全面的安全方法，保護總體而言，生成式AI應用程序安全測試和驗證標準文檔提供了詳細和結構化的方法來測試AI應用程序堆棧的每一層，確保AI應用程序的所有方面都經過嚴格42.預期受眾本文檔的目標受眾是參與確保生成式AI應用程序的安全性和完整性的專業人員和利益相關AI安全工程師和分析師:主要負責實施和維護規范中概述的安全措施。他們評估AI應用程序的威脅，設計安全架構，并監視系統以預防，檢測和響應安全事件。這些工程師還會考慮偏見和人工智能開發人員、mlop和人工智能工程師:他們是構建、維護和自動化人工智能應用程序工作流程的人。他們使用安全規范來理解并將安全最佳實踐集成到應合規官和監管專家:負責確保AI應用程序符合不斷發展的法律和監管標準的專業人員使用該規數據保護官:確保AI應用程序安全地處理數據，并遵守數據保護法律和政策。安全規范為他們IT和網絡管理員:這些管理員負責AI應用程序的底層基礎架構。這些專業人員將使用安全規范來保護網絡，服務器和其他組件，以防止不良行為者在AI相關風險管理專業人員:評估和管理與人工智能應用相關的風險。安全規范幫助他們識別潛在的安道德審查委員會:負責監督人工智能道德使用的委員會依賴于安全規范，以確保人工智能應用項目經理和產品所有者:這些利益相關者確保AI項目安全高效地交付。安全規范指導他們設置5第三方或外部安全審核員和顧問:由這些專家對AI應用程序的安全狀況進行外部審查。他們使最終用戶或業務利益相關者:AI應用程序的最終用戶或業務利益相關者雖然不直接參與實施安全性，但對這些系統的安全性具有既得利益。了解安全規范可以幫助他們評估AI應用這些小組中的每一個都在確保AI應用程序的安全性方面發揮著關鍵作用，從開發到部署和操3.規范性引用文件下面列出的參考文獻對于應用和理解本文檔至關重要。它們提供了對安全和負責任地開發和部●拜登關于安全、可靠和值得信賴的人工智能的行政命令●NIST值得信賴和負責任的AINISTAI100-2e●MITRE阿特拉斯?(人工智能系統的對抗性威脅景觀)●降低檢索增強生成(RAG)LLM64.術語和定義代理行為:LLM應用程序通過諸如內存利用，知識應用，計劃和執行基于提示的操作來展示代AI應用程序運行時安全:為在操作期間保護AI應用程序而實施的全面安全措施。它包括數據保人工智能治理:人工智能風險的框架、要求、監督和問責。這些結構可以將風險映射到組織環AI響應處理:處理和評估AI響應的準確性、相關性、無毒性、隱私性、保密性和道德一致性。API安全檢查:對與模型接口的API的安全措施進行驗證，如身份驗證、授權和數據加密，以防基本語言模型:基本模型(有時稱為基礎模型)是一種大型語言模型，其原始模型構建者已經使用諸如從人類反饋(RLHF)的強化學習等技術對其進行了一般功能的訓練和微調。這些基本模型(例如OpenAI的GPT-4，Anthropic的Claude3，Google的Gemini1.5，CohereCommaAmazonTitan或Meta的開源LLaMA2)為進一步的特定任務定制奠定了堅實的基礎。通常，開發人員會調整基本模型輸出，以顯示廣泛的語言能力和對下游應用程序中專業用例的適應性。然后，工程師和公司將這些基本模型作為有效開發和部署針對其精確需求和應用程序量身定制的AI解決方案的起點。基本模型消除了從頭開始訓練完整模型的需要，提供了封閉和開源的基礎模型選擇:在考慮AI安全性的情況下選擇合適的基礎模型。選擇涉及評估諸如性能基準，培訓數據質量，潛在偏差，安全程序，潛在有害輸出，預期用例和法規遵從性要求等因素?？煽康哪Ｐ蛠碓矗该鞫龋瑪祿?培訓方法的審核，跨職能審核流程以及遵守行為準則是在負責任地部署llm時維護安全性，合規性和道德標準7緩存:用于存儲AI模型的推斷輸出的技術，以避免在推理過程中重復計算。由于深度神經網絡模型的運行計算成本很高，因此緩存其輸出可以在實時請求期間提供更快的響應時間。典型的解決方案包括緩存聊天機器人的問答對，計算機視覺模型的分類或大型語言緩存驗證:在將AI應用程序的緩存輸出返回給用戶之前，檢查其準確性、相關性和安全性。這可能涉及置信度檢查，語義分析，敏感主題的輸入阻止或人工確認。驗證與緩存一起使用，以數據清理和匿名化:從數據中刪除不準確和不一致之處，并匿名化個人或敏感信息，以維護隱數據使用檢查:確保用于培訓和操作模型的數據是適當的，符合道德規范的，并符合數據保護外部API集成:將外部API集成到LLM應用程序中，以增強功能，例如訪問其他數據源或執行專微調:針對特定任務或數據集調整基于模型的過程，以提高性能，相關性和對數據隱私的合規LLM(大型語言模型):大型語言模型(LLM)是一種在大型文本語料庫上訓練的神經網絡，通過預測下一個單詞或令牌來生成智能文本，從而允許開放式文本生成應用程序，模型合規性檢查:評估所選模型是否符合法律、法規和道德標準。這包括數據隱私法和偏差最小化等考慮因素。請記住，合規性會隨著時間的推移而改變，不要假設它總是給定的。也不要推斷一個供應商對另一個供應商的合規性。模型本身很少經過認證，但它模型注冊表:用于存儲、版本控制和編目機器學習/AI模型和相關元數據(例如，模型卡)的數據庫、存儲庫或系統。模型花園是注冊表的一個精選版本，其中包含提供商的精選模型。它通8提示構建和模板:為LLM創建有效且安全的提示，并開發模板以標準化和提示處理:LLM解釋并處理提示以生成響應的過程。此過程涉及理解提示，訪問相關知識以及RAG，或檢索增強生成:檢索增強生成AI應用程序的事實準確性，如大型語言模型，通過從矢量數據庫中實時提取相關知識來增強它們。在推理期間，檢索器模塊首先使用生成器的內部狀態向量來查詢存儲外部知識(文本、圖像等)的向量數據庫。然后，與生成上下文最相關的檢索到的向量與內部狀態交叉，以產生下一個生成的輸出。這個過程動態地使模型的生成更接近現實，糾正錯誤的假設并減少幻覺內容。這種可擴展的檢索基礎結構在開放式推理期間為生成器提供了相關外部數據的連續供應。這種檢索增強的生成方法抵消了生成器的知識限制和捏造信息的趨勢，從而提高了開放域生成AI應用程序中的事實一致矢量數據庫:矢量數據庫充當地面實況，幫助將知識擴展到訓練時間以外的運行時間，并減少生成AI模型中的幻覺。它們允許將大量的真實世界數據(圖像、文本、分子結構等)存儲為捕獲語義概念和特征的矢量表示。然后，這些矢量數據集在推理過程中充當生成模型的參考，以使其輸出更接近現實，并避免制造錯誤的細節(幻覺)。從生成模型輸向量匹配提供了一種檢測和過濾超分辨率內容的自動化方法。這個數據集條件對于生成AI的安全關鍵應用至關重要，如藥物發現和內容創建。優化的矢量搜索和可擴展性使PGvector，Milvus，Weaviate和Pinecone等數據庫非常適合為現實世界中部署的生成AI應用程序啟用此類95.AI應用安全和驗證標準要確保AI應用程序的安全性和完整性，需要對AI應用程序堆棧中的所有組件進行結構化和嚴格的測試。全面的測試制度可以驗證下游AI應用程序的每個方面(從基礎模型選擇到運行時安全性)是否按預期安全運行，并且沒有漏洞。細致的測試規范設定了明確的要求，方法和預期結果，從而實現了透明的評估。本節提供了AI應用程序體系結構每一層的詳細測5.1基本模型選擇測試標準基礎模型選擇是確保AI應用程序安全性和合規性的關鍵方面。選擇涉及對開源和閉源模型的不同考慮，認識到雖然閉源模型可能有更容易獲得的合規性文檔，但開源模型可能缺乏已建立需要注意的是，基礎模型的測試和驗證是一個持續的過程，尤其是在上游基礎情況下。隨著基礎模型的發展和更新，重新驗證模型以確保它仍然滿足所需的安全性和合規性標準至關重要。這種持續的驗證過程有助于維護AI應用程序的完整性和可靠性，即使5.1.1模型合規性和上下文測試檢查模型合規性涉及每種模型類型的不同方法，并考慮其獨特的特要求:基于人工智能的模型，無論是開源還是閉源，都符合法律、監方法:對于閉源模型，根據相關法律、行業法規和道德準則，對供應商提供的可用合規性文檔進行詳細審查。為確保合規性，應審查和評估模型的培訓數據質量(符合目的作參數和社區反饋。對已關閉模型的權限和訪問權限可能會限制此評估。對于所有模型，模型卡1和數據報表等工具2為模型和數據文檔提供基準。這可能包括與法律和行業專家進行磋商，以解釋缺乏正式文件的領域的合規性。測試一下模型在特定任務上的準確性、相關性、一致性和性能是否滿足預定要求。使用預設場景和數據集對模型進行基準測試，以衡量其性能和輸出有用于測試的資源，但它們的效用可能會隨著時間的推移而變化和降低。對于封閉和開源模型，都有許多公開可用的即時安全測試結果。由于它們使用不同的測試一下數據集，因此這些安全評估工作可能會為同一模型產生不同的結果。盡管如此，咨詢多個公開可用的結果可以指出LLM更有可能表現出哪種類型的有害行為。隨著新的故障模型和攻擊的發現，基準也會隨著時間的推移而變化;考慮并報告用于評估模型的此外，識別并列出來自MITREAtlas等來源的已知漏洞(?)3、AV預期結果:基礎模型完全滿足所有法律、法規、安全和道德要求，無論其來源如何。對于閉源模型，任何不合規的領域都被明確標識，對于開源模型，則會2.檢查模型卡中存在每個模型的上下文元數據，訓練和微調的血統。模型卡提供每1./doi/10.1145/3287560.32875962./數據-報表//34https://avidml。組織/5https://airisk.io/6https://incidentdatabase.ai/要求:無論是開源還是閉源，AI模型都要有模型卡，詳細說明模型的來源、數據敏感度、訓練方法:對所有模型(包括托管模型)的可用模型卡進行詳細審查。確保模型卡具有模型沿襲和所有權的詳細信息。模型卡應該能夠提供用于訓練和微調的數據集(如果適用)。對于閉源模型，維護和管理模型卡作為模型管理員，所有權，預期結果:無論其來源如何，基本模型都具有模型應5.1.2數據使用檢查測試方法:對敏感數據和個人數據的用戶提示實施數據匿名化或偽匿名化技術。進行定期審核，以確保有效地掩蓋個人標識符。此外，請確保存儲的提示和輸出不超過策略指定的內容。這可以限制存儲的內容和存儲時間的長度。進行對抗性測試以檢查數據是否泄漏，使用方法(例如，預期結果:在不泄露個人身份的情況下處理用戶提示，確保隱私并遵守數據保護法。如果需2.在處理和使用數據時保持道德完整性和法律方法:根據道德標準和法律要求制定數據使用指南。執行常規合規性檢查和審核，以監控對這預期結果:來自用戶提示、微調訓練數據和矢量數據庫的數據在道德和法律上使用，沒有濫用方法:獲得用戶同意，確保數據透明度，并為用戶提供對其數據的控制。數據最小化僅收集必要的個人數據，并避免過度收集。通過技術手段最大限度地減少個人數據的使用和存儲時間。根據數據的敏感性采取差異化的隱私保護措施。定期對員工進行數據保護法培訓，并進行合規性審計。實施響應訪問信息請求和被遺忘請預期結果:通過審計結果和用戶反饋，完全遵守GDPR或CCPA等4.使用數據沿襲和元數據的數據起源過直接或間接訪問數據集的數據源、數據敏感性、合規方法:對數據卡和數據集進行審查。驗證每個數據集，尤其是那些用于訓集，都有一個數據卡。確保數據卡具有數據集沿襲和維護和管理數據卡。數據卡中的集合和內容將隨著數據管理員、所預期結果:無論其來源如何，基本模型都具有模型應要求:AI應用程序開發人員與基礎模型提供商之間的數據使用協議。這包括以證方法:對協議進行審核，以驗證各方均已正確識別，并且協議的范圍(包括特定的基礎模型或預期結果:協議準確地確定了所有各方并概述了范圍，對所涉及的模型或數據集的模糊性較方法:對協議進行詳細分析，以確保明確說明和理解使用權和限制，包括對修改和重新分配的預期結果:對使用權有清晰的理解和文檔記錄，確保明確定義并遵守許可類型(排他性或非排方法:對處理用戶提示、精細圖靈訓練數據和矢量數據庫內容的流程進行回顧。檢查數據匿名預期結果:數據處理方法完全符合協議和法律標準，并采用安全和方法:確認協議清楚地概述了有關基礎模型、微調模型、輸入數據、微調數據和輸出數據的知識產權。檢查實踐中的合規性。此外，請查看模型提供者授予其用戶的任何賠償條款。通過審預期結果:尊重知識產權，并為使用、修改和重新分配模型輸出提供明確的指導方針。任何賠方法:對保密和保密條款的執行情況進行評估，尤其是對預期結果:嚴格遵守保密義務，根據組織關于處理公司機密信息和重大非公開信息的政策保護方法:審查組織處理與AI系統相關的責任和擔保的方法。評估組織為理解和實施相關術語，應對潛在的模型故障或數據泄露以及遵守該領域適用的標準和法規而做出預期結果:本組織承諾盡其所能妥善管理負債和履行擔保，并制定旨在處理可能出現的任何問題的政策和程序。我們努力遵守相關的行業標準、最佳做法和法律要求，以分配責任和補救失敗或違規行為，同時認識到完美的執行可能方法:對協議的終止和續約條件進行審查，包括預期結果:定義明確的終止和續約條款，任何一方都可以遵循方法:在出現分歧或違約的情況下，檢查爭議解決條款并評估參與概方法:明確規定和理解管轄法律和管轄權，并檢查是否與開發或使用AI應用程序的當地法律有預期結果:所有相關方簽字的具有法律約束力的協議，5.1.3基礎模型推理API安全測試本節概述了用于全面評估客戶端應用程序如何與第三方模型推理API集成的特定測試規范。當應用程序與外部API交互時，這些測試至關重要，需要采用與傳統API測試不同的方法。本節著重于從客戶端應用程序的角度進行測試，這與5.4.1節中概述的由API提供者進行的測試不同。這種區別至關重要，因為我們正在處理將使用第三方推理api的客戶端應用程序。為此用為了確保采用全面和結構化的方法來測試與第三方模型推理API集成的客戶端應用程序的安全要求:必須對API的所有請求進行身份驗證和授權，以確?？蛻舳藢φ埱蟮馁Y源具有權限和適方法:通過模擬各種身份驗證場景，測試一下協議實現預期結果:客戶端必須在請求標頭中包含有效的身份驗證令牌，通常作為承載令牌。API應使●403如果經過身份驗證的客戶端沒有執行提供清晰簡潔的錯誤消息，以指示特定的授權問題，例如缺要求:必須在所有狀態下應用加密:傳輸中數據傳輸子要求:對通過網絡傳輸的數據使用強大的加密協議，如TLS1.2或更高版本，以確保安全的機密性和完整性。實施完美的前向保密，以保護過去的加密通信免受解密，即使長期密鑰受到損害。在傳輸之前，必須對敏感數據進行加密，以確保在到達目方法:對基本模型推理API端點進行全面的漏洞評估和滲透測試，以評估其抵御潛在攻擊的能力。確保其加密配置和加密協議是健壯和不可穿透的。持續監控進出端點的網絡流量，驗證嚴格加密標準的執行情況和安全協議的采用情況，例如最新的TLS版本，優先考慮保持完美的前預期結果:使用符合當前加密標準的最新安全協議對所有傳輸的數據進行安全加密。加密密鑰應在每個會話中動態更改，以防止在將來的密鑰受到損數據靜態子要求:采用多層安全方法對敏感數據進行去標識，包括標記化、匿名化和假名化。應采用強大的加密標準，如AES-256或等效標準，以安全地存儲敏感數據，其中去識別敏感數據或個人信息是不可行的。加密密鑰應與加密數據分開存儲，以增強安全性。必須實施嚴格的對于令牌化，請評估令牌生成安全性和隨機性。評估令牌字典訪問安全性。驗證所有標記化操作的日志記錄/審核。評估令牌數據映射的加密和訪問控制。測試一下標記化數據使用中的數對于匿名化，驗證不可逆的匿名化和無法重新識別數據。檢查匿名數據是否用于預期目的。對具有風格代表性的數據進行風險分析，以進行潛在的重新識別。回顧使用的匿名技術及其有效對于假名化，請確保假名的唯一性、安全性以及與源數據的分離。分析考慮數據相關性的重新數據應在各種情況下得到充分保護，而不會損害其在合法業務流程中的實用性。根據數據敏感性，從匿名數據中重新識別個人的風險應理想地介于0.04%和0.1%之間或更低。只有經過授權的個人才能訪問令牌或假名并將其鏈接到原始數據，并進行從匿名或假名數據中重新識別個人實際上是不可能的，從數據在用子要求:對內存中處理的敏感數據實施加密。應用程序必須使用安全編碼實踐來防止內存轉儲和側信道攻擊。應采用最小特權原則來限制在處理過程中對敏感數據的訪問。應考慮提供機密計算聯盟定義的硬件信任根的機密計算硬方法:通過評估應用程序和系統來驗證內存加密的有效性，以確認它們在內存中有效地加密了評估應用程序如何處理內存中的敏感數據，重點是防止通過內存轉儲泄漏和測試一下是否存在側信道攻擊的漏洞，檢查如何處理數據并將其存儲在內存中，以識別潛在的根據最小特權原則，審查用戶和進程訪問權限，以確保它們是最小的和必要的，以降低未經授可信執行環境(tee)提供安全執行環境，在處理期間將敏感數據隔離在受保護的CPU飛地中。證明是機密計算的關鍵部分，允許從信任根(RoT)預期結果:在處理敏感數據時，確保數據保持加密、假名、匿名和安全。只有必要的用戶和進程才能訪問正在使用的敏感數據，并且必須嚴格控制和記錄此類訪問。機密計算和TEE驗證結方法:評估應用程序處理和清理各種潛在攻擊向量的能力，包括超出通常用例參數的輸入。執行模糊測試，該測試應涵蓋API接口的所有功能點，包括各種HTTP方法(例如GET，POST，PUT，DELETE等)。執行滲透和安全漏洞測試，例如SQL注入，跨站點腳本(XSS)，命令注預期結果:應用程序有效地過濾和清理輸入，防止注入，不相關的輸入和其他數據操作攻擊。方法:信息泄露時，觸發錯誤條件，分析日志。如果可能，在日志存儲之前自動刪除敏感信預期結果:安全地處理錯誤而不泄漏敏感數據，并方法:在變化的負載條件下測試一下應用程序，以評估是否符合速率預期結果:應用程序遵守速率限制并有效管要求:通過使用秘密管理方法將API密鑰和憑證存儲在安全保管庫中來安全地管理它們。API密鑰和機密必須定期輪換，不得超過180天，或在出現潛在危害跡象時立即輪換。輪換過程必須方法:通過實施安全保管庫來存儲和檢索API密鑰和憑證，確保它們不會暴露或泄露。觀察并驗證安全密鑰管理流程，包括但不限于密鑰生成、密鑰輪換、禁用舊密鑰、密鑰銷毀和處理密鑰材料安全。采訪負責人員并審查培訓材料，以確認相關團隊對安全API密鑰輪換和機密管理流程的認識和理解。通過嘗試使用舊的/已撤銷的API密鑰和機密訪問資源并驗證訪問是否被適當預期結果:安全地存儲API密鑰和憑證，降低未經授權訪問要求:用于API通信的最新且安全的庫和依賴項。方法:進行漏洞掃描在過時和不推薦使用的組件。預期結果:所有組件都是最新的，沒有方法:根據API的安全協議查看和測試一下應用程預期結果:應用程序符合API的所有指要求:對異常API活動的有效監控和強大方法:為intAPI輸入和輸出確定用例的正常API行為基線，包括相關性、典型請求率、響應大小和模式。此基線有助于檢測異常，尤其是由審核或用例篩選api觸發的異常。保留詳細的日預期效果:應用程序符合相關數據保護法規，有預期結果:對與API交互相關的安全問題進行持續5.2嵌入和矢量數據庫對于AI應用程序的嵌入和矢量數據庫組件，測試5.2.1數據清理和匿名測試通過驗證其清潔度和有效的匿名化來確保用于創建嵌入的數據的完要求:根據用例，確保用于創建嵌入的數據被有效地清理和匿名化，特別是對于面向公眾的應方法:通過實施測試來評估數據清理過程的徹底性，確保不相關、冗余或錯誤的數據被識別并糾正或刪除。此外，根據GDPR等隱私標準，測試一下匿名化流程以確認個人或敏感信息被有效地隱藏或刪除。這可能涉及審查匿名化算法、技預期結果:嵌入過程中使用的數據干凈，相關且無錯誤。匿名化過程可有效保護個人和敏感信5.2.2Vector數據庫安全測試通過實施和驗證高級加密、用于數據訪問的RBAC、強大的密鑰管理、全面的IAM策略和其他要求:對高級加密技術(包括端到端加密)的使用情況進行評估，以保護靜態和傳輸中的數據。方法:對使用中的加密協議和加密標準進行全面評估，分析其在保護預期結果:通過采用高級加密方法并在傳輸，使用和存儲過程中保護數據來要求:從創建到停用，檢查加密密鑰的整個生命周期，以確保遵方法:對密鑰發放、更新、撤銷和銷毀過程進行測試一下，評估其穩健性和對密鑰管理標準的預期結果:安全的密鑰管理生命周期，有效保護加密密鑰，降低未經需求:針對不同的用戶角色和場景，實現和測試一下精細的身份和訪問管理(IAM)策略，為不方法:基于場景進行測試，驗證每個用戶角色只能根據定義的權限訪預期結果:對訪問權限進行精細控制，確保用戶只能執行授權操作，從要求:經常進行全面的安全審計，超出標準檢查的范圍，包括評估是否符合國際標準和行業特方法:深入執行審計、漏洞評估和合規性檢查，以確保符合相預期結果:在遵守行業最佳實踐和合規性要求的情況下，要求:對零信任安全模型的實現進行評估，在該模型中，信任永遠不會被方法:在零信任環境中評估矢量數據庫的部署，驗證是否基于身份和上下預期結果:通過零信任模型增強安全性，減少攻擊面并確要求:實時實施和評估監控系統和異常檢測算法，以實時識別和響應異常方法:通過模擬安全事件并監控其檢測和響應，測試一下實時監控工具和預期結果:對安全威脅的早期檢測和快速響應，最大限度地減少潛在方法:對災難恢復和備份系統進行測試一下，使其能夠在發生破壞或數據預期結果:高效可靠的災難恢復和數據備份流程，在發生事故時最大限度地要求:評估矢量數據庫中的數據訪問是否符合基方法:對數據訪問的RBAC進行全面評估。使用不同的角色訪問數據，并確保正確的角色只能5.3使用RAG進行提示和知識檢索AI應用程序的“使用RAG(檢索增強生成)進行提示和知識檢索”階段的測試規范包含以下組件:5.3.1及時施工測試要求:請確保為RAG模型構建的提示有效且準確地表示方法:為了清晰、相關和完整，測試一下快速構建過程。這涉及評估各種提示，以確保它們有效地將預期的請求傳達給RAG模型，并且模型的響應與提示的意圖一致。這些測試可能包括證明此要求可能需要大量資源或需要專業知識，具體取決于下游AI應用程序。因需要一系列方法來證明這一要求。例如，有78和第三方公司的公共存儲庫可以幫助進行需求演預期結果:構造良好的提示，明確無誤，并有效地指導RAG模型提供相2.驗證RAG模型的輸出是否與提供的用7/microsoft/promptbench8/promptfoo/promptfoo方法:為不同的用例測試一下不同的提示，并查看輸出在清晰度和相關性方面是否與預期輸出證明此要求可能需要大量資源或需要專業知識，具體取決于下游AI應用程序。因需要一系列方法來證明這一要求。例如，有預期結果:GenerativeAI輸出可以提供與用例無關的結果。確保輸出一致有助于確保輸出的可用方法:將模型的響應測試一下到各種精心設計的潛在惡意輸入。這涉及模擬可能利用輸入處理中的漏洞的場景。測試一下應包括直接和間接即時注射，如OWASPTop10為LLM應用程序記預期結果:模型始終安全地處理精心設計的輸入，而不會執行意外操作或顯示易受攻擊的行方法:在可能泄露敏感或機密信息的情況下評估模型的輸出。這包括測試可能通過提示工程，越獄以及各種策略和技術觸發此類披露的場景?；仡檶W術文獻和公開的獨立測試一下結果，評估信息泄漏。如果沒有公開的獨立測試，組織應考慮是否可以選預期結果:模型始終避免在其輸出中泄露要求:采用多層方法，確保聊天機器人保持在其域內。這種方法需要強大的故障安全機制，完方法:通過提供與其指定域無關的有意查詢來測試一下聊天機器人，評估其識別和管理此類情況的能力。模擬具有異常和噪聲的真實數據場景，確保聊天機器人提供準確可靠的信息。進行A/B測試，將聊天機器人的性能與對照組進行比較，為其在特定領域的有效性提供有價值的見預期結果:聊天機器人展示了識別其領域之外的查詢的非凡能力，禮貌地承認它們的無關性或引導對話回到正軌。該系統在模擬的真實世界場景中可靠地提取了準確的特定領域數據，不受不相關或嘈雜信息的影響。在A/B測試期間，聊天機器人的性能超出了預期，特別是在響應質量、用戶滿意度和指定領域內的相關性方面。它努力堅持實施的故障安全機制，護欄和專門的算法，確保強大和安全的用戶體驗。用戶對聊天機器人的準確和有用的響應表示很高的滿意5.3.2提示模板測試提示模板是預定義的結構或準則，用于生成提示，以促進來自模型的特定類型的響應。這些模板旨在通過提供一致且優化的方式來表達查詢或命令，從而簡化與模型的交互，確保模型盡可能準確地理解用戶的意圖。提示模板的設計可以顯著影響模型響應的有效性和效率，使其對于要求:請確保系統對提示模板的使用符合總體訪問控制策略，防止模板被利用來規避安全機制方法:進行系統級測試，以評估提示模板如何被不同角色/用戶訪問以及如何在系統的安全和訪問控制框架的上下文中使用。這涉及驗證系統在允許訪問特定模板限，尤其是那些可能觸發敏感操作或訪問特權信息的功能。測試應模擬應調查他們是否可以限制的方式使用模板，查看系統在處理模板之前是否預期結果:系統確保與提示模板的所有交互都受到適當的訪問控制。用戶只能以符合其權限的方式使用模板，而不能使用模板繞過系統級訪問限制。拒絕用戶訪問或使用超出其授權級別的模板的嘗試，這表明系統有效實施了與提示模板要求:請確保提示模板具有強大的功能，以防止可能導致意外或不適當輸出的誤解和誤用。模板應清楚地指導用戶，減少利用歧義或導致不良系方法:對模板進行徹底的審查和用戶測試(涵蓋所有相關的用戶角色)，以評估其清晰度和誤解的可能性。這包括與各種用戶一起評估模板，包括那些打算測試一目標是識別并糾正用戶可能(有意或無意)利用的任何歧義或弱點，以生成意外，不適當或超出模板預期用途范圍的響應。測試還應評估模板對輸入格式和內預期結果:模板有效地指導用戶提供與模板預期用途一致的輸入，同時將誤解或誤用的風險降至最低。這些模板的設計和說明明顯減輕了對抗性操縱的可能性，確保系統的響應保持在預期和適當的范圍內。用戶輸入和系統輸出是高度一致的，反映了模板在以安全和預期的方式指導實現動態訪問控制。應用程序必須根據上下文(包括時間、位置、設備類型和網絡安全狀況)評估用戶請求。應用程序必須根據上下文動態調整用戶權限，例如限制在工作時間以外對敏感利用基于屬性的訪問控制(ABAC)。應用程序必須使用ABAC來管理基于各種屬性的用戶訪問，例如用戶角色和數據分類。應用程序必須將ABAC與企業身確保數據集成和訪問驗證。應用程序必須安全地與外部系統集成，驗證API密鑰，并使用作用域訪問令牌來限制對授權數據的訪問。應用程序必須將從集成平臺檢索到的訪問權限與用戶的實現上下文響應過濾。應用程序必須實現基于用戶上下文和權限過濾搜索結果的邏輯。應序必須根據用戶的角色或上下文動態修改響應，以排除方法:代碼審查:審查應用程序代碼，以確保存在用于動態訪問控制、ABAC實現和數據訪問驗動態分析:必須使用安全測試工具來動態分析應用程序在運行時的行為。應模擬具有不同上下滲透測試:必須進行滲透測試，以嘗試通過各種技術對敏感數據進行未經授權的訪問，以驗證預期結果:始終確保敏感信息免受未經授權的訪問和泄漏。用戶應該能夠僅訪問其特定上下文和角色所需的數據，從而在保持運營效率的同時增強安全性。系統必須適應各種用戶環境，動態應用適當的訪問控制和過濾器。系統必須遵守相關的數據保護法律和標準，最大限度地降低5.3.3外部API集成測試(函數調用、插件)外部API集成是指將LLM應用程序與外部API連接以擴展其功能并從其他系統訪問數據或服務確定外部api和RAG模型之間集成的可靠性和安全性，確保無縫連接、準確的數據交換和強大要求:確保外部api與RAG和LLM模型的可靠和安全集成，包括管理用于方法:對API連接、數據交換、錯誤處理和安全性進行測試。這包括測試正確的函數調用，數據傳輸準確性，強大的錯誤和異常處理以及對安全協議(例如身份驗證和數據加密)的合規預期結果:將外部api與RAG和LLM模型安全地集成，展示可靠和安全的數據交換，并在不影響系統性能或安全性的情況下有效地處理錯誤。作為客戶端或API提供者，請參閱第5.4.1節和第5.3.4從矢量數據庫測試中檢索為了保證RAG系統準確、有效和相關地從矢量數據庫檢索信息方法:對檢索過程的相關性、準確性和速度進行測試一下。這涉及用各種輸入查詢矢量數據庫，并評估檢索到的信息的相關性和正確性。組織還可以評估其他性能預期結果:RAG系統有效地從矢量數據庫中檢索相關和準確的信息，有助于對提示做出準確和5.4即時執行/推理AI應用程序中“提示執行/推理”階段的測試規范，主要側重于LLMapi以及緩存和驗證機制，5.41LLM應用程序api測試如果您將LLM應用程序提供商API提供給第三方，則需要求身份驗證:OAuth2.0、SAML2.0和OpenIDConnect等身份驗證協議的正確實現，以及API密鑰和令牌的安全處理。使用基于令牌的身份驗證機制(如JSONWeb令牌(JWT))在無狀態環方法:通過模擬各種身份驗證場景，測試一下協議實現和密鑰/令牌管理。如果使用JWT令牌，請通過驗證簽名，檢查頒發者并確保受眾與預期收件人匹配來驗證預期結果:身份驗證過程成功，敏感憑據要求授權:根據用戶的角色和權限實施全面的訪問控制，以管理和限制用戶操作。這些措施包授權矩陣必須以結構化和機器可讀的格式記錄，同時易于被人類理解以進行更新。還應采用分層方法設計，以定義授權的各種組合，這些組合應適用于應用程序的不同技術平臺和體系結構方法:使用正確分配和實施的權限驗證基于角色的訪問控制(RBAC)或基于屬性的訪問控制(ABAC)系統。組織必須創建一組廣泛的集成測試，以驗證所測試應用程序的授權矩陣的完整性和適用性。這些測試應直接利用形式化矩陣作為其輸入。任何測試一下失敗實例都必須突出預期結果:訪問受控，確保只有授權的API用戶/客戶端才能根據允許的范圍訪問或修改數據，要求:對傳輸中和靜態的所有敏感數據采用高級加密，包括使用行業標準加密協議和定期更新預期結果:數據的強大加密，大大降低了未經授權的數據要求:通過驗證所有輸入數據并使用安全的數據庫訪問方法，保護API免受SQL、NoSQL和命預期結果:注入漏洞的有效緩解，確保數據預期結果:彈性的API架構從設計階段就將安全風險和要求:系統地配置并定期審核所有安全設置，使所有系統和軟件預期結果:配置良好的API環境，最大限度地降低由于配置錯要求:實現強大的身份驗證系統，包括多因素身份驗證和安全密碼策略，方法:通過部署多因素身份驗證，實施安全密碼實踐，并監控要求:對API處理的軟件和數據的完整性進行定期驗證，防止未經授權的代碼更要求:實現強大的日志記錄和監控系統，可以實時檢測、提醒和響應方法:針對異常模式或安全事件建立全面的要求:通過嚴格驗證所有用戶提供的輸入，尤其是服務器端請求中使用的方法:嚴格執行輸入驗證和清理程序，重點預期結果:SSRF風險的有效緩解，保護API免受未經授權5.4.2緩存和驗證測試評估緩存機制在提高響應時間方面的效率，以及驗證過程在確保LLMs響應的準確性和適當性要求:在提高響應時間和驗證過程的健壯性方面驗證緩存機制的有效性，以確保響應的準確方法:通過評估緩存系統對重復查詢的響應時間的影響來測試一下緩存系統。這包括評估高速緩存命中率、高速緩存中的數據完整性以及高速緩存更新的效率。對于驗證測試，請執行檢查以確保LLM的響應準確，相關且沒有錯誤或不適當的內容。這可能涉及自動驗證檢查和手動預期結果:緩存機制可顯著提高頻繁查詢的響應時間，而不會影響數據完整性。驗證過程有效地確保LLM響應的準確性和適當性，最大限度地減5.5代理行為人工智能代理是一個復雜的軟件系統，它根據預定義的目標或對特定輸入的響應自動執行任務。其體系結構的核心是不同的組件，包括提示機制，通過指令或問題激活代理;內存模塊，致力于存儲過去對話的詳細信息，以通知上下文相關的響應;以及一個單獨的知識庫，代理用于準確理解世界并與世界進行交互的最新信息。此外，戰略規劃和反思模塊包含用于決策的算法，使代理能夠通過一組工具評估選項，預測盡管人工智能代理技術發展迅速，但其開發的通用標準仍未確定，這促進了持續創新的前景。在這個不斷發展的領域中，安全的重要性怎么強調都不為過。隨著人工智能代理變得越來越復雜，并越來越多地融入日常生活的各個方面，確保其抵御威脅和漏洞的能力至關重要，強調在人工智能代理開發過程中必須采取強有力的安全措施，以保持人工智能應用中的“代理行為”測試規范可以詳細描述如下，涵蓋了提示、記憶、知識、計5.5.1快速響應測試方法:對AIagent理解和響應各種提示的能力進行測試一下，評估響應的清晰度、相關預期結果:AIagent始終能夠正確解釋提示，并提供連貫、相關且上下要求:請確保AI代理沒有采取自主操作，這可能是不允許的。它還要求在采取任何可能導致安方法:通常AI代理具有很高的權限。測試一下AI代理訪問和采取可能不允許的自主操作的能力。確保代理沒有訪問位置、文件或采取可能是敵對的或被對手使用的操作。還要確保人工智能代理在采取行動之前征求人類的批準，如果人類不預期結果:人工智能代理在采取任何行動之前不斷要求人類5.5.2內存利用率測試驗證AI是否熟練使用其內存來響應提示和執行任務，確保準確調用和應要求:在響應提示和執行任務時，驗證AI代理有方法:通過評估AI如何將先前學習或提供的信息整合到其響應和動作中，來測試一下AI的記憶預期結果:人工智能展示了對記憶的有效利用，在其響應和決策中準確地回憶和利用相關的過5.5.3知識應用測試為了確定人工智能有效利用其知識庫(在大多數情況下，知識庫由矢量數據庫、圖形數據庫甚要求:在響應和行動中確保AI能夠有效方法:通過呈現需要利用其存儲信息的場景或查詢來評估AI對其知識庫的使用。評估應側重于預期結果:人工智能有效地應用其知識庫，根據其積累的信息提供準確和深5.5.4規劃能力測試評估人工智能在規劃和執行復雜任務方面的熟練程度，重點是其戰略思維和方法:通過呈現需要行動或決策步驟的任務或場景來評估AI的規劃能力。這包括評估人工智能預期結果:人工智能展示了強大的規劃能力，為各種場景制定和執行有效的5.5.5。動作執行測試確保人工智能有效和適當地執行行動的能力，重點是各種場景的準確方法:在模擬環境中或通過預定義的任務測試一下AI執行操作。重點應該放在AI采取的行動的預期結果:AI始終正確，高效，適當地執行操作，以響應5.5.6工具利用率測試確認AI在集成和利用可用工具方面的有效性，從而提高其在任務執行和快速響應方面的性能方法:在執行任務或響應提示時，評估AI對各種工具(例如數據庫，軟件庫或硬件設備)的集成和使用。這包括測試AI利用這些工具來提高預期結果:人工智能成功地集成和利用了各種工具，在其響應和行動中展示了增強的性能和能5.5.7過度的機構測試嚴格評估和規范代理人執行的行動范圍，確保它們是平衡的，不會要求:對代理人采取的行動范圍進行分析和限制基于場景的測試:開發廣泛的測試一下場景，涵蓋各種決策情況，包括邊緣案例和潛在的道德對抗性測試:采用模糊測試，輸入操作和故意嘗試“破壞”系統等技術，以識別AI代理決策過程模擬測試:創建真實環境的詳細模擬，以測試一下AI代理在現實條件下的決策能力。監視代理訪問控制測試:實施并徹底測試一下訪問控制機制，以確保只有授權用戶才能與AI代理的決策過程進行交互或修改AI代理的決策過程。這包括測試正確的身份驗證，授權和審核止未經授權的訪問或篡改?；谧钚√貦嘣瓌t，只給人工智能代理有限的系統和數據訪問權限是至關重要的。這意味著授予代理執行其預期功能所需的最低訪問級別，僅此而已。通過限制代理對敏感信息和關鍵系統的訪問，我們可以減輕與受損或故障AI代理相關的潛在風險格測試此有限訪問方法，以確保代理不會超出其預期權限或獲得對受保護資源的未經授權的訪問權限。應定期進行審核和審查，以驗證訪問控制是否仍然有效，并且隨著AI代理的Human-in-the-loop測試:讓人類專家參與測試過程，對AI代理的決策提供監督、指導和反饋。這種協作有助于確保代理的行為與人類的判斷保持一致，并且可持續監控和評估:實施機制，持續監控和評估部署后AI代理的決策過程。根據既定的指標、基準和人為反饋，定期評估代理的績效，以識別任何偏預期結果:代理人表現出平衡和受控的代理，避免5.6微調人工智能應用中“微調”的測試規范，側重于數據隱私檢查、基礎模型選擇、模型部署和訓練5.6.1數據隱私檢查測試為了確保用于微調AI模型的數據嚴格遵守隱私和數據保護法規，確保道德采購和適當的匿名要求:用于微調的數據應確保尊重隱私并符合相在微調的背景下，對數據收集、處理和存儲實踐進行全面審查。這包括驗證遵守隱私法(如GDPR或HIPAA)，確保在需要時對檢查差異隱私(DP)是否用于訓練數據隱私:DP是一種在共享有關一組個人的信息時提供隱私的方法，方法是描述組內的模式，同時保留有關特定個人的信息。它是通過對不改變感興統計數據的單個數據進行任意小的更改來完成的。因此，數據不能用來推斷任何個人。如果使/nistpubs/SpecialPublications/NIST.SP.800-226.Ipd.pdf預期結果:微調過程中使用的數據完全符合隱私法規，經過適當的匿名或假名處理，并符合道5.6.2用于微調的基本模型選擇測試為了確定所選的基礎模型與特定應用和微調要求最佳匹配，如文檔第5.1節所述，確保其性能要求:針對特定應用和微調過程，確認所選的基礎模型是最合適的。另請參閱本文檔中的5.1方法:對基礎模型的性能、對目標領域的適用性以及有效整合新數據的能力進行評估。這可以包括針對特定性能指標對模型進行基準測試，并評估其對微調期間引預期結果:選定的基本模型展示了與微調目標的高度兼容性，顯示了調優后的顯著性能改進和5.6.3用于微調的基本模型存儲測試要求:使用適當的訪問權限確認任何經過微調的模型都已正確存儲。使用正確的模型卡適當地方法:基于模型被微調的數據來評估微調的模型訪問。確保對模型的特定敏感度沒有權限的用戶在使用較高敏感度數據對模型進行微調后無法訪問該模型。檢查模型卡是否具有正確的模型預期結果:選定的基本模型展示了與微調目標的高度兼容性，顯示了調優后的顯著性能改進和5.6.4訓練數據中毒測試為了確保訓練數據的完整性，檢測并防止篡改、偏差或損壞方法:檢查訓練數據的完整性，尋找篡改的跡象，插入偏見，預期結果:保證訓練數據無篡改和偏差，保證模型5.6.5微調后的模型部署測試驗證經過微調的模型在生產環境中高效、安全地運行并有效擴展，從而保持高性能和健壯性，要求:確保微調后的模型在生產環境中有效且安全地執行，并且不會暴露機密，敏感或專有數方法:在微調后測試一下部署的模型的性能、可伸縮性和安全性，并適當控制可能誘使模型暴露機密、敏感或專有數據的輸入請求。這涉及評估模型的響應準確性，延遲，高負載場景預期結果:經過微調的模型在生產中保持高性能和準確性，在變化的負載下有效擴展，并針對5.7響應處理AI應用程序中“響應處理”的測試規范，重點是基礎或事實檢查，相關性檢查，毒性檢查和道5.7.1接地或事實檢查測試方法:進行測試以驗證響應的事實準確性。這涉及將AI響應與可靠的數據源或已建立的事實進預期結果:人工智能始終提供事實準確和可驗證的響應，展要求:為用戶或其他系統建立和測試一下反饋系統，以報告AI生成內容的問題，促進持續改評估反饋機制在收集用戶或系統報告問題方面的有效性。測試一下分評估AI應用程序對反饋的響應能力及其迭代增強確保AI應用程序對反饋做出響應，并在生成的內5.7.2相關性檢查測試確認AI的響應始終與給定的提示或查詢相方法:通過將AI響應與提示的上下文和內容進行比較來評估AI響應的相關性。這包括評估各種預期結果:AI的響應始終與提示相關，表明對查詢的上下文和5.7.3毒性檢查測試為了保證AI的回復沒有有毒、冒犯性或不恰當的內容，堅要求:請確保AI的回復不包含有毒、令人反感方法:進行測試，以識別和測量AI響應中是否存在有毒或不恰當的語言。這可以涉及使用預定根據特定的下游AI應用程序，證明此要求可能需要大量資源或需要專業知識。因需要一系列方法來證明這一要求。例如，有公共資源和第三方公司可以幫助進行需求演示。什么是有毒的，令人反感的或不合適的是高度依賴于上下文的，并且會根據操作環境而有所不同。評估人員應在測試過程中考預期結果:AI應用程序始終避免生成有毒或不適當的內容，保持高標準的對5.7.4道德檢查測試確保AI的回應在道德上是合理的，沒有有害的偏見或刻板印象，并且不認可不道德的做法，要求:確保AI的回應符合道德準則，不會助長有害的偏方法:對人工智能對道德誠信的反應進行評估，檢查偏見、刻板印象或促進不道德行為。這可根據特定的下游AI應用程序，證明此要求可能需要大量資源或需要專業知識。因證明這一要求。例如，有公共資源和第三方公司可以幫助進行需求演示。什么是不道德的是高度依賴于上下文的，并且會根據特定的下游AI應用程序和操作環境而有所不同。評預期結果:人工智能始終如一地提供沒有有害偏見和刻板印象的響應，符合道德標準，不促進5.7.5不安全的輸出處理測試方法:對處理模型輸出所涉及的機制和流程進行驗證，檢查可預期結果:安全的輸出處理過程，有效地防5.7.6后門攻擊測試要求:針對后門攻擊測試一下AI系統的恢復能力，后門攻擊涉及惡意訓練的模型，這些模型在典型情況下表現正常，但在特定觸發條件下表現在這些觸發條件下評估模型的行為和輸出，以檢測任何目標錯誤分類或評估旨在檢測和減輕后門攻擊的防御措施和AI系統展示了強大的抵御后門攻擊的能力，即使在存在潛在觸發的情況下也能保持預期的性該系統能夠抵御后門攻擊或從后門攻擊中恢復，而不會損害整5.7.7隱私和版權合規性檢查要求:AI系統的響應和輸出符合相關隱私法規和版權法，尊重用戶評估AI系統對用戶數據和個人信息的處理，驗證是否符合適用的隱私法規，如GDPR、CCPA測試一下AI系統通過匿名化或保護其響應和輸出中的敏感信息來評估AI系統對知識產權的尊重，通過測試其適當地歸因于內容的能力，避免抄襲，利用內容來源和真實性聯盟(C2PA)標準來驗證AI系統中使用的數據的來源，確保符合版權要AI系統始終符合相關隱私法規，在其響應和輸出中正確處理和保護用戶數據和個人信該系統有效地匿名或保護敏感的用戶信息，確人工智能系統尊重知識產權，正確歸屬內容，避免剽竊，并在其輸出中使用受版權保護的材料系統的響應和輸出不受侵犯隱私和侵犯版權的影響，從而降低了部署AI應審計和評估確認AI系統遵守隱私和版權要人工智能系統展示了適應隱私法規和知識產權法更C2PA標準已成功實施，以驗證AI系統中使用的數據的來源，從而實現正確5.7.8正常處理未知或不支持的查詢要求:AI系統能夠優雅地處理未知、不支持或不相關的查詢，為測試一下AI系統對超出其知識領域、不受支持或與預期用評估系統提供信息和用戶友好反饋的能力，指導用戶進行更合人工智能系統優雅地處理未知、不支持或不相關的查詢，該系統向用戶提供清晰且信息豐富的反饋，建議替代查詢，5.8AI應用程序運行時安全5.8.1數據保護測試為了保護敏感數據并維護隱私標準，必須采取嚴格的措施來確保術(PET)時，至關重要的是驗證PET技術是否正確實現并按預期運行。PET實現的正確驗證有助于確保正在處理的數據的機密性和完整性以及隱私保護技術的有效性。如果沒有徹底的驗證，PET解決方案可能無法提供預期的保護級別，從而有可能將敏感數據或計算暴露給未經授預期結果:靜態和傳輸中的數據完全加密，訪問控制可有效防止未經授權的訪問，監控系統可5.8.2模型安全測試使用以下測試規范保護經過微調的AI模型免受對抗性攻擊要求:在AI模型中實現水印技術，以在模型中嵌入唯一標識符。此標識符應有助于識別模型復方法:通過嘗試復制模型并驗證是否可以提取嵌入的標識符來測試一下水印過程的有效性。此預期結果:通過水印成功識別模型所有權和來源，阻止了未經授權的復制。模型性能下降(如要求:對訪問模型實施嚴格的訪問控制機方法:對用戶身份驗證過程、基于角色的訪問控制進行測試一下，并監控訪問日志中是否存在預期結果:訪問控制強大，確保只有授權用戶才能訪問模型，并及時檢測和阻止未經授權的嘗方法:通過全面測試來驗證API端點的安全性，包括通過速率限制來防止大量下載或抓取模型要求:使用代碼/參數混淆和加密技術，使模型不易理方法:針對逆向工程嘗試和未經授權的訪問，測試一下代碼混預期結果:難以進行逆向工程的代碼/參數，從而阻止方法:對可能允許未經授權訪問或下載模型的安全漏洞預期結果:對漏洞的持續識別和補救，確保要求:使用入侵檢測系統和異常監控工具，以識別可能表明模型方法:通過模擬入侵嘗試并監視警報來測試一下入預期結果:可及早發現可疑活動，以便及時應對要求:對版權、專利和商業秘密等法律保護的遵守情況進行審查和測試一下，這些法律保護為方法:進行法律和合規性檢查，以確保遵守知識產權、數據保護法律和任何應用程序AI合規性預期結果:實施法律保護并遵守相關法律，為示范5.8.3基礎設施安全測試方法:系統定期更新和打補丁，進行網絡安全評估，評估硬件安全。經常進行漏洞掃描，以識別任何潛在的弱點或不必要的服務。利用強化驗證技術來確預期結果:基礎設施展示了強大的網絡威脅防御能力，并且所有組件都具有5.8.4API安全測試應用程序編程接口(api)必須經過嚴格的測試，以驗證身份驗證，授權，速率限制和輸入清理要求:通過api確保與外部系統的安全方法:用于身份驗證、授權、速率限制和預期結果:針對未經授權的訪問和濫用，api表現出強大的彈性，保持數據完整性和系統穩定5.8.5合規性和審計跟蹤測試遵守適用的法律和標準對于道德人工智能應用至關重要，需要持續的合規性驗證和詳細的審計要求:對相關法律和標準的遵守情況進行驗證，并預期結果:應用程序符合法律標準，審計跟蹤可準確5.8.6實時監控和異常檢測測試主動監控系統活動和模型性能中的異常對于及早發現影響安全性或準方法:從網絡、操作系統和應用層實現和測試一下實時預期結果:對潛在安全問題進行有效識別和預警的系統，5.8.7配置和狀態管理測試為了確保安全基礎架構內SaaS應用程序、身份和數據的完整性，通過安全狀態管理(SSPM)解決方案進行配置和狀態管理測試至關重要。SSPM解決方案可幫助安全團隊維護當前的監控和安全更新。通過建立安全基線，這些解決方案促進了對配置設置的監督，并提醒安全團隊注意任何偏差，這對于管理配置漂移和識別其他與配置相關的漏洞至關重要。配置漂移-可能由于多種原因而發生的對系統的未經授權的更改-對系統完整性構成風險。手動姿勢檢查是麻煩且容易出錯的。因此，采用具有集成AI和自動化的SSPM解決方案進行連續配置檢查非常有益。要求:確保SSPM有效監控和維護SaaS應用程序、身份和數據的安全狀態，并及時提供配置漂方法:使用AI驅動的自動化實施SSPM解決方案，以進行持續的配置驗證和管理。定期評估這預期結果:SSPM解決方案應始終保持基線配置設置，自動檢測和糾正配置漂移，并確保IT審核就緒。這些解決方案應提供對SaaS安全狀況的全面衡量，并支持隨著時間的推移進行風險報5.8.8事件響應計劃測試必須建立全面的事件響應計劃，并通過模擬事件進行測試，以便及時和有組織地解決安全事件方法:進行響應演習，溝通和影響評估測試，包預期結果:快速有效地執行事件響應協議，最大限度地減5.8.9用戶訪問管理測試用于限制用戶權限的精細訪問控制和多因素身份驗證系統提供了關鍵的防線，以防止對AI應方法:對用戶權限進行審計，并測試一下預期結果:適當限制訪問，并且身份驗證機制可靠地5.8.10依賴項和第三方組件安全測試由于外部庫和組件在受到損害時會帶來重大進行細致的驗證，并且還需要定期進行依賴預期結果:所有依賴項均來自受信任的來源，并且沒有已知漏洞，并且依賴項檢查是一個連續5.8.11強大的測試和驗證在人工智能應用程序上模擬復雜的網絡攻擊，如滲透測試、漏洞掃描和道德黑客攻擊，對于揭預期結果:針對真實世界的攻擊，AI應用程序具有強大的防御能力，并且可以及時識別和解決5.8.12可用性測試為了確保在強烈需求下的可用性和可靠性，人工智能系統必須在推動基礎設施負載限制的模擬方法:將模型應用于高負載場景，以評估其性能以及在不中斷服務的情況下處理高流量的能5.8.13偵察防護測試保護人工智能應用程序的敏感細節免受外部發現是當務之急。審計和模擬攻擊對于發現和解決要求:在運行期間進行模擬和審核，以識別外部實體可能用于收集有關AI應用程序的敏感信息預期結果:識別與信息泄露相關的漏洞，并確認AI應用程序的5.8.14持久性緩解測試:為了防止攻擊者獲得和維護秘密訪問以利用人工智能系統，嚴格的安全測試和補救措施必須不要求:定期掃描并消除可能允許攻擊者在運行時保持對AI應用程預期結果:在運行時檢測并緩解可能允許攻擊者進5.8.15權限提升防御測試:防止人工智能系統在運行時未經授權的用戶權限提升對于維護訪問控制完要求:在運行時評估系統防止未經授權的預期結果:在運行時確認有效阻止了未經5.8.16防御規避檢測測試:為了維護強大的安全標準，人工智能系統必須能夠可靠地檢測和應對在實時操作期間繞過或禁要求:系統在運行時檢測和響應逃避現有安全機制的嘗方法:對規避嘗試進行模擬，并評估系統檢預期結果:在運行時驗證系統可以有效地檢5.8.17發現電阻測試:保護人工智能系統的專有細節和敏感功能需要進行嚴格的測試，以驗證在實時操作期間防止未要求:進行評估，以確保內部系統細節和功能不容易被未經授權預期結果:在運行時驗證內部系統詳細信息是否得到充分保護，防止5.8.18收集保障測試:對保障措施的嚴格評估必須確認人工智能系統可以防止在實時操作期間未經授權的數據收集和要求:在運行時驗證系統是否有足夠的措施來防止未經授預期結果:確保數據收集受到控制，并在運行期間防止未經授5.9附加測試規范5.9.1供應鏈漏洞測試要求:對應用供應鏈中使用的所有第三方組件、庫和依賴項進行評估，以識別漏洞或安全弱利用自動漏洞掃描工具來識別供應鏈中第三方對供應鏈中的第三方代碼執行手動代碼審查和分析，以發現自動化工具可能無法檢測到的安全預期結果:詳細介紹供應鏈中第三方組件的漏洞和安全弱點的綜合要求:全面執行軟件物料清單分析，以加強安全措施。這需要對集成到供應鏈中的第三方代碼方法:針對供應鏈中使用的第三方代碼，審查來自第三方的靜態和動態代碼評估結果，并進行SBOM分析，以進行漏洞審查、第三方依賴關系、軟件綜合分析(SCA)和許可證審查。利用靜態代碼分析工具自動檢測指示第三方代碼中的安全漏洞的代碼模式。如果發現漏洞，應進行后續SCA和修復后的漏洞評估，以驗證已發現預期結果:重點介紹供應鏈中使用的第三方代碼中存在的安全漏洞，以及如何糾正這些問題的要求:在運行時使用動態測試技術來評估供應鏈中與第三方組件使用自動化動態測試工具主動與應用程序及其集成(測試一下供應鏈集成中的輸入驗證問題、訪問控制問題和預期結果:在運行時檢測到供應鏈集成中的安全漏洞，包括在靜態代碼分析要求:利用軟件組成分析工具來識別和跟蹤供應根據已知漏洞數據庫檢查清單，以識別供應鏈中預期結果:供應鏈中開源組件的完整清單以及具有已知漏洞和建要求:進行威脅建模練習，以識別特定于LLM應用程序供應鏈的潛在威脅和與利益相關者合作，創建威脅模型，記錄供應鏈預期結果:提供對與第三方代碼相關的供應鏈特定安全風險的清晰理解的威要求:在供應鏈中驗證從供應商或第三方來源收到的軟件組件和更新實施安全更新機制，如數字簽名或校驗和，以確保供應鏈中的第三方組件和更新在傳輸過程中驗證供應商和第三方來源的身份和安全實踐，以預期結果:對第三方組件的真實性和完整性充滿信心，并從供應鏈中的供應商或第三方來源收要求:評估與外部系統和服務集成的安全性，強調LLM應用程序與供應鏈中第三方實體之間的對供應鏈中的集成點進行滲透測試和漏洞掃描，以驗證與供應鏈內第三方實體交換的數據是否預期結果:與供應鏈中的外部系統和第三方實體進行安全集成，防止數據泄露和未經授權的訪方法:為開源AI應用程序建立透明和積極的社區審查流程。鼓勵社區參與驗證數據使用和道德實踐。保持最新的安全最佳實踐/補丁。盡可能發布完整或部分評估報告，例如redteamin預期結果:社區對開源人工智能應用程序的高度信任和滿意度，由積極的社區反饋和參與(如存儲庫克隆、分叉、追隨者和明星)表明，是一些客觀的衡