ChatGPT：是崛起的AI攻擊之矛，還是萬能的網絡安全之盾什么是ChatGPT和大語言模型ChatGPT是由美國科技創業公司OpenAI開發的人工智能聊天機器人，最初是基于GPT-3大語言模型，使用深度學習來產生類似人類的文本，目前ChatGPT底層的大語言模型已經進化到GPT-4。

大語言模型指在基于大量文本的數據上訓練模型，訓練用的語料樣本最初是從開放的互聯網獲取，涵蓋了各種類型的網頁內容，包括學術論文、社交媒體帖子、博客、新聞文章等大量的數據。

而這些大量的數據在攝入時，無法完全過濾所有冒犯性或不準確的內容，因此"有爭議的內容"很可能包括在其模型中。該模型通過分析不同詞語之間的關系，并將其轉化為概率模型，然后可以給模型一個"提示"，它將根據其模型中的單詞關系提供一個在概率上最接近用戶期待的答案。ChatGPT的數據邊界問題ChatGPT現在已經基本定義了一種新的AI應用的工業范式，即人機交互使用Chatbot聊天模式，后端用大語言模型進行意圖理解和內容生成，再結合API實現多模態應用。

既然是聊天，那么就需要有輸入和輸出。輸入就是“喂”給模型的數據，可以是向ChatGPT提出的問題，也可以是向其提供的數據資料；輸出則是經過模型計算和API調用后利用模型生成接近用戶期待的內容和格式的結果。

這樣在用戶與ChatGPT對話的過程中，就會把用戶的數據上傳給ChatGPT的服務器，根據ChatGPT官方的文檔確認，用戶與ChatGPT之間的對話數據是會被上傳到OpenAI公司進行存儲，并且將對話數據中的用戶個人信息（如姓名、地址、電話等）進行脫敏處理后，可能會被用于模型后續的迭代訓練，以提升產品效果，但這個過程并不會自動被執行。

ChatGPT目前沒有提供類似GoogleAssistant、Siri、AmazonAlexa和MicrosoftCortana這類聊天機器人應用中的“隱私模式”或“無記錄模式”。在這種模式下，用戶可以保證自己的對話內容和個人信息不會被記錄或收集。ChatGPT的用戶如果不想其數據被利用于ChatGPT的訓練迭代，需要通過向OpenAI提交申請。

介于ChatGPT目前還處于未公開其技術細節和數據處理流程的狀態，其對用戶數據的使用也沒有得到第三方機構進行審計和監管，如JPMorgan、Amazon、Verizon、BankofAmerica等一些企業已經禁止其員工在工作時使用ChatGPT，以防止敏感的企業數據泄露，甚至如某些國家已經官方宣布基于數據隱私安全的考慮，禁止使用ChatGPT。

觀點1：從政策和技術兩方面保證類ChatGPT應用的數據邊界安全。面對上述的ChatGPT數據邊界問題，目前產品還不能滿足保護數據安全性的相關需求，需要通過加強相關的安全合規性立法、進行模型私有化部署和對模型數據使用過程進行審計等方法來解決這個問題。

以OpenAI的ChatGPT為例，ChatGPT無法滿足GDPR和《個人信息保護法》中關于個人信息隱私保護的相關需求，如用戶無法行使對其個人數據的“刪除權”，這不僅是ChatGPT沒有開放這個功能，在技術上當個人數據經過處理進入數據集后，往往就丟失了溯源能力，也很難再被單獨找出來刪除。對于部署在國外的服務器上的類ChatGPT的大語言模型應用來說，更是無法滿足《數據安全法》對數據不出網、不出境和能夠進行有效管控的要求。

從技術角度考慮，如果要滿足大語言模型應用的數據安全合規性，需要在以下幾個方面做出改進：

模型私有化部署：私有化（即本地化）部署是滿足企業用戶在使用大語言模型應用時數據不出網、不被濫用的主要方法之一，這個部署包括了提供可以進行模型微調（Fine-Tuning）在內的算力環境。由于大語言模型的生成效果也取決于訓練時的語料數據，在專業性很強的垂直領域要達到更好的生成效果，也是需要提供語料來優化模型，因此大語言模型的私有化部署是讓數據在企業內形成內部循環來持續優化模型的可行方法。對于云端提供的大語言模型中數據的使用過程進行第三方審計：可以從數據的輸入、存儲和使用等環節提供第三方的系統來進行數據安全合規性的監控和審計。如通過調用大語言模型提供的API來自己提供Chat接口，并對聊天過程中輸入的數據進行合法合規性審計；在線存儲的用戶對話數據必須進行加密存儲；對被用于模型迭代更新的用戶數據進行合規性審計后才可以使用。大語言模型賦能安全攻擊很多文章已經討論過大語言模型被用于網絡滲透攻擊的例子，主要包括以下6個方向：①通過繞過ChatGPT的防御規則，來欺騙其通過大語言模型生成惡意代碼、生成攻擊腳本；②使用大語言模型快速批量生成社會工程攻擊的文本，如釣魚郵件或者根據用戶信息生成攻擊字典；③對開源代碼進行自動化漏洞挖掘和漏洞利用測試；④獲得網絡安全工具使用方法、漏洞信息等多種知識；⑤組合已有的單點攻擊工具，生成更強大的立體化多點攻擊工具；⑥使用大語言模型的編程能力實現代碼混淆和修改實現逃避檢測和免殺。

觀點2：大語言模型賦能攻擊可能引發新的網絡入侵潮。大語言模型的自動化生成能力將大大提升安全入侵的效率、降低安全入侵的技術門檻、提升安全入侵自動化能力、降低高級安全入侵的實施成本，國內受到網絡安全法的震懾，相關安全事件發生會受到一定制約，但來自國外的個人和小團體攻擊將有可能迎來一波大幅的提升。

大語言模型對網絡安全的威脅將大于對網絡安全的幫助似乎已經成為共識。因為大語言模型的自動生成能力可以很容易幫助入侵者把一個想法快速變成一段代碼或者文本。

比如，對于本來需要5-10人花費數周時間，才能開發出來具有免殺能力的新型0day惡意代碼，運用大語言模型的自動生成能力，可能通過幾次對話生成，即使是略懂原理的初學者，也能在幾小時內完成。從此腳本小子的個人戰力得到極大提升，給企業帶來威脅的入侵者數量將出現幾個數量級上的增長。

ChatGPT通過對Github上大量開源代碼的自動化漏洞挖掘可以讓入侵者以低成本快速掌握多個0day漏洞，尤其在一些不被大范圍使用的專業性較強的開源系統上的漏洞往往不會被注意，因為這些漏洞挖掘的性價比并不高，但ChatGPT改變了這個規則，完成這些工作只需要編寫一些自動化的代碼，就可以完全交給ChatGPT進行后續工作，甚至自動化代碼都可以讓ChatGPT代勞。這讓入侵者可以把挖掘0day漏洞從原來主要聚焦于廣泛使用的開源軟件轉向所有開源軟件，這會對一些以前入侵者很少涉足的專業領域產生極大的潛在安全威脅。

ChatGPT使得使用釣魚郵件進行社會工程攻擊變得更容易、更高效、更不易被發現。通過AIGC能力能夠快速批量生成不同表達方式的釣魚郵件，并且利用ChatGPT的角色扮演能力，能夠輕易以不同角色的身份來撰寫，這些郵件的內容和口吻更加真實，使得分辨難度大大提高。大語言模型賦能安全防御大語言模型的很多能力在賦能安全攻擊和賦能安全防御兩個方面都是相對應的，但安全防御與安全攻擊的不同點在于，安全攻擊只要找到任何一個突破點就能夠取得攻擊成果，而安全防御則需要盡可覆蓋所有場景才能夠防御成功。因此大語言模型在自動化生成能力方面對安全防御的加成遠小于對安全攻擊的加成。

大語言模型在以下5個方面對安全防御能力提供了能力加成：

①安全運營管理過程中的代碼生成：包括檢測腳本生成、安全設備配置策略下發命令生成、日志范式化正則表達式自動生成，以及檢測腳本代碼在各種不同版本編程語言間的自動化轉化、安全配置策略命令在不同品牌安全產品間的自動轉換等；②代碼安全：包括針對代碼漏洞、注入點和內存泄漏點的自動化檢測和審計，自動化生成代碼安全問題的修復建議；③安全模型訓練數據增強：如通過批量產生垃圾郵件、釣魚郵件來增強訓練樣本，批量生成弱口令樣本等；④安全運營知識獲取：包括如獲取安全分析方法、獲取安全分析工具信息、獲取漏洞情報和威脅情報等；⑤自動化安全分析和響應：通過大語言模型進行安全運營的多意圖理解，并通過API驅動接入的安全設備和系統完成包括安全事件調查、安全分析腳本推薦、安全事件響應劇本生成、攻擊溯源圖生成、攻擊腳本和惡意代碼解讀、威脅情報關聯、安全分析總結和報告生成等。

觀點3：大語言模型賦能安全防御可以幫助專家節省時間，但沒有賦能安全攻擊更有威力。網絡安全防御是一種需要進行精確判斷和決策的技術，大語言模型快速生成的代碼和方案可以幫專家節省時間，但由于大語言模型在AIGC過程中的“幻化”問題，所以由大語言模型提供的代碼和方案需要經過人工驗證其正確性，這對于具有驗證能力的專業人員來說，大語言模型能夠在一定程度低提高其對安全事件的處理效率。

同樣的“幻化”問題也存在于大語言模型賦能安全入侵中，但一般認為對安全防御水平的驗證難度是高于安全入侵的。安全入侵過程很容易在模擬環境中被驗證，只要通過返回的信息就可知曉攻擊是否成功，而安全防御則需在靶場中先模擬出各種可能的入侵，才有可能被驗證，這在實戰應用中防御效果的驗證難度將會更高。大語言模型競爭催生的安全問題ChatGPT驚艷世界后，引發了大語言模型領域的全球性競爭，實力大廠、創業公司等都紛紛入局，這將會帶來兩大方面安全問題：

一是AI廠商為了爭奪大語言模型風口的時機，短時間內產生大量AI算力需求，上線大量AI算力平臺，但業界至今沒有很好解決AI算力平臺的自身安全問題，包括用戶數據使用過程中的傳輸、存儲的安全問題，模型訓練和推理過程中的安全問題、算力平臺自身系統和軟件的安全問題等，也缺乏相應的安全標準和規范，將有可能導致大量用戶數據被泄露的風險。

二是大語言模型不僅是單一應用，通過開放API可以讓大語言模型成為連接萬物的智能大腦，大語言模型的應用將會成為平臺級、系統級的龐大應用。這就帶來了接入大語言模型的第三方應用的接入安全問題、數據安全問題，以及第三方應用的合規性問題、防止惡意第三方應用接入、第三方應用自身安全問題等多種問題。

觀點4：需要盡快推出面向AI算力平臺安全、大語言模型第三方應用接入安全相關的安全標準和規范以及研發相關的安全產品和方案，為大語言模型發展護航。基于大語言模型的全球性科技競爭由ChatGPT引爆，AI廠家紛紛搶占先