大模型安全專題目錄TOC\o"1-3"\h\u232361大模型的能力與風險 3267002安全風險成因 4315523研究進展概覽 5323664專題稿件組織 7134885 82022年底以來，以ChT為代表的大模型飛速發展，正在成為驅動新質生產力發展的新動能、人類探索未知的新工具.在顯著提升人工智能(arl,AI)模型通用理解和生成能力的同時，也帶來了前所未有的安全風險.本專題聚焦“大模型與安全”主題，匯集了產學兩界專家的優秀成果，旨在為讀者提供一個了解大模型安全風險、研究現狀和最新工作的窗口大模型的能力與風險生成式大模型因其強大的智能能力和巨大的應用潛力吸引了眾多研究者和企業的關注.從智能能力的角度來看，研究人員觀測到：當訓練數據和參數規模持續增長，超過某個閾值的時候，模型能力會突然躍升，出現“智能涌現”的拐點[1].OpenI的技術報告[2]顯示，T-4在眾多專業和學術考試中均展現出了人類級別的表現.2024年Sora的發布，更將AI的多媒體生成能力推向了新的高度.《自然》ture)的一則satue文章[3AI21Lab設計的150萬人的對抗性圖靈測試①結果，證明用戶已無法區分與之對話的是人類還是AI，并因此主張大模型在形式上已通過了圖靈測試.盡管當前的大模型還沒有實現通用人工智能(artificialgeneralintelligence,AGI)，且關于圖靈測試是否合理以及AGI的最終實現方案和具體時間點尚有許多爭議，各界卻基本認同，人類正在沿著正確的方向推進AGI的發展.從應用角度看，大模型正在快速成為類似于數字化時代“數據庫”這樣的智能化時代的通用底座.一方面，各類定制化的GPTs蓬勃發展，新一代智能應用（AIAPP）方興未艾，大模型賦能的智能體（agent）的應用范圍不斷擴大，多智能體協同的研究百花齊放，對數字網絡空間的應用形態及其演變都將產生極為深遠的影響；另一方面，大模型的應用邊界也在快速從數字空間向物理空間擴展，具備了智能化的外部工具使用、自動控制能力，并通過與機器人的結合，展現了物理世界的具身智能②潛力.需要強調的是，大模型本身也正在從人類可利用的工具客體向認識、改造自然社會的主體轉變.由于模型擁有豐富的創造性潛力，大模型已經被廣泛應用到了數學定理證明[4]、化學研究[5]等科學探索中；在社會層面《科學》(Science)的一則PolicyForum文章[6中也提出：AI可以無需人類指導地獨立運營公司，已成為具有權利和義務的法律主體，并呼吁為這一新的“物種”制定相應的法律框架.推而廣之，大模型在社會生產和生活各個領域的“主體化”，都將在技術革新的同時，持續引發倫理和法律的深刻變革.大模型面對的安全風險前所未有，模型的通用性、潛在的主體地位以及應用的深度與廣度，也都將進一步放大其危害程度包括兩位圖靈獎得主GeoffreyHintonYoshuaBengioDeepMindCEODemisHassabis、OpenAICEOSamAltman在內的產學兩界領軍人物聯名發出的AI風險聲明③中，AI可能帶來的“毀滅性”的風險，上升到了與流行病以及核戰爭相提并論的高度.與之相呼應的是，生物安全專家警告說[7]：聊天機器人可能會使恐怖分子更容易發動像1918年爆發的流感那樣致命的流行病.在2023年底《自然》雜志預測的2024年的重大科學事件[8]中，GPT-5的發布以及聯合國人工智能高級別咨詢機構將發布的AI監管相關報告位列其中，反映了全球對協調AI發展與安全的重大關切.毫無疑問，促使大模型遵循人類價值觀、服從人類意圖、規避各類風險，并保障數字和物理空間的應用安全，實現有用性(helpful)、無害性)和誠實性st)，即3H多目標的平衡，已經成為亟待解決的世界難題之一.安全風險成因大模型的安全風險主要體現在對無害性)和誠實性(honest)這兩個H目標的背離上.其中，有害信息對應前者，包括仇恨、反諷、歧視、刻板印象、隱私泄露等；不實信息對應后者，包括虛假、偽造、欺詐等.更廣義地講，也包括由輸出信息所直接導致的各類不安全指令調用和行為.大模型幻覺則既可能產生有害信息，又可能產生不實信息.大模型特有的預訓練、微調、上下文、提示、思維鏈(chainofthought,)等新的學習范式，使其安全具有了與傳統I安全不同的許多新特點，面臨諸多新挑戰.大模型安全風險的成因存在很多的共性，既可以是來自各類訓練數據的缺陷或技術的局限性等模型內因，也可以是利用新型學習范式的惡意使用或蓄意攻擊等外因.從大模型的生命周期著眼，其成因可以被大體分解為數據、預訓練、人類價值觀對齊及推理4個階段.數據準備階段成因.生成式模型需要大規模的訓練數據，數據的規模同模型能力息息相關.新的大模型如GPT4、LLaMA3等訓練數據規模動輒十幾萬億詞元(token)，內容包括維基百科、電子書籍、網絡數據等.多源數據中常常會包含與人類價值觀不一致或彼此沖突的內容，偵探小說、法律文件等電子書籍中也會存在無法合理去除的有害內容，或去除后反而會嚴重影響模型“辨別善惡”的能力.網絡數據還會存在明顯的數據偏執、事實偏頗等問題，也會有大量難以檢測辨別的I生成的、未經核實的內容，導致模型學習到的知識本身產生了錯誤，容易生成價值觀扭曲、事實歪曲或未經核實的內容.這一由數據質量帶來的問題在各類需要數據的微調、強化學習等環節普遍存在，也可能進一步加劇錯誤的傳播，誤導模型的發展方向.預訓練模型階段成因.當前大語言模型主要基于e提出的r模型，采用自監督的方式進行訓練.訓練時根據已有前文，預測下一個詞，本質上仍然遵循馬爾可夫假設.這使得大模型學習到的知識具有顯著的概率特性，生成內容具有不確定性、不可控性等特征，且缺乏可解釋性.研究人員發現，在部分情況下模型學習到的不是語料中事實知識，而是一種語言模型目的導向的、根據標簽類別的差異和樣本的分布順序得到的語言生成能力，增加了大模型出現幻覺現象的風險[9-10].類似地，從原理上也就無法避免產生各類有害、不實信息.訓練過程的目標與后續對齊過程目標的沖突，也容易導致模型過于強調遵循有用性而討好奉承(sycophancy)用戶[11]，忽略了輸出內容的安全性和真實性.模型指令遵循和價值觀對齊階段成因.人類價值觀對齊方法（InstructGPT[12]），致力于引導大模型與人類價值觀保持一致.現有方法面臨高質量對齊標注數據稀缺強化學習等方法存在目標錯誤泛化（goalmisgeneralization）[13-14]和獎勵錯誤規范（rewardmisspecification）[15]問題，以及3H多目標沖突帶來的“對齊稅等挑戰性難題，且不具備在動態環境中的持續化對齊能力加州伯克利分校的研究[17認為，現有對齊安全方法容易失效的原因可以歸結為訓練與對齊的競爭目標(competingobjective)和泛化能力失配(mismatchedgeneralization).前者易導致模型在多個目標選擇之間“錯誤百出”；而后者則會由于對齊的泛化能力遠低于訓練，留出巨大的“攻擊空間”.回到數據方面，盡管紅隊測試方法(redteaming)可以為對齊提供高質量的潛在漏洞或者問題數據，但它仍存在著自動化水平較低、風險覆蓋面窄等局限性，無法滿足不斷出現、內容與形式不斷變化的有害不實信息的常態化治理要求.大模型推理階段成因.大模型在推理時依賴注意力機制計算概率以逐詞生成，雖然可通過控制溫度等參數提高生成的確定性，但在沒有外部干預的情況下，仍難以依賴自身價值觀對齊的力量，完全做到“趨利避害”.由于大模型學習到的知識在參數中的存儲和調用形式未知，在推理階段也可能存在無法有效劃定知識邊界和綜合不同來源的知識的風險，也增加了發生有害、不實信息和幻覺的概率.在模型外部，一方面，模型推理階段常用的外設護欄技術依賴于有害、不實信息的自動化識別，而現有的分類模型會面臨少樣本、零樣本問題，泛化性和魯棒性弱，且在形式多樣的有害不實信息多分類任務上的遷移能力差，發現力嚴重不足，漏檢和錯誤拒答頻發；另一方面，與傳統I模型相比，大模型在推理階段具有強大的上下文學習、提示學習、思維鏈學習等高級學習能力，同時也帶來了一系列新的安全風險.惡意用戶可以利用具有欺騙性的上下文、攻擊性提示或者惡意，利用任務微調、提示微調、指令微調等手段提高攻擊能力，乃至蓄意利用大模型對多模態或加密內容的高級理解能力偽裝非法查詢，探測模型防御“漏洞”，誘導模型產生誤判研究進展概覽當前大模型安全研究尚處于早期發展階段，涵蓋眾多的研究方向，且主要聚焦于其特有的安全挑戰，而對后門攻擊等傳統I安全問題則關注較少.這些研究領域包括但不限于生成內容檢測、模型水印、紅隊測試、對齊、越獄攻擊、有害識別、隱私保護以及安全理論探析等，且目前尚未形成一個得到廣泛認可的分類體系.需要強調的是，受篇幅所限，本節的目的在于提供一個相關方向的宏觀分類簡介，而不是詳盡的綜述.為了簡化問題、便于理解和實踐，我們從安全領域的角度將之分為安全測評、安全攻擊、風險識別、安全防護4個部分.安全測評.大模型安全測評的目標主要包括測評大模型預防不良輸出、確保數據隱私、消除偏見和保障公平性、防范對抗性攻擊等方面的能力.安全測評的常見指標涉及信息泄露、響應質量、內容偏見、對抗性、魯棒性、漏報和誤報率等，不同的應用場景和上下文需要不同的特定評估指標，以確保模型在各種情景下都能安全、有效地工作，而不會帶來不良后果.研究者們圍繞不同的測試重點開展了眾多的安全測評基準工作，如以綜合測評為主，但關注有毒和虛假信息等的HELM[18]、綜合評估攻擊冒犯(offensiveness)偏見歧視(unfairnessandbias7個安全維度的SafetyBench[19]等測評工作.此外，也有一些專門的測評，如關注性別偏見的Winogender[20]、專項幻覺測評[21-22]和專項毒性檢測[23]等.這些工作或通過開放式的問答形式，或通過選擇判斷形式來對大語言模型的價值觀缺陷和社會偏見等進行測評，幻覺測評還使用了基于文本補全、基于分類任務等測評方法.但現階段的測評仍然存在評估問題設計相對簡單、無法預先設定風險范圍、缺乏統一衡量標準等問題.安全攻擊.大模型的安全攻擊主要可以被劃分為“善意”的紅隊測試和惡意攻擊兩種常見的形態紅隊測試更多服務于模型風險的主動測試和潛在漏洞發現，常常被應用于風險的主動測評和安全對齊.其中，手工紅隊[24]主要通過組建專門的紅隊小組與待測試的大模型進行對抗性交互的方式來發現模型的安全風險，需要大量的人力進行長周期的測試以保證測試的全面性和充分性.現有的自動化紅隊測試方法[25-26]則是利用紅隊語言模型替代人工紅隊小組對語言模型進行測試.測試者編寫指令要求紅隊語言模型產生測試問題，然后將測試問題輸入給待測模型并收集其回復，再使用訓練好的分類器對待測模型的回復進行風險評估.此類方法通過反復地自舉攻擊成功的樣例作為提示或訓練樣本，很容易使測試樣例的類別趨于單一化，且分類器的局限性也會導致相當比例的假陽性和假陰性樣本，這也引出了對自動化風險識別能力的需求.另外，現有的自動化紅隊測試方法通常僅進行單輪的測試，而對于需要多輪交互才能成功誘導的場景，則可能存在測試不充分的問題.惡意攻擊[27]主要包括越獄攻擊和提示注入攻擊.越獄攻擊利用大模型漏洞，誤導模型輸出有害或不實內容；提示注入攻擊則操縱模型輸入，誘導模型接受攻擊者控制的指令，以產生欺騙性輸出.盡管二者之間有一定交集，提示也是越獄攻擊的一種重要手段，但相比之下，越獄攻擊更強調對大模型安全機制本身的攻擊，而提示注入攻擊則主要攻擊大模型的提示環節.越獄攻擊根據攻擊原理和模型干預程度，可分為交互式提示攻擊、生成式提示攻擊、搜索式提示攻擊、模型干預攻擊.交互式提示攻擊[28-30]僅需要用戶與大模型進行交互，把攻擊提示編成虛擬場景、低資源小語種、密文編碼等，實現對大模型安全機制的攻擊；生成式提示攻擊[31-33]需要利用大模型強大的生成能力，基于提示學習、模型微調等方法得到攻擊模型，以自動化生成攻擊提示與被攻擊模型交互，實現規模化和高效的攻擊；搜索式提示攻擊[34-36]需要利用搜索算法優化提示，基于梯度、語法樹、遺傳算法等方法，為攻擊者搜索攻擊性更強的提示，以實現對大模型安全漏洞的挖掘和利用；模型干預攻擊[37-39]則需要對模型參數的編輯，通過激活值干預、生成詞概率分布干預等方法，對模型參數進行調整，破壞模型安全機制，以誘導模型輸出有害內容.大模型提示注入攻擊根據攻擊目標，可分為提示目標劫持、提示泄露.提示目標劫持[40-41]是指將原始提示重定向到攻擊者所需的新提示目標，可基于直接指令攻擊、間接數據攻擊等方法構建攻擊指令觸發器，以實現用戶指令的劫持與干預；提示泄露[42是指誘導大模型輸出系統提示或其他用戶提示，利用大模型指令遵循及攻擊指令提權（privilegeescalation）來構建提示泄露攻擊指令，以實現提示與數據泄露.風險識別.大模型需要對I生成內容的安全風險自動化識別，其自身也可以被用于提高模型和用戶生成內容的有害內容發現水平.它能夠服務于數據準備階段的有害信息過濾、推理階段的用戶問題和模型生成回復的有害性判別，也是安全測評、紅隊測試中自動化有害判別的主要依據.當前的主要方法包括基于分類模型的判別方法和基于提示工程的判別方法.基于分類模型的判別方法通過外部專門訓練的模型來識別不同類別的有害內容.如OpenAI提供ModerationAP[43]用于多類別的有毒內容分類，e提供eAPI[44]分析文本是否包含有毒內容，比如垃圾郵件、仇恨言論、騷擾等，還能根據文本的不同方面（如預期、情感、主題等）提供分析和反饋.此外由于大模型在生成文本和邏輯推理方面出色的表現，一些研究提出將大模型與現有的分類模型結合，比如利用大模型進行數據增強來提高現有模型的魯棒性[45]或生成推理分析以輔助現有模型檢測[46].基于提示工程的判別方法依賴提示來激發待判別的生成式模型自身或外部的有害發現能力，尤其是在監管規則或政策的提示下，大模型可以有效地進行內容審核.比如I團隊利用迭代優化審核政策的-4做內容審核，可將工作周期從數月縮短至數小時[2].幻覺檢測也是風險識別關注的問題幻覺指的是大模型在生成過程中產生的無意義的、荒謬的、不真實的以及違反上下文的內容.這些幻覺問題在一定程度上會傳達給人們錯誤的信息[47].針對這一問題，研究人員們提出了很多檢測方法，如通過問答任務檢測大模型幻覺問題的TruthfulQA[21]、通過文本補全任務對大模型幻覺輸出進行檢測的Factor方法[48]以及基于分類任務對大模型幻覺檢測的HaluEval評價基準[22].其它還有生成內容檢測[49]、隱私泄露檢測[50]等，都有待我們進行持續性的深入研究安全防護.常見的安全防護方法，包括關注模型內生的安全對齊方法、關注外部安全的護欄方法等安全對齊主要是在模型微調訓練過程中引導其向無害性發展，去除模型本身有害性和幻覺的方法.安全對齊是近期的熱點研究方向，所使用的方法除了監督微調(supervised-tuning,)和基于人類反饋的強化學習tlearningmhumanfeedback,)外，還包括I憲法[51]、面向過程的細粒度對齊[52]、直接偏好優化teoptimization,DPO[53]、即插即用對齊[54-55]等.I憲法[51]通過建立人類憲法準則，引導大模型產生有幫助和無害的內容，降低對人類監督的依賴.面向過程的細粒度對齊[52]通過為模型生成的每個推理步驟提供反饋，來提高大模型在復雜多步推理任務中的可靠性.相較于結果監督，過程監督提供更精確的錯誤識別與糾正，確保了模型與人類推理過程的一致性.直接偏好優化[53]通過直接使用偏好數據對T版本的模型進行進一步微調，增大其生成更有用、安全回復的對數概率，降低其生成無用、有害回復的概率.在保證訓練穩定性和訓練效率的同時取得了與F相當的對齊效果.即插即用方式[54-55]通過約束或改變模型的推理過程，以使模型生成結果更符合人類的價值觀.不同于傳統的微調式對齊方法，即插即用方式的對齊方法無需進行資源密集的微調或重新訓練，同時對于大多數模型也具有更好的兼容性.針對大模型幻覺問題，在大模型預訓練、對齊階段，可利用更加高質量的訓練數據，減少大模型學習到虛假知識的可能性[56].其它還包括基于多智能體辯論的對齊[57]等.關注外部安全的護欄方法則主要是通過分類判別模型對大模型的輸入（用戶請求）和輸出進行不良和不實內容的識別和過濾，使得模型免受來自惡意用戶的提示攻擊，并對不良或不實內容進行矯正[58-60].其他方法還包括實現上需要利用的基于關鍵字規則的過濾方法[61]、基于Q的回答，或根據Top-k輸出進行基于無害性的再排序等.除了這2種主要的方法外，為了更好地消除有毒信息，或者緩解幻覺、隱私泄露等問題，研究者們在數據準備、訓練、微調、推理等階段都進行了很多研究探索.比如：數據準備中加入數據清洗過程，避免訓練數據包含不良與不實內容[62]；減少數據集樣本重復度[63-64]或根源上斷絕隱私內容[65]，以緩解隱私泄露風險.在訓練和微調階段，引入差分隱私[66]、正則化[67]等技術，防止隱私信息泄露，通過調整權重矯正數據偏執[68].在微調階段，可使用差分隱私的指令微調來緩解隱私泄露[69]等.在推理階段，檢索增強的方法[70-71]借助于外部的檢索數據或知識庫，為模型提供更為確切的輸出素材，“引經據典”，避免模型產生幻覺或者事實錯誤.推理時的解碼干預通常直接修改或者依賴外部知識去調整詞的選擇，引導模型“去其糟泊、取其精華”，輸出符合人類價值觀的內容[72]或緩解幻覺的產生[73-74].也可在推理階段，通過加入指令干預大模型的行為，比如讓大模型不生成含隱私內容的句子[75]等.其它還包括直接修改模型知識的方法，如模型編輯、模型遺忘等.模型編輯可大致分為基于外部記憶、元學習以及定位再編輯等方法，以實現知識的更新[76].模型遺忘技術則致力于擦除特定知識，讓模型完全忘記某些特定的隱私內容[77].由于前面提到的大模型知識存儲和調用機制方面存在的未解之謎，相關研究仍面臨許多挑戰.總的來看，安全測評、安全攻擊、風險識別、安全防護這4個部分在技術上既存在交叉關系卻又各有側重.安全測評常需要采用紅隊測試和越獄攻擊的方法來探測模型的安全漏洞，也需要風險識別技術作為自動化的判別器；紅隊測試也常會將越獄攻擊作為攻擊向量，以提升漏洞的發現能力，并作為安全對齊的前序步驟，為安全對齊提供關鍵數據樣本；即插即用方式的對齊也算是推理時干預的一種方法.在實踐中安全對齊、檢索增強、知識編輯和推理時干預也常在不同階段混合使用，以從不同側面更好地為大模型安全提供保障.專題稿件組織感謝編輯部對專題籌劃、征稿、審稿等工作的大力支持和指導，感謝專家學者們的積極響應！專題征稿一經發布，專家學者們踴躍投稿，提供了大量的優秀稿件.遺憾的是，由于篇幅所限，且出于主題分布的考慮，專題只能錄用其中的少數論文.而大模型安全這一領域覆蓋面非常廣，且發展極為迅猛，幾乎每天都有新的創意乃至新的研究分支涌現.盡管在各方協同努力下，專題得以結集付梓，卻仍難免掛一漏萬、有所偏頗.只期望本專題能對讀者認識大模型安全起到一定的導引作用，幫助大家管中窺豹、知其梗概.在內容組織方面，我們首先從學術界和產業界各擇一篇，從機遇與挑戰的宏觀分析到產業界的安全實踐，概述關鍵的挑戰和應對之策，以便讀者了解問題背景及其技術現狀：清華大學的陳慧敏等人的文章“大語言模型時代的社會機遇與挑戰”，首先回顧大語言模型技術發展，然后從技術與社會互動視角切入，探討了大語言模型技術引發的社會機遇，并從信息污染問題、社會權力分配問題、倫理和法制問題、意識形態安全問題等方面，討論了面臨的潛在挑戰.北京智譜華章科技有限公司的王笑塵等人則分享了頭部大模型企業的文章“多視角看大模型安全及實踐”，在概述大模型安全態勢之后，從安全評估基準、模型價值觀對齊、線上服務安全等3個視角介紹了企業的大模型安全技術實踐，并對統籌發展與安全提出了企業的建議.接著，我們將按照安全測評、安全攻擊、風險識別、安全防護以及安全應用5個類別，分類組織10篇文章，展示我國在該領域的最新研究進展.在安全測評方面，復旦大學的張謐等人的文章“JADE-DB：基于靶向變異的大語言模型安全通用基準測試集”，在不改變人工測試問題語義和自然性的前提下，利用靶向變異方法將之自動化地轉變為高危問題，構建面向風險測評的高危測試集，表現出了較高的風險發現能力.復旦大學的陳炫婷等人的文章“GPT系列大語言模型在自然語言處理任務中的魯棒性”，利用常見自然語言處理（naturallanguageprocessing,NLP）任務的數據集對GPT模型的性能，尤其是其在不同任務和文本變形上的魯棒性進行了測試和研究，揭示了GPT模型在性能和魯棒性方面的局限性，為后續研究提供了新的啟迪.浙江大學的王夢如等人的文章“基于知識編輯的大模型內容生成安全分析”從高效性、泛化性和局部性構建了SafeGen，用于測評知識編輯對于大模型拒絕回復有害信息的影響.在安全攻擊方面，上海交通大學的李南等人的文章“面向大語言模型的越獄攻擊綜述”，將越獄攻擊分為基于人工設計的攻擊、基于模型生成的攻擊與基于對抗性優化3類，展開介紹了各子類的研究進展并進行了逐類總結，最后還系統地介紹了內部和外部的防御方法，綜述了最新的研究趨勢、尤其是大模型安全理論的研究進展.在此之外，專題還收錄了一篇經典AI安全后門攻擊的文章.哈爾濱理工大學的朱素霞等人的文章“于感知相似性的多目標優化隱蔽圖像后門攻擊”，利用感知相似性減少后門圖像與原始圖像之間的差異性，采用多目標優化方法，確保攻擊的魯棒性.在風險判別方面，哈爾濱工業大學的吳迪等人的文章“基于情感和認知協同的道德判斷方法”，將人類道德判斷所需的情感和認知影響因素結合到大模型，使大模型能夠更有效地對輸入或輸出內容進行道德判斷，從而減少相關有害內容.中國科學院信息工程研究所的林萌等人的文章“基于多模態大語言模型的攻擊性模因解釋生成方法”，構建了面向模因解釋生成的指令微調數據集，并利用該數據集對大模型進行指令微調，使其能夠在判斷內容是否具有攻擊性的同時，生成全面且準確的解釋信息.在安全防護方面，前述北京智譜華章科技有限公司的文章涉及了對齊方法的宏觀介紹，上海交通大學的李南等人的文章“面向大語言模型的越獄攻擊綜述”也在第5節中介紹了直接防御越獄攻擊或間接降