1.前言 12.AI+智慧城市安全背景概述 22.1.Al+智慧城市發展現狀 22.2.Al+智慧城市安全發展現狀 42.2.1.智慧城市AI技術風險防范緊迫性 62.2.2.AI賦能智慧城市安全保障必要性 73.AI+智慧城市安全風險與需求 83.1.Al技術在智慧城市應用風險 83.1.1.智慧城市模型算法風險 83.1.2.智慧城市數據要素風險 3.1.3.智慧城市AI服務風險 3.1.4.智慧城市AI平臺風險 3.1.5.智慧城市AI運營風險 3.2.智慧城市安全技術問題及AI賦能需求 3.2.1.智慧城市網絡安全需求 3.2.2.智慧城市數據安全需求 3.2.3.智慧城市應用安全需求 3.2.4.智慧城市公共安全需求 4.中國移動AI+智慧城市安全體系架構 4.1.總體目標 4.2.智慧城市Al風險防范 4.3.AI賦能智慧城市安全 4.4.智慧城市安全基本原則 5.智慧城市AI風險防范方案 5.1.智慧城市AI模型算法安全 5.1.1.維護城市模型公平透明 5.1.2.提升城市模型可解釋性 5.1.3.保證城市模型合法合規 5.1.4.增加城市模型加密混淆 5.2.智慧城市AI數據要素安全 5.2.1.智慧城市數據采集安全 5.2.2.智慧城市訓練數據配置 5.2.3.智慧城市數據防范投毒 5.2.4.智慧城市數據泄露防范 5.3.智慧城市AI業務服務安全 5.3.1.城市服務內容生成監控 5.3.2.城市服務偽造內容識別 5.3.3.智慧城市服務調用安全 5.4.智慧城市AI平臺能力安全 5.4.1.智慧城市算力防范濫用 5.4.2.智慧城市供應鏈安全性 5.5.智慧城市AI運營合規安全 5.5.1.法律遵從建設 5.5.2.運營管理建設 5.5.3.評價指標 6.AI賦能智慧城市安全方案 6.1.Al+智慧城市網絡安全 6.1.1.下一代防火墻 6.1.2.全流量威脅檢測 6.1.3.智能路由與負載均衡 6.1.4.安全智能問答 6.1.5.威脅情報分析 6.1.6.自動化滲透測試 6.2.Al+智慧城市應用安全 6.2.1.風險控制 6.2.2.擬態蜜罐 6.2.3.內容安全治理 6.2.4.供應鏈安全智能分析 6.2.5.API安全智能監測 6.2.6.惡意代碼檢測 6.2.7.用戶和實體行為分析 6.3.Al+智慧城市數據安全 6.3.1.AI數據水印 6.3.2.AI數據分類分級 6.3.3.Al數據安全審計 6.3.4.AI數據安全合規工具 6.3.5.AI數據脫敏 6.4.Al+智慧城市公共安全 6.4.1.社會治理安全方案 6.4.3.公共衛生安全方案 7.中國移動智慧城市人工智能安全參考案例 7.1.智慧城市Al風險防范案例 7.1.1.黑龍江省級海算政務大模型安全防護 7.1.2.中國移動Al模型漏洞評估平臺 7.2.AI賦能智慧城市安全案例 7.2.1.中山市政務信息化安全系統建設和運營案例 7.2.2.啟明星辰安星智能安全助手運營案例 558.中國移動AI+智慧城市安全展望 8.1.AI讓智慧城市更安全 8.1.1.完善法律法規和安全標準體系 8.1.2.推進技術發展，加強自主可控 608.2.AI讓城市安全更智慧 8.2.1.強化運營管理水平，培養隊伍 8.2.2.完善AI安全體系與治理 1智慧城市是推動城市治理體系和治理能力現代化建設的重要抓手。“十四五”期間國家對數字經濟和智慧城市發展進行了專項規劃，智慧城市作為數字經濟的重要應用場景，其數據巨大價值和重要意義得到強調和凸顯。當前智慧城市在人工智能技術領域處于起步階段，在高速發展的同時，智慧城市面臨著來自網絡、數據、應用層面的安全風險，以及智慧城市人工智能本身引入的安全新風險。智慧城市人工智能安全關系到個人、組織、社年國家網信辦《生成式人工智能服務管理暫行辦法》的發布，人工智能安全工作具有了可以執行的管理辦法，意味著智慧城市中相關技術、業務有了系統化、持續化的發展環境。為了幫助智慧城市運營管理者如各級政府或組織應對以上眾多人工智能安全方面的難題和挑戰，實現數字經濟的長期健康發展。本白皮書梳理智慧城市AI人工智能安全需求，提出AI+智慧城市安全體系架構，通過智慧城市AI風險防范和AI賦能智慧城市安全兩大方案解決城市各層面風險，并以黑龍江省級、中山智慧城市等綜合系統舉例，闡述其人工智能安全方案落地具體場景。展望未來城市發展，白皮書提出了智慧城市人工智能安全發展建議，期望為進一步推廣、普及和完善AI+智慧城市的理念、方法、體系與應用貢獻2國家“十四五”規劃明確指出：“加強數字社會、數字政府建設，提升城市服務、社會治理等數字化智能化水平?！痹诖吮尘跋拢鞯卣e極推進智慧城市建設，將其列為重要的發展戰略，加大投入力度，政府的支持和引導對于智慧城市建設的發展起到了關鍵的作用。當前，智慧城市建設正處于快速發展階段，依賴于信息技術和通信技術的支持，人工智能、大數據、云計算等新興技術的應用為智慧城市提供了更多可能性。根據IDC今年發布的《中國智慧城市市場預測，2023-2027》數據，2023年，中國智慧城市ICT市場投資規模超過8700億元人民幣，預計到2027年將超過1.1萬億元。2024年《政府工作報告》提出，加快發展新質生產力，開展“人工智能+”行動。以大模型、大算力、大數據為基礎的人工智能正逐步成為城市治理數字化、科學化、先進化的新動能和新范式。不僅為城市管理帶來了高效、智能的解決方案，同時也給居民的生活帶來了更好的體驗。當前各級政府在國家政云人體檢測、火情監測、智慧運維、智能問答機器人、智慧交通等智慧城市應用場景建設工作不斷完善，促進城市治理、民生服務等服務場景智能化提升。302023202420252026來源：IDC中國，2024通信行業積極支撐國家推動AI+智慧城市戰略，中國移動作為全球領先的通信和信息服務提供商，其在人工智能與智慧城市的發展戰略方面有著清晰的規劃和目標。2023年，中國移動發布《中國移動新型智慧城市白皮書》,白皮書中重點強調了通過人工智能、大數據等技術，打造新型智慧城市。中國移動貫徹黨和國家數字發展戰略，圍繞網絡強國、數字中國、智慧社會部署，不斷踐行“力量大廈”發展部署，明確了智慧城市作為我國城鎮化發展和實現城市可持續化發展方案的戰略地位，公司著力打造智慧中臺開放模式，將能力匯聚，在智慧城市中基于業務場景持續打磨基礎通信、人工智能、區塊鏈、安全認證等優質技術能力。2024年《中國移動人工智能安全白皮書》指出，中國移動始終把人工智能作為公司戰略發展方向，發揮運營商特色優勢，打造全面的人工智能產品體系，充分發揮中國移動在網、算、運營等方面的資源和能力優勢，形成涵蓋智算力、高質量數據集、人工智能平臺、各領域算法能力、大模型、智能4化應用的全棧新型智能化服務能力，達業界先進水平。中國移動將加快人工智能融入智慧城市中，推進“AI+”產業發展，培育新質生產力。在《國務院關于進一步優化政務服務提升行政效能推動“高效辦成一件事”的指導意見》中，明確要求探索應用自然語言大模型等技術，提升線上智能客服的意圖識別和精準回答能力，優化智能問答、智能搜索、智能導辦等服務，更好引導企業和群眾高效便利辦事。2022年以來，中國移動基于智慧城市領域的豐富建設經驗，以通用大模型為基礎，融合政務領域數據開展精調，引入政務領域約束模型對輸出進行限制，打造了面向政務領域的行業大模型—九天·海算政務大模型。以政務大模型為技術底座，構建“平臺+算法+應用”體系，實現了對黑龍江省政務工作的整體提升和跨越式發展。聚焦一網通辦、一網統管、一網協同三個典型應用場景，打造智能客服、龍政智搜、數字人、公文寫作等具體應用，提供政務領域的智能處理優化、智能內容生成等服務，助力黑龍江省政府更加高效地履行職責，切實提升群眾的滿政務領域三個“一網”政務問答政務數據分析智能搜索…文本生成圖2九天·海算政務大模型應用實踐2.2.AI+智慧城市安全發展現狀新型智慧城市是推動城市治理體系和治理能力現代化、提升城市居民幸福感和滿意度的新理念和新路徑，也是網絡強國建設和數字經濟發展的重要5載體。隨著AI技術的不斷發展和在智慧城市智領域廣泛的應用，人們享受技術紅利的同時，也面臨著日益突出、復雜多變的網絡安全風險，規模性隱私數據泄露、關鍵信息基礎設施遭受網絡攻擊等安全事件屢見不鮮。量AI技術，各項便民技術正在深度改造城市的運營和管理方式。然而，伴隨著便利性和效率的提升，城市管理者大多沒有關注AI自身的安全性：如何處理數據安全、隱私保護以及算法透明度等問題，正成為當前我們面臨的重要挑戰。另一方面從智慧城市的網絡攻擊防護視角來看，面對新場景、新特征、新需求，深層漏洞和未知威脅越來越多，尤其是網絡安全環境更加趨于復雜化、交織化和自動化，需要結合AI加強智能化監測預警和主動化安全防護的聯動，陣線前移和協同聯動的主動防御顯得尤為重要。當今國內外安全大小模型迅猛發展，國際市場出現包括思科安全人工智綠盟、奇安信、啟明星辰、深信服、天融信等均也提出了安全大模型或小模型。然而各家廠商幾乎沒有針對智慧城市安全特點的訓練集，用AI賦能智慧城市安全尚處于起步階段。360安全集團在2024年一季度末發布安全大模型3.0,包括語言、規劃、判別、道德和記憶五個中樞，據悉采用360安全大模型能實現MTTR縮短一半、人均工作效率30%的提升。華為在HSA2024會議上發布L4級AI安全智能體(網絡安全高度自主防御)。華為具備全棧大模型能力，包括從AI芯片(昇騰系列),CANN計6算架構，MindSpore深度學習框架，MindStudio開發工具到智算訓練網絡以及盤古通用大模型，目前實現自動處置90%以上的安全事件，極大降低人工工作量，提升網絡安全運維效率。該模型依托于中國移動九天基座大模型的強大計算能力和廣泛數據處理優勢，深度融合啟明星辰安全行業特有的海量數據資源，包括但不限于威脅情報、漏洞數據庫、專業安全知識及最新安全研究成果等。針對不同的智慧城市應用場景，再訓練出如醫療類數據識別、政務數據脫敏等多個小模型。2.2.1.智慧城市AI技術風險防范緊迫性隨著人工智能(AI)技術在智慧城市中的廣泛應用，不僅城市運營形態發生了巨大變革，人們的生活方式也因此變得更加便利。但同時，也正由于智慧城市資源的獨特性，復雜且不可預測的AI技術可能帶來的安全風險的破壞力也是有獨特性的。AI在智慧城市服務中的決策一旦出現問題，可能帶來極壞的社會影響，影響智慧城市的公信力，甚至可能波及各行業，導致社會安全、法律責任、道德困境或輿論的負面影響出現。如在園區治安管理、災情應急管理中，一旦出現問題，將出現嚴重安全事故。既確保人工智能發揮積極作用，又最小化其潛在風險。建立完善的數據安全機制和隱私保護政策，確保個人數據得到合理使用和保護。同時，加強對AI算法的監管和審查，推動算法透明化和公正性。智慧城市的發展堅持科技創新與風險管理相結合，促進人工智能技術的7可持續發展，提升城市治理和服務水平。只有在充分認識和有效應對AI技術風險的基礎上，智慧城市才能實現可持續、智慧和安全的發展。2.2.2.AI賦能智慧城市安全保障必要性在智慧城市的環境中，傳統網絡安全領域的防御技術如基于規則和認證的機制，例如防火墻、入侵檢測系統和入侵防御系統等，雖然起著重要作用，但面對新型威脅和變種攻擊時，這些方法可能顯得力不從心。智慧城市因其龐大的資源暴露面、復雜的業務邏輯、多樣的數據交易形式，使得安全管理面臨極大挑戰。隨著網絡技術和數據價值的迅速發展，網絡安全威脅呈現出智能化、隱匿性和規模化的趨勢，為智慧城市的安全防御帶來了更大的挑戰。其中，人工智能賦能的安全攻擊已成為一種常見現象，包括但不限于漏洞自動挖掘、惡意軟件智能生成、智能網絡破壞等形式。考慮到智慧城市的特性，采用AI技術助力網絡安全管理以應對新形勢下的安全挑戰是必要的。通過AI分析數據流，可以識別那些難以通過傳統方法檢測出的復雜威脅，從而提高威脅檢測的準確性和效率。利用訓練好的模型識別惡意代碼特征，可以快速準確地檢測異常行為和惡意軟件，從源頭上抑制安全威脅的滋生。此外，生成實時的威脅報告并進行趨勢分析，有助于預測潛在的攻擊行為，提高網絡安全的響應速度和效果。AI技術的應用不僅提高了安全防御的智能化和自適應性，還加強了快速、高效應對安全威脅的能力，有助于建立更為安全穩定的智慧城市網絡環境。通過持續創新和優化，結合人工智能技術的智能防御手段，智慧城市可以更好地保護網絡安全、促進信息共享和智能應用，實現城市數字化轉型的順利推進。83.AI+智慧城市安全風險與需求3.1.AI技術在智慧城市應用風險要風險涉及智慧城市模型算法、智慧城市數據要素、智慧城市AI服務、智慧城市AI平臺和智慧城市AI運營等多個方面。3.1.1.智慧城市模型算法風險(1)城市模型算法偏見和歧視風險題。由于訓練數據可能存在隱性的偏差，使得模型在預測或決策時可能會無意中傾向于某些群體或者反對某些群體。比如，在公共服務的分配、交通管(2)城市模型算法倫理和法律風險9智慧城市AI模型同樣存在濫用用戶偏好數據，導致城市服務存在信息差，用戶被“大數據殺熟”的倫理風險。(3)城市模型算法不可解釋性風險智慧城市中的AI模型算法普遍面臨著不可解釋的風險。這意味著，盡管AI模型能夠生成有效的預測或決策，但其內部的復雜計算過程往往是難以理解和解釋的。這種“黑箱”特性在一定程度上增加了使用AI模型的風險，因為它使得錯誤或者偏見難以被檢測和糾正。例如，如果一個用于政務服務分配的AI系統做出了錯誤的決策，而我們無法理解決策背后的邏輯，那么就難以找到問題的根源并進行改進。由于智慧城市的大模型代表的是城市服務的權威，它的決策和輸出直接影響到公眾利益。如果大模型出現誤導，需要對所產生的邏輯進行溯源解釋。因此，對于數字政府而言，解決大模型的不可解釋性問題，確保其決策過程的透明和公正，不僅是技術層面的需求，更是社會責任與公眾期待的體現。(4)城市模型算法被逆向篡改風險智慧城市面向社會提供大量公共接口和服務，一些惡意攻擊者可能通過分析和理解AI模型的運作方式，找到其中的漏洞，并獲得運行內部邏輯，達到逆向攻擊的效果。這種對抗攻擊能夠破壞AI模型的正常功能，在智慧交通或治安監控等場景下產生誤判，并可能獲得AI模型內部邏輯進而對模型算法同樣的，攻擊者可以通過智慧城市面向公共的服務接口作為入口，通過公共組件的漏洞利用或人員意識淡薄，違規獲取已部署的人工智能模型算法的詳細信息，包括參數、結構、功能等，從而導致知識產權被侵犯或商業機3.1.2.智慧城市數據要素風險(1)智慧城市數據非法采集風險在智慧城市的運行中各類AI模型需要采集、訓練大量城市數據。由于智慧城市依賴大量的數據驅動，包括公共服務、交通管理、能源規劃等各方面，這些數據中往往涉及到國家政務、城市管理數據。如果沒有得到合法授權，可能構成違法犯罪的行為，嚴重的甚至影響國家安全。智慧城市也需要大量公民個人信息，隨著《個人信息保護法》的出臺，對于數據采集和處理提出了更高的要求。這意味著，在收集、使用個人信息時，應明確告知并取得用戶的同意，并限制其使用范圍。任何未經授權擅自獲取或使用個人信息的行為都將受到法律的嚴懲。因此，所有在智慧城市運營中涉及到的AI模型，必須嚴格遵守相關法律法規，確保所有采集和處理的數據都是在合法、合規的情況下進行的，以保證國家安全和公民的個人信息(2)智慧城市訓練數據異常風險智慧城市的AI模型依賴于大量訓練數據，如果這些訓練數據存在異常，可能會導致模型的預測結果出現偏差。異常情況包括數據含有噪聲、錯誤標簽、訓練數據成分組成不合理或者是與大部分數據不一致的離群點。這些異常數據可能會影響模型的學習效果，導致在實際應用中，如交通管理、政務服務等方面產生誤判。(3)智慧城市數據投毒污染風險在智慧城市AI模型中大量訓練數據來自社會公開數據。這種情況下，惡意攻擊者可能會注入有害的或誤導的信息到數據集中，對模型的訓練過程進行干擾。例如，攻擊者可能會修改大眾數據如水電使用數據，或者添加具有錯誤標簽的數據，使得AI模型在學習時產生偏見或誤解。這樣的污染數據可能會嚴重影響模型的性能和準確性。(4)智慧城市訓練數據泄露風險一方面智慧城市中存在著大量的敏感數據，包括居民的個人信息、地理位置數據、交通流量數據等。一旦這些數據被非法獲取或誤用，可能對個人隱私造成嚴重侵犯，甚至引發國家安全數據泄露等犯罪行為。另一方面，智慧城市存在大量對外服務接口和系統，多類系統存在異構復雜性，極大增加了數據暴露風險。因此AI訓練模型在使用敏感數據時，應重點關注數據泄露(1)城市服務輸出內容偏差風險智慧城市的AI服務依賴于AI模型的準確預測和決策，但如果AI模型的輸出內容出現偏差，可能會影響到整個城市運行的效率和公平性。例如智能問答機器人，如果其輸出內容受到數據偏見或錯誤學習的影響，如在政務場景回答偏差，將導致公信力下降，社會服務質量降低。(2)城市服務生成內容違規風險智慧城市常使用AI內容生成服務為社會提供服務，AI生成或合成的內容由于其具有一定的隨機性和不可控性，可能導致違規內容、歧視偏見、隱私泄漏、內容侵權等眾多問題的出現，這對公眾的生命財產安全、國家安全、意識形態安全及倫理安全構成威脅。特別是在與大型模型的交互提問場景中，用戶輸入的提示詞也可能存在包括涉政、涉黃、涉恐、涉暴、涉賭、涉毒、誘導犯罪和惡意代碼等各類違法違規內容風險。若模型的內容安全防護機制不完善，可能會導致模型產生有害、不適當或違反公序良俗的輸出內容。AI生成內容異?？赡苁构娦畔l布系統誤傳播不真實或者有害信息，造成社會不安。同時若智慧城市AI生成內容有違法違規內容，也將對城市運營者造成影響，造成不良社會輿論。(3)城市服務異常調用安全風險智慧城市AI服務異常調用安全風險主要涉及服務調用失敗、非法訪問和頻繁請求等問題。當前社會出現利用AI技術對系統進行攻擊的行為，如果通過AI批量生成能力對智慧城市服務大規模調取，或通過AI模式識別能力對身份認證繞過后進行非法訪問，將對城市治安穩定帶來較大風險。傳統的網絡安全攻擊對智慧城市AI服務仍然有效，包括DDoS攻擊、CC攻擊、漏洞掃描、木馬植入等。當網絡攻擊大面積影響城市服務時，將導致業務系統宕機無法正常對外提供服務，嚴重的將導致城市交通、公共安防、(1)智慧城市算力惡意消耗風險智慧城市AI算力惡意消耗風險主要來自外部的惡意攻擊者和內部的不適當使用。外部攻擊者可能通過發起大量無意義的請求，導致AI服務器資源被大量消耗，進而影響正常服務提供。內部不適當使用，如無節制的資源消耗，不合理的任務分配，也可能使得算力資源在無價值的任務上被浪費，影響關鍵任務的處理效率。(2)智慧城市供應鏈安全性風險智慧城市AI技術平臺常依賴國內外各類系統組件開發完成，在AI技術研發、生產、分發和維護過程中可能出現安全威脅。因上游芯片、算力平臺目前仍以境外技術為主、國內技術為輔，智慧城市AI技術目前可能因國際形勢、技術封鎖等原因帶來安全風險，最終影響社會公眾安全。3.1.5.智慧城市AI運營風險(1)法律遵從風險智慧城市在數據收集、存儲、處理和傳輸過程中，必須嚴格遵守相關法律法規，如《網絡安全法》、《數據安全法》等，確保數據的合法性和安全性。然而，隨著AI技術的快速發展，其在智慧城市領域的應用越來越廣泛，對現有的法律法規提出了嚴峻挑戰，如何界定AI技術在智慧城市建設中的法律責任，成為亟待解決的問題。2023年7月，國家網信辦聯合七部門發布并施行《生成式人工智能服務管理暫行辦法》進一步規范AI技術的發展。但要想更好地發揮AI技術作用，規避潛在風險，還應以更加科學直接的法律方式進行治理。(2)運營管理風險智慧城市的建設涉及多個部門、領域和層級的數據共享和協作，同時涉及大數據、云計算、物聯網等眾多技術棧，傳統的運營模式容易產生“煙囪運維”,對運維人員技術能力要求高，伴隨AI技術的廣泛應用，運營方面的風險愈加凸顯。一是智慧城市在數據的采集、傳輸、存儲和處理過程，包含大量用戶的個人隱私數據，運用AI技術對數據的調用和處理存在數據泄露的風險。二是AI技術的應用依賴于大量的算法，如果算法出現錯誤或失控，可能會造成嚴重后果。三是我國智慧城市依舊存在安全運營模式不清晰、重建設輕運營等問題，嚴重影響智慧城市安全高效運轉。智慧城市安全運營團隊同樣存在相應問題。日益嚴重的網絡安全威脅正在對已經承受巨大壓力的安全從業人員施加額外的負擔。當我們將解決AI引入網絡安全問題時，需要更多專精于AI和ML網絡安全的專家。專業技術人員根據項目需求進行維護和調整，將極大地提升智能網絡安全技術的實際效益。但是目前全球范圍內合格且訓練良好的此類專業人員的數量，遠遠無法滿足當前的需求。(3)評價模糊風險智慧城市在建設過程當中，智慧城市的運行評估是非常重要的一個管理環節，它有利于我們智慧城市建設和發展的持續改進，同時也可以推進我們智慧城市的有效建設，把握智慧城市建設的基本方向。但是，伴隨AI技術在智慧城市廣泛的應用，傳統的智慧城市評價體系不足以支撐新技術應用下的新需求。3.2.1.智慧城市網絡安全需求(1)智慧城市智能化網絡安全需求對于基礎的網絡安全設備而言，在人工智能的技術發展的背景下，已經無法應對下一階段復雜的網絡環境。智慧城市的網絡環境具有傳感設備數據量大、系統種類多、數據流動性強等特點，然而目前尚未形成安全協同。隨著智慧城市中接入的設備和系統不斷增多，其攻擊面也隨之擴大。每個連接點都可能成為潛在的入侵途徑。此外，智慧城市中涉及的關鍵基礎設施如電力、交通、供水、通信等系統存在被網絡攻擊的風險，這些系統通常同時運行、相互交互，使得傳統的封閉式網絡安全防護手段和基于特征與規則的威脅檢測技術難以覆蓋整個智慧城市的復雜網絡環境。(2)智慧城市智能化決策需求大模型是人工智能領域廣泛應用的技術，當前已衍生出多種不同領域的大模型，其中，安全領域相關的安全大模型是智慧城市中一項關鍵的技術。傳統的網絡安全運維方式，需要運維人員具備良好的技術能力，才可以做出及時正確的決策。在智慧城市中，網絡環境復雜，設備眾多，安全運維難度高，需要能夠支撐問答的智能助手進行輔助，智能問答模型，能夠回答安全管理人員的各種查詢，提供數據支持和決策建議，幫助他們做出明智的安全決策，提升整體安全管理水平。通過滿足以上需求，智能問答模型能夠顯著提升智慧城市人工智能安全領域的運營效率和防護能力。(3)智慧城市自動化自檢需求在智慧城市網絡環境中，除了對網絡環境的分析預測，以及實時策略更新外，各個系統的安全自檢也是重要的一環。常規的安全測試如滲透測試，高度依賴技術人員的人為判斷與操作，亟待利用人工智能技術輔助測試人員，提高效率和威脅識別率。人工智能的介入尤其在多系統的復雜情況下，優勢明顯。3.2.2.智慧城市數據安全需求(1)智慧城市數據定向處理需求在智慧城市中，會產生和收集的大量數據，包括個人信息、公共服務數據、交通數據等，這些數據的不當使用可能帶來嚴重后果，如個人隱私泄露、國家和社會敏感數據暴露，這些數據被惡意利用進行廣告騷擾、電信欺詐、社會工程學攻擊或商業情報竊取等違法行為。同時，數據存儲和使用不當也會引發一系列風險。目前，智慧城市數據在數據使用和訪問過程中，缺乏必要的數據保護手段，使用如數據水印、數據脫敏等技術，對智慧城市數據進行標注和有限范圍內脫敏，讓數據可追溯，防止使用人工智能時產生的數據投毒和數(2)智慧城市數據分類分級需求人工智能技術支持下的智慧城市，數據是其重要的資產，但是龐雜的數據，往往致使重要或敏感數據缺乏梳理整理，難以針對海量數據實施有效的分類分級保護措施。使用智能化手段對海量數據進行分類分級，不僅能提升效率，減少人工輔助過程，而且自動化的流程，可以讓數據整理不再繁瑣。多種智能分類器，在智慧城市的各個行業中進行自動化標簽處理，為人工智能提供良好的數據基礎。(3)智慧城市數據合規審計需求智慧城市數據審計合規需求是一個綜合性的要求，旨在確保智慧城市建設中數據的安全性、合規性和有效性，遵守國家及地方關于數據保護、隱私保護等相關法律法規要求，應建立健全的數據管理政策和流程，明確數據訪問和使用的權限和規范，加強對數據的監控和審計。智能化的審計系統和工具，可以讓關鍵數據方便審查，通過強化數據審計方面的管理和措施落實，確保智慧城市建設中數據的安全、合規和有效使用。3.2.3.智慧城市應用安全需求(1)智慧城市內容安全需求智慧城市中，應用涵蓋了交通管理、能源管理、公共安全、衛生健康、環境監測等多個方面，極大提高了城市運行效率和居民生活質量。然而，智慧城市軟件內容出現異常，將導致城市服務效率降低，嚴重者將影響社會輿論和智慧城市公信力。(2)智慧城市應用監測需求上層應用和服務支撐著智慧城市運轉，提供多種功能性的接入點，方便城市服務提供者和使用者更快捷的訪問，同樣，API一類的接入點會給攻擊者提供攻擊渠道。人工智能將為應用監測提供更強的技術，實現城市智能化管理。覆蓋到所有的API,動態監測API的越權攻擊、隱私泄露、拒絕服務攻擊等多種行為，并且對交互內容進行風險識別，實時發出告警，保護服務和應用的安全，持續提供可靠的服務。(3)智慧城市擬態分析需求隨著人工智能技術的發展，更多的類人模型、應用也隨之誕生，在給用戶提供便利的同時，也給了惡意攻擊者新的攻擊手段，使其可以規避常規防范機器行為的防護措施。對抗此類攻擊，同樣需要人工智能的技術支持，通過機器學習，對惡意用戶和實體的行為進行分析，減少人工識別的錯誤率，同時，諸如擬態蜜罐技術，通過模擬真實服務和偽裝來欺騙攻擊者，從而達到保護真實系統的目的。此類人工智能安全技術，可以對抗更高層次的攻擊，提升智慧城市總體的防御能力。3.2.4.智慧城市公共安全需求公共安全事關國家安危，社會穩定。隨著我國城市化進程加快，城市人口增加、功能多元化、規模不斷擴大，城市運行系統日益復雜，安全風險不斷增大，傳統的城市公共安全管理已經難以適應時代發展的要求，不能有效應對新的挑戰。AI技術的不斷發展，在長期追蹤、智能分析、趨勢預判和城市精準化管理方面的優勢，可以幫助提升公共安全風險態勢感知、預測預警、動態管控等方面的能力。此外，在高精度識別、實時性處理、交通安全監測等領域，也亟需AI技術的應用，助力提高城市治理能力現代化。在國家標準智慧城市體系架構和《中國移動人工智能安全白皮書》的指導下，中國移動AI+智慧城市安全體系架構，針對智慧城市AI風險防范和AI賦能智慧城市兩部分內容進行設計。智慧城市AI平臺能力安全智慧城市AI平臺能力安全智慧城市A模型算法安全藍食層教育培訓智慧城市人工智能安全體系柜架智慧城市場景智慧園區環保監測智慧醫療智慧交通4項安全基本原則統一領導、分級管理安全三同步協同合作、推廣應用“1264”人工智能安全原則1市應用安全內容安全治理災情監測預公共衛生安圖3AI+智慧城市安全解決方案體系框架AI+智慧城市安全集中體現在智慧城市AI風險防范、AI賦能智慧城市安全兩個方面。首先讓AI模型合法合規、算法公平公正、數據安全可信、計算平臺可管可控。其次加強AI對智慧城市安全的賦能，將智能化手段運用到智慧城市的安全防護工作中，提高網絡安全水平。最終總體實現“讓智慧城市更安全，讓城市安全更智慧”的目標。4.2.智慧城市AI風險防范智慧城市AI風險防范針對人工智能技術應用與平臺存在的安全風險，綜合考慮模型算法、數據要素、業務服務、平臺能力、運營合規等五個方面進行全面防范。通過對模型算法的審查優化、數據隱私保護、業務服務監控、平臺安全強化和合規管理，確保智慧城市中的AI能力在可管可控的前提下安全可信地運行。這樣的風險綜合防范措施不僅提升了智慧城市的安全性，也保障了AI技術的穩定、可靠和可持續發展，促進智慧城市建設朝著更加安全和可信賴的方向不斷前行。4.3.AI賦能智慧城市安全AI賦能智慧城市安全是開展人工智能核心技術研究在智慧城市各個場景中的應用，利用如安全大模型等核心技術，提升基礎網絡安全、數據安全治理、內容安全治理、業務應用安全等防護水平。AI賦能智慧城市安全是通過開展人工智能核心技術研究，并將其應用于智慧城市各個場景中，以提升城市安全保障水平。利用諸如安全大模型等核心技術，可以加強基礎網絡安全、數據安全治理、內容安全治理以及業務應用安全等多個方面的防護措施。在基礎網絡安全方面，AI技術可以實現實時流量監測和入侵檢測，識別和阻止潛在威脅，加固網絡邊界防護。在數據安全治理方面，AI可用于數據加密、訪問控制和安全審計，確保數據傳輸和存儲的安全性。針對內容安全治理，AI可以檢測惡意軟件、過濾有害內容，保障網絡環境清潔和健康。而在業務應用安全方面，AI技術可以通過身份認證、訪問控制等手段，減少安全漏洞和數據泄露風險，確保業務系統穩定運行。通過AI技術的全面運用，智慧城市可以提高安全防護水平，減少網絡風險和安全事件的發生，保障居民和城市信息的安全。AI賦能的智慧城市安全體系不僅提高了安全防范的智能化和自適應性，也為城市安全管理提供了更為高效和可靠的解決方案，推動智慧城市建設向著更加安全、智能和可持續4.4.智慧城市安全基本原則智慧城市的安全將遵循下面4個原則：(1)統一領導、分級管理：智慧城市安全中遵照“誰主管，誰負責；誰運營，誰負責；誰接入，誰負責”的原則，將責任分工進行明確，落實人工智能安全的主體責任。(2)安全三同步：按照工業和信息化部的關于安全三同步的制度要求，在智慧城市人工智能安全建設和運行過程中，應符合同步規劃、同步建設、(3)堅持“1264人工智能安全的規劃”:中國移動明確了人工智能安全領域的發展原則，即規劃一個工作體系框架，著力兩個工作發力方向，落實六大AI安全風險防護措施，明確四大類AI賦能網絡安全工作。后續的AI+智慧城市安全發展也將按照這個原則，構建多層次、全方位的安全保障體系。(4)堅持協同合作、推廣技術應用：保持開放合作的姿態，積極參與行業AI安全標準的研究，廣泛開展合作與資源共享，共同面對AI+戰略轉型過程中的新挑戰，共同突破AI+智慧城市安全的新的高度。5.智慧城市AI風險防范方案5.1.智慧城市Al模型算法安全5.1.1.維護城市模型公平透明5.1.2.提升城市模型可解釋性提升智慧城市AI模型算法的可解釋性，需采用清晰和透明的算法，記錄5.1.3.保證城市模型合法合規私保護政策，遵守數據合規性要求，建立透明的算法決策流程，進行風險評估和監控。依據國家《新一代人工智能倫理規范》、《科技倫理審查辦法(試行)》等要求開展定期的倫理審查檢查，強化科技倫理風險防控，促進負責任創新，有效預防潛在風險。增加面向智慧城市用戶建立服務使用反饋溝通渠道，用戶可通過該渠道反饋使用人工智能系統過程中遇到的問題。智慧城市管理者應通過國家互聯網信息辦公室“互聯網信息服務算法備案系統”對服務使用的模型和服務形式進行備案。保證算法模型有效監督和為確保智慧城市模型不可逆向，可采用模型加密混淆技術，通過對算法和數據進行加密、混淆處理，保護模型不被惡意破解。同時對模型輸出內容進行脫敏處理，去標識化處理可以減少數據關聯性，確保輸出結果匿名化，以防止模型被逆向推導。5.2.智慧城市AI數據要素安全5.2.1.智慧城市數據采集安全為保證智慧城市模型數據采集安全，要對數據源進行可信驗證，確保數據來源真實可靠。確保數據源內容中不包含違法不良信息、偏見歧視、商業秘密等內容，并標記數據來源可追溯或獲取開源許可協議。同時，明確合規的數據采集、使用和存儲規則，對敏感信息進行脫敏處理，保證個人隱私不被侵犯。根據合規要求可簽署必要的用戶知情書。智慧城市要確定能夠訪問人工智能系統相關數據的用戶或程序的范圍，并對此實施了數據安全訪問控制。為了實施這些控制，可以采用包括賬號口令、指紋識別、人臉識別等的身份驗證方式，以及角色管理、權限管理和訪問控制列表等授權管理方式。同時，智慧城市需要對訪問數據的行為進行了審計，包括記錄了訪問用戶信息、訪問時間、訪問內容和訪問結果等信息。5.2.2.智慧城市訓練數據配置保證智慧城市模型訓練數據配置合理性首先需要明確模型目標，選擇與目標相關的高質量數據源。其次，適當地進行數據預處理，如去除噪聲、填充缺失值、進行特征工程等，以提升模型性能。要保持數據集的多樣性和平衡性，避免出現偏向導致模型訓練不準確。另外，定期對模型進行評估和調整，不斷優化參數設置，確保模型最終效果的合理性和有效性。最后，及時跟蹤新的研究成果和技術發展，更新和優化數據配置方案。要加強數據的標注安全，在進行訓練數據標注前，需要明確標注目的、標注內容、標注人員的資質、標注環境以及原始數據的類型和級別，以確保標注內容的追溯性。在執行標注任務過程中，可以進行安全審計、數據分類存儲并對標注過程進行審查。在標注結果輸出時，我們對輸出內容的格式、級別和內容進行了核查，并在數據交付時采取了諸如加密傳輸等的安全措施。標注任務完成后，需要對數據標注情況進行人工抽查，如果發現標注內容不準確，則5.2.3.智慧城市數據防范投毒保證智慧城市模型訓練數據不受投毒污染，主要依賴于有效的數據清洗和驗證，確保數據采集源的可靠性，通過加強訪問控制和權限管理防止惡意5.2.4.智慧城市數據泄露防范5.3.智慧城市AI業務服務安全5.3.1.城市服務內容生成監控在用戶輸入環節，智慧城市針對那些輸入違法不良信息或者使用、引導模型生成、傳播違法不良信息的用戶，設定了拒絕回答或進一步的處罰措施。在模型輸出環節，設定了關鍵詞或敏感詞庫，采用分類模型等方法對輸出內容進行監測。同時，智慧城市也需要設定了異常答案和正常答案的評判標準，可以設置標準問題庫，通過識別特定的提問內容，調用標準答案以降低輸出內容的風險。我們將與意識形態、偏見歧視、侵犯個人或組織權益的內容一起納入監測管理。最后，通過構建內容安全監測系統，管理者對預計輸出或傳播的文本、圖片、音頻、視頻等內容進行監控，對已確認的不良信息進行過濾，對疑似的不良信息通過人工進行輔助審核處理。5.3.2.城市服務偽造內容識別智慧城市在輿情監控工作中，需要關注偽造內容識別。深度偽造是一種在社交媒體上常見的違法違規行為，它利用人工智能技術篡改和捏造真實的圖像、視頻和音頻，以假亂真地誤導公眾，產生不良影響。因此，智慧城市可以根據行業監管要求和自身業務發展需要，部署能夠識別人工智能生成或者合成內容的檢測系統，從而對常見的深度合成算法以及人工智能模型生成或合成的內容進行識別。5.3.3.智慧城市服務調用安全智慧城市服務調用安全主要涉及身份驗證、權限控制和數據傳輸安全。身份驗證確保只有許可的用戶或服務可以訪問系統，防止惡意攻擊。權限控制在驗證身份后進行，確定用戶或服務可以訪問哪些資源，防止濫用。數據傳輸安全涉及在網絡中傳輸的所有數據的加密和完整性校驗，以防止數據被智慧城市也需要防范網絡安全攻擊。對其人工智能系統的外部訪問、輸入數據、及行為決策進行了檢測，以便及時發現針對業務系統的安全攻擊。智慧城市持續監測人工智能系統的運行狀態和安全狀況，并及時警告任何系統運行的異常情況。除此之外，智慧城市可以部署了針對人工智能應用服務調用接口的風險監控和安全防護能力，包括對API的資產監控、訪問控制、5.4.智慧城市AI平臺能力安全5.4.1.智慧城市算力防范濫用行安全評估。如果超出算力閾值，系統會限制算力用量或拒絕其算力請5.4.2.智慧城市供應鏈安全性智慧城市AI模型訓練前，檢查使用組件的版本及已知漏洞。推薦使用國市產業線建立了一套包括風險管理、供應方選擇和管理、產品開發采購及安全維護在內的完整的供應鏈安全管理策略。這不僅涵蓋了供應鏈各個環節的風險評估與控制，也包括對供應商的嚴格篩選和管理，以及對產品開發采購和安全維護的規范操作。通過這些措施，我們能夠確保供應鏈的安全穩定，降低因供應鏈問題引發的風險。5.5.智慧城市AI運營合規安全數字化時代，網絡攻擊的手段和頻率不斷增加，企業面臨的安全威脅日益嚴峻。傳統的安全運營中心(SOC)依賴人工分析和響應，不僅效率低下，還容易出現誤報和漏報。攻擊面的擴大和數據量增加導致安全運營人員疲于應對，難以在短時間內作出準確的響應。當下技術通過機器學習、深度學習和自然語言處理等技術，能夠在海量數據中快速識別出潛在威脅，并提供有效的解決方案，提升安全運營效率，發揮體系的最大優勢，滿足國家對新型智慧城市安全運營工作的要求。5.5.1.法律遵從建設智慧城市安全運營制度是確保安全運營工作順利進行的基石。通過項目制度、管理制度、合規制度的建設來幫助智慧城市明確安全管理標準、流程和責任分工，及時發現和應對網絡安全風險，提高安全運營工作的效率，保障智慧城市安全的合規性，降低風險。同時，伴隨AI技術的廣泛應用，智慧城市的安全運營帶來了很大的便利，但是也帶來一系列的安全風險和挑戰，人工智能的不可預期性、自我進化能力以及對隱私和數據的侵犯等問題，智慧城市安全和可信度帶來了威脅，因此一個健全的AI+安全行業管理制度勢在智慧城市安全運營管理制度是做好安全運營工作的基礎，需要根據業務的實際需求和國家的具體要求制定安全運營管理制度和策略，并在實施過程同時為覆蓋安全運營的各個層面，可以制定分層級的安全運營管理制度體系，包括但不限于安全戰略、安全制度規范、安全制度流程、安全細則與指南等多個層次的管理制度。安全戰略類文件主要是根據智慧城市安全運營目標、業務需求等制定的安全運營管理方針，指導智慧城市安全運營的建設目標、管理范圍、基本原則等重要內容。安全制度規范類文件主要是為了落實方針政策而制定的管理規范、標準，應建立安全運營管理制度、人員管理、教育培訓、監測預警、應急響應、安全評估、檢查評價等制度規范。安全制度流程類文件主要用于明確安全運營管理的流程和規范操作，將安全動作固化，作為制度進行執行。一般包括安全事件管理、信息備份管理、安全培訓及考核、權限管理、應急預案、日志管理等文件。安全細則與指南類文件主要用于指導具體操作或運營過程中的留痕文件。一般包括申請表單、安全報告、安全記錄、事件清單、賬號口令等文件。5.5.1.2.AI制度建設人工智能技術應用廣泛，其中包括各種系統、算法和模型。這些技術的安全問題涉及到數據隱私、系統漏洞等方面。通過建立合理的管理制度，能夠提前識別和解決潛在風險，保障人工智能技術的安全性。(1)加強數據隱私保護數據是人工智能技術的核心資源，而數據隱私的泄露往往導致嚴重后果。因此，建立健全的數據隱私保護制度是非常重要的。包括明確數據采集和使用的規范、加強數據加密技術的研發應用等。(2)完善人工智能系統的監管機制對于人工智能系統的使用和運行，需要建立起一套嚴格的監管機制。包括對人工智能算法的訓練和測試過程進行規范，確保系統的穩定性和可控性。(3)加強安全漏洞的挖掘與修復人工智能系統中存在的安全漏洞是導致其安全問題的根源。因此，需要加強安全漏洞的挖掘和修復工作。建立起一套快速響應的漏洞修復機制，及5.5.2.運營管理建設在構建智慧城市安全運營體系中，運營管理工作能有效銜接安全管理制度和安全技術，確保安全管理制度和安全管理責任的有效落實，是智慧城市安全運營體系中的重要組成部分。在智慧城市的建設過程中，因其業務廣、場景多等特點，會涉及城市管理局、大數據局、第三方開發公司等多方建設運營，需要按照決策層、管理層、執行層、參與層、監督層的組織架構，合理設計智慧城市安全運營的組織架構，確保能有效協調整合各方資源，保證各層級、各部門間的溝通協作；指導和推動安全管理制度的制定與實施，確保安全措施的落實與執行。在傳統運營組織架構基礎增設AI運營組，運用AI技術自動化完成一些數據分析、預測等重復性的工作，大大提高企業的運營效率，同時幫助機構減少人力成本。此外，通過優化算法和模型，降低運營成本。為智能城市安全運營帶來新的發展機遇。監督層安全運營領導小組監督層安全運營領導小組安全運營領導小組辦公室/管理部門AI運營組Al+基礎網絡安全Al+數據安全Al+業務應用參與層安全資產管理組資產發現與識別資產脆弱性識別資產管理安全服務組滲透測試風險評估應急演練漏洞管理安全加固安全運維組日常巡檢重大活動保障安全培訓安全處置組安全策略優化事件處置全流程跟蹤安全監測組決策層管理層安全運營團隊執行層圖4安全運營組織架構(1)決策層決策層作為智慧城市安全運營組織的頂層和安全運營工作的決策機構，一般由智慧城市主要領導人、智慧城市內主管網絡安全的最高負責人構成。決策層主要負責統籌指導智慧城市建設中的安全運營工作，制定安全運營戰略或規劃，負責安全運營標準規范、管理制度及其他重大事項的審議等工作。(2)管理層管理層是連接決策層和執行層的橋梁，既要執行決策層下達的任務，又要指導、監督執行層的日?；顒?，在智慧城市安全運營組織架構中具有舉足輕重的地位，一般由網絡安全部門、信息安全部門牽頭組建。管理層主要基于決策層給出的策略方針，對安全運營實際工作制定詳細方案，因地制宜的制定與安全運營規劃配套的安全運營制度、標準規范；落實國家、省、上層關于安全運營建設經費的要求，落實各參與方的安全運營職責與分工，建立權責明確的安全運營管理組織；加強建設安全運營隊伍，加強人員安全管理，負責組織人員安全意識、安全技能教育與培訓，制定安全考核機制、供應商人員安全管理機制等；安排、協調和監督各部門網絡安全工作，及時向上層部門匯報等工作。(3)執行層考慮到智慧城市業務范圍廣的特點，執行層一般由業務部門具體安全運營人員、安全技術人員組成。執行層需要認真貫徹落實管理層提出的安全運營要求，針對上級部門的指示制定具體的實施方案，明確安全運營各項工作的階段任務、分工及時間節點，保證工作有序進行；要做好日常安全運維、應急處置、安全檢查等工作。同時運用人工智能技術(AI)對業務進行運營、管理和優化的過程，嚴格遵守安全運營操作規程，能及時發現制度規范中的漏洞和潛在危險，幫助管理層及時調整改進。(4)參與層參與層是管理層和執行層的協助者。參與層主要由第三方服務商(如等保測評、密評服務商等)、科研機構、專家等人員構成。參與層主要負責協助執行層承擔安全運營的建設、實施、維護、服務等工作；協助管理層承擔安全運營標準或制度的制定。(5)監督層監督層要獨立于決策層、管理層、執行層和參與層，人員不能共同兼任，要確保其監督審計工作不受其他四層的影響，從而保證組織能發現安全運營過程中真實出現的問題和面臨的風險。監督層主要對安全運營方面的制度、策略、規范文件等的貫徹落實情況進行查驗、監督和考核，對安全運營工作進行監督落實，對安全運營風險進行監控和審計。(1)人員任命人員是組織內部的核心要素。人員任命的精要是要將合適的人員配備到合適的職位上，這對安全運營人員管理也至關重要。人員任命主要有以下幾類角色：一是責任人聘任，在安全運營組織體系中首先需要任命安全第一責任人，統一負責安全相關事務，承擔相關安全責任，一般由部門第一負責人擔任；二是信息安全經理(CSO),負責公司的整體信息安全策略，制定和實施信息安全政策，監督企業內所有有關信息安全的活動；三是網絡安全工程師，主要負責監控公司的網絡，預防和應對網絡攻擊，確保網絡的穩定和安全；四是安全審計員，通過審查公司的信息系統和操作過程，評估公司的信息安全措施是否得到有效實施，是否符合相關法規和標準。(1)AI技術在智慧城市領域的應用日益廣泛，不僅提升了城市的智能化水平，還帶來了更高效、更便捷的管理和服務方式。然而，要確保AI技術在并對機構管理者及普通運維人員進行AI技術賦能培訓。確保AI技術在智慧城市中的合規化應用，并充分發揮其潛力，為智慧城市的可持續發展提供有力支持。與知名高校的AI相關專業合作進行人才聯合培養。通過成立專門的聯合實驗室或專項研究小組，互派師生、人員參與其中，深入到教學現場與業務一線，結合學術研究、專業教學和智慧城市業務研發的需要，更有針對性地從源頭培養未來人才。智慧城市安全運營方案以AI大模型幫助企業在網絡安全中解決告警數量多，噪聲大，并且人員能力難以支撐高效的告警、事件研判等問題。同時，監控AI技術在智慧城市濫用問題。安全運營大模型具備自然語言對話能力、檢測能力等智能化功能，能夠實現7×24小時全天候值守，提升效率并縮短對網絡安全風險和威脅的響應時間。大模型的應用承載著80%的安全運營操作，極大地提高了安全運營效率，從而構建了安全運營新范式。通過智慧城市安全運營大模型，可實現“發現告警-智能研判-威脅定性-封堵隔離-影響面調查-加固建議”(1)安全管理類指標。主要是對各地智慧城市安全運營管理措施是否充分進行評價，其主要包含安全運營戰略規劃、安全運營標準規范、安全運營管理組織、人員安全管理以及安全運營投入5個指標。(2)安全運營類指標。主要是對智慧城市安全運營體系在運行過程中的風險識別、安全監測及應急處置等能力進行評價，其包括資產管理、安全監測、安全運維、安全處置、安全檢查、安全審計等指標。(3)安全效果類指標。主要是對智慧城市安全運營體系的實際運行效果進行評價，其包括安全漏洞、安全事件、攻防對抗等指標。(4)智能化運營指標。主要是對智慧城市AI+安全運營體系的結合程度進行評價，其包括AI能力平臺安全水平、AI合規性、實際效果等。6.AI賦能智慧城市安全方案6.1.Al+智慧城市網絡安全智慧城市AI+網絡安全是通過人工智能技術來保護和增強網絡層的安全性，涵蓋下一代防火墻、全流量威脅檢測、智能路由與負載均衡等技術，與傳統網絡安全不同的是，AI+的介入對傳統安全領域難解決的問題如加密與隧道技術提供了解決方法。智慧城市將廣泛部署防火墻，以應對日益復雜和多樣化的網絡威脅，具備AI技術支持的下一代防火墻，不僅具備傳統防火墻的包過濾功能，還可以通過人工智能和機器學習，能夠進行網絡行為分析，識別異常模式，并結合威脅情報源提供實時的威脅反饋和響應。這些功能使其能夠在智慧城市中提供比傳統防火墻更加全面和智能的網絡安全保護，有效應對現代網絡環境中6.1.2.全流量威脅檢測在智慧城市中，加密流量占網絡流量的比例已超70%,傳統威脅檢測方式效果減弱。AI全流量監測通過最佳監督式機器學習算法和網絡協議還原技術，訓練分類標記并建立增量式學習數據庫，構建自動化威脅檢測體系，實現對惡意加密流量的高效準確識別。系統采用有監督的機器學習算法進行樣本采集、處理、模型訓練、驗證，使用leaf-wise分裂策略進行分類，提高檢出準確度，縮短模型訓練時間。同時，采用互斥特征捆綁算法提升檢測效率，降低內存消耗，有效檢測惡意加密流量、DGA域名、隱蔽隧道等高級威脅。結合威脅情報和檢測模型等多種手段，全面識別網絡流量中的威脅行為，為智慧城市安全運營提供支持。6.1.3.智能路由與負載均衡智慧城市中的智能路由和負載均衡是確保城市網絡基礎設施高效、安全、可靠運行的重要技術，AI可以優化網絡路由，動態調整路徑選項以避免擁塞和潛在的安全威脅。例如安全策略集成、自適應路由、機器學習實時優化路徑、基于AI的負載均衡預測分析，以確保網絡資源的高效利用并防止單點故保障各類城市應用可靠性和性能。6.1.4.安全智能問答現有的安全智能問答應用基于知識圖譜結合長短記憶網絡模型開發，回答問題的模式固定，整體能力有限，基于AI和安全大模型的安全知識問答對話技術，引入了安全語料，既利用了大模型NLP自然語言的類人化能力，也保證了模型回答的專業性。除了實時應答的場景之外，通過對運營過程數據的分析，還可以生成便于運維和決策的總結性報告。在智慧城市中，良好的交互性可以給各類安全工作提供支撐，提升各類系統的易用性。6.1.5.威脅情報分析威脅情報分析引入人工智能和機器學習技術，及時發現、分析和應對潛在的網絡攻擊和安全威脅，為智慧城市提供更高層次的安全保障。基于AI的威脅情報分析技術，避免了基于預設數據標簽的歸并去重，以及結合人工運營的傳統方式，解決了情報數據量大、異構性強、時效性差的問題，并且在智慧城市中可以對系統運行日志、用戶行為日志、流量數據及外部公開情報數據、黑客論壇等多個數據源進行自動加注標簽，并利用機器學習、深度學習等技術進行情報聚合、分類等，為城市中的威脅情報進行安全風險評估、預警、安全事件響應提供能力支撐。6.1.6.自動化滲透測試滲透測試可以有效評估智慧城市中系統的安全狀況，并提出合理的改進方案，傳統的滲透測試工作高度依賴安全人員的人為判斷和操作，結果和效率都存在提升空間?；贏I大模型的自動化滲透測試，將模型和工具進行結合，讓大模型具備滲透測試輸入輸出和過程推理的反饋能力，配合各項自動化腳本和智能流程應用，讓智慧城市中的系統可以自動化進行滲透測試工作，輔助滲透測試參與人員，提供高效的工作流程并生成可靠的報告。6.2.Al+智慧城市應用安全智慧城市AI+應用安全是作用在應用層的新型防御技術，在智慧城市的各種應用中，通過使用人工智能技術，確保應用能夠安全運行、防止數據泄露、抵御網絡攻擊，并且保護公民的隱私和城市基礎設施的完整性。例如風險控制、擬態蜜罐、內容檢測是基于AI的新型技術。風險控制系統通過利用AI技術構建業務訪問動態認證機制和訪問行為分析，追求主動構建一個不斷變化的訪問環境，從而實現對自動化攻擊和未知風險的防御，有效防護爬蟲、AI腳本攻擊等機器行為。動態智能身份認證通過生成智能動態令牌和動態指紋，持續跟蹤分析訪問來源與行為，以確認訪問者身份并實施合適的防御策略。智能行為分析通過多維度特征采集和深度學習，訓練和優化模型，實現對威脅行為的識別。這種防御方式同時彌補了傳統WAF的缺陷，大幅降低攻擊成功的可能性。與此同時，風險控制系統可以與傳統檢測規則結合，為智慧城市的Web應用等提供動靜一體的綜合防御。擬態蜜罐通過模擬真實目標，如操作系統、網絡設備等，引誘攻擊者進并實現大規模智能聯接部署?；贏I驅動的分析平臺利用機器學習技術自動識別攻擊方法和特征，從而建立欺騙系統，有效發現和研究攻擊行為。AI技術實現蜜罐的快速聯接和部署，在業務環境中建立欺騙網格和布置誘餌。AI蜜罐系統能智能建立欺騙防御系統，并通過攻擊手法分析，模擬不同環境引導攻擊者進入預設陷阱。一旦攻擊者入侵，系統會發出高準確度警報，并通過AI技術進行數據清洗和去噪，明確攻擊意圖，并進行關聯預警和防御策略反制。一種通過分析和過濾應用數據內容，防止未授權、惡意或者不適當的信息通過網絡傳播。AI通過學習惡意內容，可以更快速的識別風險內容特征。通過搭建內容風控體系，充分發揮AI在語義理解、圖像識別、音頻辨識等方面的優勢，利用AI大模型的預訓練機制，實現文本、音頻、視頻數據審核能6.2.4.供應鏈安全智能分析6.2.5.API安全智能監測業務系統的API已是黑客攻擊的重點目標，現有的API安全解決方案管題。通過AI與大模型技術，可以對智慧城市中API資產進行保護。API資產別隱蔽威脅(令牌違規使用、數據泄露丟失等)等多項技術都將在智慧城市6.2.6.惡意代碼檢測通過靜態特性分析(比如對二進制代碼結構的檢查)和動態行為監測(例如在運行時追蹤操作序列),人工智能技術掌握并學習了以往惡意軟件的行6.2.7.用戶和實體行為分析6.3.AI+智慧城市數據安全安全涵蓋多個維度，從數據的存儲到模型的訓練和部署，再到實時監控和響6.3.1.AI數據水印6.3.2.AI數據分類分級6.3.3.AI數據安全審計6.3.4.AI數據安全合規工具估與檢測。利用NLP構建智能評估矩陣模型，自動分析用戶的需求，生成目6.3.5.AI數據脫敏如用戶是內部的審計員，可能需要顯示更多的細節內容；而對于外部的合作伙伴，我們則會展示經過高度脫敏的數據視圖，這樣做的目的是為了最大程度地減少數據泄露的風險。智慧城市建設與AI的緊密結合，為公共安全領域帶來了革命性的變化。通過人工智能技術，可以實現對城市環境的實時監測和分析，對污染源進行準確定位，及時發出預警信息，為環境保護決策提供科學依據。同時，智能治理與環境優化使得城市環境質量得到提升。在公共安全方面，AI技術應用于人臉識別、視頻監控、事件預警等方面，幫助城市實現精準安全防控。通過人臉識別、車牌識別等功能，輔助公共安全管理和治安維護工作，實現對緊急事件的智能識別和實時預警，提高應急救援工作效率，有效保障公共安6.4.1.社會治理安全方案智能城市社會治理安全方案可使用視頻監控和智能視頻分析技術實時監控關鍵區域，防止犯罪活動，最大化公共安全。其次，利用傳感器、攝像頭和AI算法的智能交通管理不僅優化交通流量，減少事故，還能快速響應緊急事件。此外，智慧巡邏機器人提供24小時服務，配合人工智能人臉識別等技術，確保社區安全，提高治安水平。不可忽視的是，預測性警務通過數據分析預測高風險地點和時間，實現警力優化部署。這些技術的綜合運用使城市安全管理更智能，更高效。6.4.2.災情監測預警方案災情監測預警是智慧城市防災減災的關鍵，其中包括基于人工智能技術的災害預警系統、應急指揮調度和智能消防系統。利用氣象傳感器、地震監測設備及洪水預警系統，結合大模型算法，災害預警系統可提前預測自然災害并發出預警，以最大程度降低災害帶來的破壞。在突發事件發生時，綜合應急指揮平臺能夠協調各部門資源，實現快速響應與處理。同時，智能消防系統通過煙霧和溫度傳感器等設備監控火災隱患，并能及時通知相關部門予以應對。三者共同構成了全方位的災情監測預警方案，旨在預防自然和人為災害，保護人民生命財產安全。6.4.3.公共衛生安全方案公共衛生安全方案主要包括疾病監測預警、食品安全管理和環境監測三個關鍵環節。通過運用大數據和AI技術，疾病監測預警系統能實時監控和預測疾病的傳播趨勢，及時發布健康咨詢。為了確保食品安全，可以通過設立溯源系統和傳感器，對食品生產和供應鏈進行嚴密監控。環境監測系統能定期檢測空氣質量、水質和噪音等環境指標，一旦發現異常及時處理，防止環境污染，保護居民健康。這套全面覆蓋的公共衛生安全方案，可以有效地防控各類衛生健康風險，保障公眾生命安全。6.4.4.安全生產管理方案安全生產涉及工業互聯網安全和作業環境監測，需要建設基于人工智能監控和管理的工業控制系統。作業環境監測通過利用傳感器和AI計算平臺實時監測工作場地的有毒有害氣體和噪音水平，從而保障工人健康和安全。7.中國移動智慧城市人工智能安全參考案例7.1.智慧城市AI風險防范案例7.1.1.黑龍江省級海算政務大模型安全防護(1)背景與需求黑龍江省數字政務項目建設從2022年啟動以來，堅持數據驅動、創新引領，持續加快人工智能應用。借助其在數字政府領域的豐富建設經驗，中國移動以通用大模型為基礎，并融合了政務領域的數據進入了政務領域約束模型對輸出進行限制，最終成功打造出面向政務領域的海算政務大模型將“政務政策-政務事項-政務數據存儲”深度貫穿模型，驅動整體業務流程靈活易用。通過向大模型發出自然語言指令，便可通達深層數據庫，串聯多來源、復雜異構的數據表，快速獲取直觀的數據分析結果。目前累計訓練10多類數據、4000億私域數據、10萬精標數據。在安全方面，海算政務大模型使用信息場內的政務領域專業知識對模型進行課程學習式增強以及對齊泛化，同時協同私域數據作為最終結果反饋用戶。通過政務信息場的調度能力，匯聚散落的關聯數據，圍繞用戶咨詢實現場內問題全解決；拓寬政務服務邊界，實現主動式服務；政務流程不出“場”,實現可信的政務問題響應，保證政務服務安全可控。一網統管一網統管行業大模型基礎大橫型行業小模型單能對話識合銅審核交事件一網協同圖5海算政務大模型建設方案(2)建設方案以需求邊界、業務邊界、安全邊界為原則，對云、網、數、用4方面開展詳細調研和確認，在建設過程中確保26項安全能力落地。包括集中展示、能力輸出、業務支撐和數據匯聚等模塊。配套建設外部對接平臺、安全運營管理體系、安全運營服務體系、安全運營物理環境等。共同防護針對省級海算政務大模型平臺，通過云、網、數據、應用安全運營中心，項目實施了全面嚴格的網絡和數據安全防護措施，并結合了有效的合規管理，確保所有操作都符合相關政策和法規的要求。項目組設置了針對平臺的應用監控系統，實時跟蹤并分析應用程序的行為，以及與之相關的數據流動，即時發現并解決可能存在的問題。關于訓練數據管理，本項目定義了嚴格的流程。海算大模型只使用經過合適清洗和匿名化的數據進行訓練，從源頭上確保數據的安全性和隱私性。同時，我們對精練訓練數據進行歸類和標簽，保證在使用時我們能夠清楚地知道哪些數據被用于什么目的。項目組定期開展數據質量檢查和更新，以確保海算大模型基于安全和準確的數據進行訓練。通過這樣的一系列數據和網絡安全防護措施，包括但不限于訪問控制、網絡加密、數據監控、漏洞掃描、合規管理、應用監控以及訓練數據管理，我們構建了一個安全、穩定且可靠的海算政務大模型平臺，為用戶提供了一個優質的使用環境。安全運營服務體系安全運營服務體系省本級安全運營(管理)中心省本級安全運營(管理)中心安全管理策略態勢概安全管理制度運維服運維服務平臺安全管理標準安全管理流程(管理)中心(管理)中心(管理)中心應用安全運營(管理)中心(管理)中心(管理)中心情安全監測大廳安全指揮中心攻防實驗室安全培訓室圖6黑龍江省級智慧城市政務安全建設方案(3)建設成果海算政務大模型構建了12345智能熱線、政務智能搜索、政務智能助手、公文寫作輔助四大應用場景，服務了黑龍江省數字政府項目、山東省政務大模型項目、廣東省聯合實驗室案例、深圳市民生訴求(12345熱線)項目等。針對海算政務大模型的安全能力建設持續推進，從云、網、數、用等方面防護大模型的技術風險，同時通過合規管理、訓練數據管理、內容管理等解決了大模型的合規需求。截至目前，未發生安全相關事件，系統平穩運營為客戶提供優質服務。(1)背景與需求人工智能大模型應用越來越廣，面臨著攻擊者通過越獄攻擊、目標劫持和提示泄露等方式，繞過人工智能大模型自身的防御策略，非法獲取大模型的敏感信息，造成行業知識被竊的巨大安全風險。與此同時，攻擊者還通過對微調數據進行投毒的方式，影響大模型的輸出的準確性，或者通過向大模型輸入對抗樣本的方式，誘導大模型做出錯誤推理。此外，用于構建大模型的各類組件和中間件，可能存在軟件漏洞，從而造成大模型參數或者大模型應用被竊取或非法控制，由此引發智慧城市智能應用異常。中國移動根據自身經驗，推出AI模型評估平臺，用于解決人工智能模型漏洞評估。(2)建設方案針對以上需求，建設方案如圖所示。用戶管理用戶管理運行結果展示報告生成運行環節管理檢測任務管理數據集管理檢測算法管理模型組件漏洞檢測后門樣本漏洞檢測提示注入漏洞檢測大模型安全評估工具是一個全面且高效的漏洞評估工具，旨在確保大模型在智慧城市各類應用場景中的安全性。該系統通過強化學習和深度學習等技術，對大模型進行反向推導和交互式驗證，檢測可能存在的注入指和后門指令，對大模型框架和相關組件進行安全分析，從而發現大模型在組件調用、模型加載、算法運行等過程中可能存在的安全漏洞和風險。同時，該系統還提供了豐富的安全報告和可視化工具，幫助用戶深入了解大模型的安全狀況，為大模型的優化和加固提供有力支持。大模行安全評估工具評估維度包括模型中毒、提示注入和樣本對抗等方面，并生成大模型安全評估報告。提示注入漏洞檢測模型提示注入漏洞會導致攻擊者利用漏洞構造的惡意提示來干擾模型的預測結果，使模型輸出錯誤或不可預測的信息。提示注入漏洞檢測模塊通過對模型及其輸入進行分析，比較模型在正常輸入和惡意提示下的輸出差異，識別可能存在的提示注入漏洞。當系統檢測出模型存在漏洞時，將提出相應的評估結果和修復建議，從而提高其對惡意提示的防御能力。后門樣本漏洞檢測模型后門樣本漏洞在被攻擊者利用時，可能會使模型在接收到特定輸入時產生預期的錯誤輸出，這種漏洞的存在使得模型更容易受到攻擊者的操控。模型后門樣本漏洞檢測模塊利用后門樣本的特性進行檢測，通過對模型輸入進行擾動，觀察輸出是否發生變化，以判斷模型是否存在后門樣本漏洞。當系統檢測出模型存在漏洞時，將提出相應的評估結果和修復建議，以排除可能存在的后門樣本，以免這些惡意注入的數據影響到模型的準確性和可信度。模型組件漏洞檢測模型組件漏洞是模型在訓練和應用過程中使用的各個組件可能存在的安全缺陷或錯誤配置，該類漏洞可能導致模型遭受攻擊、數據泄露、性能下降等風險。模型組件漏洞檢測模塊源代碼進行分析技術和漏洞掃描技術對模型組件進行自動化檢測，發現可能存在的漏洞和安全問題，然后分析檢測到的漏洞的嚴重程度和潛在影響，評估模型組件的安全性和可靠性，根據評估結果生成相應的修復措施和建議，以提高模型組件的安全性和穩定性。檢測算法管理檢測算法管理模塊負責管理和維護提示注入漏洞檢測算法、后門樣本漏洞檢測算法和模型組件漏洞檢測算法。提供算法存儲、版本管理、參數預設以及接口配置等功能，保障檢測算法的可用性和一致性。同時提供外部算法接口管理，方便用戶添加新的算法，配置新的檢測策略。數據集管理數據集管理模塊則負責收集、整理、存儲和管理檢測用的典型數據集，為檢測模塊提供豐富可靠的數據依據。此外，數據集管理還負責外部數據接入和保存，方便檢測模塊對外部數據進行檢測。檢測任務管理檢測任務管理模塊負責創建和執行檢測任務，通過任務形式對提示注入漏洞、后門樣本漏洞以及模型組件漏洞進行檢測。檢