1、XX省無線電監測站態勢感知及檢測預警平臺采購項目技術方案目錄TOC o 1-3 h u HYPERLINK l _Toc465083393 目錄 PAGEREF _Toc465083393 h 2 PAGEREF _Toc465083393 h HYPERLINK l _Toc465083394 1項目需求分析 PAGEREF _Toc465083394 h 5 PAGEREF _Toc465083394 h HYPERLINK l _Toc465083395 1.1 項目范圍 PAGEREF _Toc465083395 h 5 PAGEREF _Toc465083395 h HYPERLIN

2、K l _Toc465083396 1.2 項目建設目標 PAGEREF _Toc465083396 h 6 PAGEREF _Toc465083396 h HYPERLINK l _Toc465083397 2門戶網站安全事件監控系統建設 PAGEREF _Toc465083397 h 6 PAGEREF _Toc465083397 h HYPERLINK l _Toc465083398 2.1系統概述 PAGEREF _Toc465083398 h 6 PAGEREF _Toc465083398 h HYPERLINK l _Toc465083399 2.2 系統建設依據 PAGEREF

3、_Toc465083399 h 8 PAGEREF _Toc465083399 h HYPERLINK l _Toc465083400 2.3 項目建設目標 PAGEREF _Toc465083400 h 9 PAGEREF _Toc465083400 h HYPERLINK l _Toc465083401 2.3.1 提升安全態勢感知能力 PAGEREF _Toc465083401 h 9 PAGEREF _Toc465083401 h HYPERLINK l _Toc465083402 2.3.2 提升安全事件的通報預警能力 PAGEREF _Toc465083402 h 9 PAGERE

4、F _Toc465083402 h HYPERLINK l _Toc465083403 2.3.3 提升應急響應能力 PAGEREF _Toc465083403 h 10 PAGEREF _Toc465083403 h HYPERLINK l _Toc465083404 2.4 項目建設原則 PAGEREF _Toc465083404 h 10 PAGEREF _Toc465083404 h HYPERLINK l _Toc465083405 2.4.1 合規性原則 PAGEREF _Toc465083405 h 10 PAGEREF _Toc465083405 h HYPERLINK l _

5、Toc465083406 2.4.2 可落地原則 PAGEREF _Toc465083406 h 11 PAGEREF _Toc465083406 h HYPERLINK l _Toc465083407 2.4.3 先進性原則 PAGEREF _Toc465083407 h 11 PAGEREF _Toc465083407 h HYPERLINK l _Toc465083408 2.4.4 安全性原則 PAGEREF _Toc465083408 h 11 PAGEREF _Toc465083408 h HYPERLINK l _Toc465083409 2.4.5 擴展性原則 PAGEREF

6、_Toc465083409 h 12 PAGEREF _Toc465083409 h HYPERLINK l _Toc465083410 2.5 平臺體系架構 PAGEREF _Toc465083410 h 12 PAGEREF _Toc465083410 h HYPERLINK l _Toc465083411 2.5.1 監控需求 PAGEREF _Toc465083411 h 14 PAGEREF _Toc465083411 h HYPERLINK l _Toc465083412 2.5.2 系統原理 PAGEREF _Toc465083412 h 15 PAGEREF _Toc46508

7、3412 h HYPERLINK l _Toc465083413 2.5.3 功能結構 PAGEREF _Toc465083413 h 22 PAGEREF _Toc465083413 h HYPERLINK l _Toc465083414 2.6 Web監控預警系統 PAGEREF _Toc465083414 h 28 PAGEREF _Toc465083414 h HYPERLINK l _Toc465083415 2.6.1 Web監控預警結構設計 PAGEREF _Toc465083415 h 29 PAGEREF _Toc465083415 h HYPERLINK l _Toc465

8、083416 2.6.2 Web監控預警系統功能 PAGEREF _Toc465083416 h 39 PAGEREF _Toc465083416 h HYPERLINK l _Toc465083417 2.6.3 Web監控預警系統可視化 PAGEREF _Toc465083417 h 42 PAGEREF _Toc465083417 h HYPERLINK l _Toc465083418 2.7 被動式監控預警系統 PAGEREF _Toc465083418 h 43 PAGEREF _Toc465083418 h HYPERLINK l _Toc465083419 2.7.1 被動式監控

9、預警系統架構 PAGEREF _Toc465083419 h 43 PAGEREF _Toc465083419 h HYPERLINK l _Toc465083420 2.7.2 被動式監控預警系統流程圖 PAGEREF _Toc465083420 h 45 PAGEREF _Toc465083420 h HYPERLINK l _Toc465083421 2.7.3 被動式監控預警系統功能 PAGEREF _Toc465083421 h 46 PAGEREF _Toc465083421 h HYPERLINK l _Toc465083422 2.7.4 被動式監控預警態勢展示及其可視化 PA

10、GEREF _Toc465083422 h 52 PAGEREF _Toc465083422 h HYPERLINK l _Toc465083423 2.8 大規模監控預警系統云端系統 PAGEREF _Toc465083423 h 53 PAGEREF _Toc465083423 h HYPERLINK l _Toc465083424 2.8.1 大規模監控預警系統架構 PAGEREF _Toc465083424 h 54 PAGEREF _Toc465083424 h HYPERLINK l _Toc465083425 2.8.2 大規模監控預警系統架構工作原理 PAGEREF _Toc4

11、65083425 h 57 PAGEREF _Toc465083425 h HYPERLINK l _Toc465083426 2.8.3 基于集群是調度器的云監控 PAGEREF _Toc465083426 h 59 PAGEREF _Toc465083426 h HYPERLINK l _Toc465083427 2.8.4 大規模監控預警系統云部署及其規模 PAGEREF _Toc465083427 h 60 PAGEREF _Toc465083427 h HYPERLINK l _Toc465083428 2.9 預警通報處置系統 PAGEREF _Toc465083428 h 61

12、PAGEREF _Toc465083428 h HYPERLINK l _Toc465083429 2.10 威脅情報系統 PAGEREF _Toc465083429 h 61 PAGEREF _Toc465083429 h HYPERLINK l _Toc465083430 2.11 系統管理子系統 PAGEREF _Toc465083430 h 63 PAGEREF _Toc465083430 h HYPERLINK l _Toc465083431 2.11.1 系統管理模塊 PAGEREF _Toc465083431 h 63 PAGEREF _Toc465083431 h HYPERL

13、INK l _Toc465083432 2.11.2 用戶管理模塊設計 PAGEREF _Toc465083432 h 64 PAGEREF _Toc465083432 h HYPERLINK l _Toc465083433 2.11.3 認證管理模塊設計 PAGEREF _Toc465083433 h 65 PAGEREF _Toc465083433 h HYPERLINK l _Toc465083434 2.11.4 網站監控管理模塊設計 PAGEREF _Toc465083434 h 66 PAGEREF _Toc465083434 h HYPERLINK l _Toc465083435

14、 2.11.5 網站檢測管理模塊設計 PAGEREF _Toc465083435 h 68 PAGEREF _Toc465083435 h HYPERLINK l _Toc465083436 2.11.6 漏洞驗證管理模塊設計 PAGEREF _Toc465083436 h 68 PAGEREF _Toc465083436 h HYPERLINK l _Toc465083437 2.11.7 數據分析與審計管理模塊設計 PAGEREF _Toc465083437 h 69 PAGEREF _Toc465083437 h HYPERLINK l _Toc465083438 2.12 可視化集中管

15、控中心設計 PAGEREF _Toc465083438 h 70 PAGEREF _Toc465083438 h HYPERLINK l _Toc465083439 2.12.1 安全態勢 PAGEREF _Toc465083439 h 70 PAGEREF _Toc465083439 h HYPERLINK l _Toc465083440 2.12.2 平臺管理 PAGEREF _Toc465083440 h 70 PAGEREF _Toc465083440 h HYPERLINK l _Toc465083441 2.12.3 安全功能管控 PAGEREF _Toc465083441 h 7

16、1 PAGEREF _Toc465083441 h HYPERLINK l _Toc465083442 2.12.4 信息采集存儲 PAGEREF _Toc465083442 h 72 PAGEREF _Toc465083442 h HYPERLINK l _Toc465083443 2.12.5 數據分析 PAGEREF _Toc465083443 h 73 PAGEREF _Toc465083443 h HYPERLINK l _Toc465083444 2.12.6 自動預警 PAGEREF _Toc465083444 h 73 PAGEREF _Toc465083444 h HYPER

17、LINK l _Toc465083445 2.12.7 安全身份識別 PAGEREF _Toc465083445 h 74 PAGEREF _Toc465083445 h HYPERLINK l _Toc465083446 2.12.8 大屏顯示接口 PAGEREF _Toc465083446 h 74 PAGEREF _Toc465083446 h HYPERLINK l _Toc465083447 2.13 外部信息交換關系 PAGEREF _Toc465083447 h 75 PAGEREF _Toc465083447 h HYPERLINK l _Toc465083448 3平臺部署和

18、設備清單 PAGEREF _Toc465083448 h 75 PAGEREF _Toc465083448 h HYPERLINK l _Toc465083449 3.1設備部署 PAGEREF _Toc465083449 h 75 PAGEREF _Toc465083449 h HYPERLINK l _Toc465083450 3.2 態勢感知及檢測預警平臺功能參數 PAGEREF _Toc465083450 h 75 PAGEREF _Toc465083450 h HYPERLINK l _Toc465083451 3.3 網站安全監測功能參數 PAGEREF _Toc465083451

19、 h 77 PAGEREF _Toc465083451 h 插圖索引TOC t 插圖標注（盛邦安全） c未找到圖形項目表。項目需求分析本次建設XX省無線電監測站態勢感知及檢測預警平臺（以下簡稱“平臺”），實現XX省無線電網站及重要信息系統在集中、批量、智能的技術平臺下完成門戶網站及重要信息系統的監測、預警的安全目標。通過平臺建設直接對網站及重要信息系統的安全呈現安全態勢可視化、監測常態化、功能集群化、管理可控化、任務便捷化，在著重監測預警的防患未然的基礎上，通過平臺建設與安全設備的部署將網站及重要信息系統防護監測預警能力拔高到國內先進水平。通過平臺及時有效地監測安全隱患問題并預警，抵御內外部安

20、全威脅及竊密破壞等不法行為，降低安全事故發生率，保障網站及重要信息系統的安全。平臺應根據現實需求在具備國產化自主可控產品基礎上進行定制化開發。核心技術應具備先進性、項目實施管理應達到標準化級別的項目實施水平。根據各類型安全產品的特性，要求監測、預警、應急功能實現平臺化管理，體現平臺管理與任務實施的整體性。各項安全任務功能以功能模塊形式體現，配合功能型安全設備的統一部署，集中呈現可視化安全態勢。項目范圍項目監測預警范圍：1.XX省3000多個業務系統進行同事檢測/檢測2.對于主動監測能力要求Web漏洞掃描周期不超過168小時，信息安全事件檢測周期不超過8小時。3.對于被動流量監控能夠分析40Gb

21、ps的流量監控。4.集中管控平臺需求能夠支持10個監控分布引擎的管理，具備保存2TB數據的存儲能力，允許3000用戶的同時登陸管理，還具有“縣-市-省”三級管理模型。項目建設目標基于XX省網絡安全現狀以及利用態勢感知及檢測預警平臺的基礎功能、技術指標，設計、建設XX態勢感知及檢測預警系統，目標能夠加強交互性的方式，為安全管理人員提供可視化的系統風險監控和處置，提高風險漏洞和被黑客入侵篡改等安全事件發現、預警的及時性、準確性，以及應急處置能力，使大規模監控工作真正金融智能化和自動化的大數據可視化時代。門戶網站安全事件監控系統建設系統概述隨著信息化的日漸深入，互聯網正在成為國家的關鍵信息基礎設施，

22、各種基于網絡的應用也日益廣泛，網絡安全關系到國家和社會的根本利益。目前，保障互聯網絡安全以及重要企事業單位的網絡安全方面面臨一些重大的技術問題：如何及時、準確、全面地掌握整體網絡安全狀況；如何針對網絡安全的整體情況及時準確地做出威脅評估、預警和應對方案的選擇；針對網絡安全危機事件，如何及時有效地采取相應的危機控制措施等。在中國電子政務發展的過程中，越來越多的核心業務系統開始依托互聯網存在；電子政務網站（以下簡稱政務網站）也不再只是政府俗稱的面子工程，越來越多的業務入口存在于政務網站之上，這在方便了電子政務公開、信息發布、便捷辦公的同時，也成為了政府網絡、信息安全的入口。據權威機構統計，中國的網

23、絡安全事件，絕大部分都是由網站為入口，最終造成重大網絡安全事故。2014年中央網絡安全和信息化領導小組的成立，中國互聯網安全被提升到了國家戰略的新高度。習近平總書記指出：“沒有網絡安全，就沒有國家安全”。為了應對網絡安全問題帶來的挑戰，國務院辦公廳、中國工業和信息化部、中國公安部等相關監督和管理單位相繼出臺了針對中國政府網站及重要互聯網信息系統的安全監督、管理、通報、防控等文件與措施。其中公安部明確要求為了支撐公安網安部門開展網絡安全工作，需建設網安全態勢感知與通報預警平臺系統，通過該系統實時掌握網絡安全態勢，及時掌握重點部位、重要信息系統相關網絡安全威脅、風險和隱患，及時監測漏洞，網絡攻擊情

24、況，及時發現網絡安全案（事）件線索，掌握有關情報和情況信息，及時通報預警重大網絡安全威脅，偵查調查、防范和打擊網絡攻擊等違法犯罪活動。北京市目前已經建成等級保護檢測機制和相關技術手段，而在重要網站和重要信息系統安全監測方面，還沒有有效的針對性的技術手段可以較好地滿足業務需要，無法對轄區內系統底數和安全情況進行全面掌握，不能夠清晰、準確地判斷存在的安全風險，并有效的事先發出預警，發生的安全事件也無法規范有效地進行處理，對通報成員單位和重要信息系統運營使用單位在線重要信息系統和政府網站的監管都是被動接受上級主管部門通知通報，沒有主動監測和事前發現漏洞的能力和手段。另外在開展國家級重要信息系統和重點

25、網站安全執法檢查工作過程中，發現了許多單位和信息系統存在著高風險的問題，也表明目前監管工作確實需要建立一套能夠及時發現問題、及時處理問題的綜合處置管理支撐平臺。門戶網站安全事件監控系統是專門針對網站頻發安全事件進行監控預警的系統。主要以各種技術手段對網站的可用性、完整性、安全性進行安全監控，幫助監管部門和門戶網站運營單位主動發現問題、及時處理和響應問題。門戶網站安全事件監控系統，能夠主動監控網站安全問題，監測網站脆弱性。能提供網站監控平臺7*24小時不間斷監控，保持監控的持續性。突發攻擊事件發生時，及時進項響應與處理，構建完善的網站安全體系。對于大范圍的網站利用自動化的技術手段進行監控，減低人

26、工成本。系統建設依據2014年5月9日中央網絡安全和信息化領導小組下發1號文件關于加強黨政機關網站安全管理的通知2015年1月，公安部頒布了關于加快推進網絡與信息安全通報機制建設的通知（公信安201521號）。通知要求建立省市二級網絡與信息安全信息通報機制，積極推動專門機構建設，建立網絡安全態勢感知監測通報手段和信息通報預警及應急處置體系，明確要求建設網絡安全態勢感知監測通報平臺，實現對重要網站和網上重要信息系統的安全監測、網上計算機病毒木馬傳播監測、通報預警、應急處置、態勢分析、安全事件（事故）管理、督促整改等功能，為開展相關工作提供技術保障。2015年5月18日，公安部在京召開電視電話會議

27、，專題部署國家級重要信息系統和重點網站安全執法檢查工作。公安部副部長、中央網信辦副主任陳智敏在會議上強調，各級公安機關要充分認識網絡安全的嚴峻形勢和加強網絡安全工作的重要性、緊迫性，加強國家網絡安全通報機制建設，進一步健全完善網絡安全信息通報和監測預警機制建設，確保網絡安全執法檢查工作取得實效。2015年7月1日，公安部印發了關于組織開展網絡安全態勢感知與通報預警平臺建設工作的通知（公信安【2015】1851號），明確了“網絡安全態勢感知與通報預警平臺建設框架”，確定了建設整體方案指導，并提出2016年底完成省市兩級通報平臺建設的建設任務。項目建設目標網絡安全態勢感知與監測預警通報平臺按照“統

28、一規劃、分級部署、協同共享”的原則，以公安部總體目標為指導，遵循統一的數據接口規范進行數據采集和監測分析，構建部、省、市三級網絡安全威脅數據共享與交換機制，形成覆蓋全市的網絡安全態勢感知與預警監測通報體系，推動平臺建設和通報預警工作向著標準化規范化邁進，為開展網絡與信息安全信息通報工作提供技術保障。提升安全態勢感知能力現有的網絡安全系統，只重視對于數據的分析發現能力，將研究的重點放在處理速度以及處理能力上。對于數據以及結果的顯示則投入的精力不多，造成最終處理數據不直觀，從而影響了最終的分析結果。網絡與信息安全信息通報預警平臺系統底層使用數據融合處理后的數據，是對分析后的數據的深層融合，著重于圖

29、形圖象的顯示方法，側重于對數據的最終顯示效果和系統與軟件間的交互，強調顯示的直觀性和顯示的最終效果。該系統的研究有助于提高現有網絡安全產品在圖形顯示方面的能力，提升整體系統的安全分析處理水平。同時網絡與信息安全信息通報預警平臺的建立能夠對安陽地區的互聯網網站、在線系統、轄區IP進行全網檢測，掌握安陽互聯網基礎數據、網站的基本信息如網站指紋信息、網站安全、網站數量等情況，并對這批站點進行安全監測，能感知網站、應用、設備的安全態勢，幫助公安掌握當前形式下的安全形式、安全問題與各地的安全水平，做到信息安全建設心中有數。提升安全事件的通報預警能力雖然已有網絡安全產品與算法的改進和處理速度的提升，但是無

30、法解決其固有矛盾。無論是基于異常檢測，還是基于誤用檢測，都不能解決漏報、誤報的問題。網絡與信息安全信息通報預警平臺系統，通過將分析數據的圖形化顯示，結合原始數據，實現對網絡數據的可視化分析，借助于人類強大的圖形圖像處理能力以及分析能力，大大提升該系統對于異常行為的發現能力，降低系統的漏報與誤報能力，并可對有較明顯特征的攻擊行有一定的預先發現能力，做到“有備無患”，打造安全的網絡系統。具體可以從以下幾個方面提升安全事件的通報預警能力：0day漏洞的定向預警，對有該漏洞的單位進行預警，避免發生安全問題；攻擊事件的通知與相關網站的預警，如境外黑客對我國政府網站發起的網絡攻擊與篡改攻擊等事件，能夠進行

31、定向預警，促進各單位部署防御；對全國各地爆發的安全問題進行分析，同步預警至我市各單位對應系統，通知相關單位做好提前防范；對我市發現的攻擊行為進行分析，同步預警各單位，做好提前防范。提升應急響應能力網絡與信息安全信息通報預警平臺系統的使用，能夠提升現有網絡安全產品的性能，增強了網絡的綜合防護能力。安全可視化分析的數據大都來自現有網絡安全產品，獲取不同層次的處理信息，形成全方位的安全數據，通過可視化的數據融合，綜合考慮各方面因素，可以得到更加準確的網絡信息。同時各安全系統問的協同分析，還可以做到“監”、“管”、“控”于一體的網絡安全系統，簡化網絡安全的處理環節，提升網絡安全防護等級。項目建設原則合

32、規性原則按照“統一規劃、分級部署、協同共享”原則，建設形成部、省、互聯互通的通報平臺，構建覆蓋全市的網絡安全態勢感知、安全監測和通報預警體系。平臺設計完全遵循公安部整體框架和數據標準。可落地原則平臺建設規劃符合我市實際情況，綜合考慮業界的統一安全監測、預警等技術的形勢，綜合考慮本地網安部門工作中的具體需求，確保建設方案具備可實施、可落地性。先進性原則平臺可在種類繁多、數量龐大的多樣數據中進行快速信息獲取，在合理時間內達到擷取、管理、處理、并整理。通過平臺提供的有效的分析方法和工具，從海量信息中快速提取高價值數據，避免重要信息淹沒在海量的低價值數據中。使用基于大數據的數據倉庫技術對歷史數據進行分

33、析，結合多種數據挖掘算法，為安全分析人員提供有價值的安全分析決策支撐數據。具備異構數據間的關聯分析能力，具備從事件到流量元數據到原始流量和文件的對應和關聯分析。在展示層提供豐富的可視化展示功能和組件，可視化展示安全分析人員重點關注的信息，將重要和可疑的數據以醒目的方式展示。安全性原則依據平臺本身數據存放以及通信的特征，平臺劃分為網安專網系統與互聯網系統。互聯網系統用于采集平臺所需各種安全數據，發布互聯網預警通知。網安專網系統用于數據存貯與提取分析，同時提供上下級平臺數據傳輸接口?；ヂ摼W系統與專網系統物理隔離，僅支持數據單項導入。擴展性原則平臺還提供豐富的對外接口，方便采集第三方系統產生的安全數

34、據，包括第三方分析系統，展示系統和安全工具等。平臺體系架構按照總體規劃，信息安全態勢分析與通報平臺建設，通過網安專網地市可與省、部平臺進行數據對接。如下圖所示：圖STYLEREF 1 s2SEQ 圖 * ARABIC s 11：三級平臺對接示意圖市公安局信息安全態勢感知與通報平臺通過網安專網向省級平臺上報本地安全態勢、安全風險等數據信息；接收來自部級平臺下發的各項通報數據及線索信息。網絡安全態勢感知與監測預警通報平臺包含公共網絡安全事件采集層、數據預處理層、公共網絡安全事件數據中心、業務分析處理層、業務功能層，如圖2-2所示。圖STYLEREF 1 s2SEQ 圖 * ARABIC s 12：

35、平臺體系架構圖STYLEREF 1 s23：平臺主要構成公共網絡安全事件采集層：通過集成各種工具采集互聯網范圍內的資產、威脅、弱點、流量等數據信息。同時提供工具管理、任務管理等功能。數據項處理層：對下層采集的數據進行數據清洗、數據歸并、數據關聯、比對，進行數據標識后傳入數據中心層處理。數據中心層：提供基礎數據庫存儲與管理功能。主要完成安全威脅事件庫、重大安全隱患庫、網絡基礎資源庫、木馬/僵尸庫、聯網重要系統和網站安全信息庫、攻擊個人/組織庫等六大基礎數據庫的標準化存儲與管理。業務分析處理層：完成業務分析模型創建與管理。可實現風險分析，態勢感知任務的創建與管理，完成相關數據的上報與下發。實現數據

36、的可視化展示。展示正在發生的安全行為，態勢數據，安全風險等相關信息。業務功能層：實現網安部門安全監測、態勢分析、通報預警、線索挖掘和調查處理等業務處理功能。監控需求隨著互聯網技術的快速發展，網站攻擊的門檻不斷降低，重點單位門戶網站（三臺四網和多家在京主流網絡媒體等）的web應用受到的安全威脅越來越多。為保證門戶網站的Web應用系統的正常使用，應實現以下基本安全需求：監控Web應用頁面內容完整、不被篡改；監控Web應用存在的SQL注入、XSS、非法訪問、信息泄露等應用層漏洞，從而提前解決潛在風險；監控Web應用服務器可能存在的系統級漏洞，提前杜絕系統威脅；監控Web應用，防止Web應用掛馬而導致

37、的潛在風險；監控Web應用是否存在敏感信息，對于Web應用的敏感信息內容自行配制告警功能，方便管理者及時了解到發生的安全事件，可根據量化的標準，對Web應用的安全事件嚴重程度進行不同形式的告警，獨具可能存在的風險和損失；以監控為主，必要時進行干預，防止意外事情發生；能定期生成每個Web應用的報表，關聯趨勢性分析；讓管理員及管理者清晰地分析出Web應用當前的安全狀況及趨勢，可以作為信息安全建設決策分析依據；對不同的管理員授權相應范圍內的管理，大致分為高級管理員、普通管理員及日志審核員。能分級管理管理，從而能“全面感知”應用和服務。系統原理爬蟲技術當前的爬蟲程序根據其實現技術，可分為通用爬蟲和主題

38、爬蟲，通用爬蟲爬取根 URL 衍生的所有網頁，主要被門戶網站等大型 Web 服務提供商采用。主題爬蟲則選擇性的爬取和預設主題相關的網頁。一般來說，主題爬蟲比通用爬蟲更能滿足用戶對某一特定領域的信息需求。網絡爬蟲在基于網絡的Web漏洞掃描器中，是重要的基礎功能模塊，其獲取目錄結構及分析HTML源碼的效率，將直接影響系統的準確性和執行效率，而傳統的掃描器中的爬蟲程序，只是簡單的在通用爬蟲的基礎上采用稍作改進的廣度優先遍歷算法，對HTML的解析則采用確定的有限自動機，而由于這樣的爬蟲程序并未考慮Web站點中目錄結構的特點和動態交互點的分布規律，使得爬蟲程序抓取了大量無用的頁面，對HTML的解析也并不

39、準確，從而降低了整個掃描器的性能。本文采用針對 Web 漏洞檢測特定需求設計的表單爬蟲，來構建整個Web漏洞掃描系統，以提高其性能。表單爬蟲程序的功能可分為三個，一個是站內新站點搜集，使用自適應窗口策略；另一個是表單搜集，采用導航鏈接策略；以及 HTML 解析器，采用正則表達式。表單爬蟲的工作流程為：首先從目標站點的根 URL 開始，使用自適應窗口策略搜索新站點，將其保存。再以保存的新站點為單位，使用導航鏈接策略搜索每個站點中的有效 URL ，將其保存。最后依次取出保存的 URL ，利用HTML 解析器提取出表單信息。基于自適應窗口策略的新站點搜集在搜索新站點的過程中發下如下規律：即往往沿著包

40、含較多新站點的頁面往下搜索，可以搜索到更多的新站點，因此，根據此規律設計自適應的窗口搜索策略，以使得爬蟲程序在兼顧頁面覆蓋率的同時，提高其搜索效率，自適應窗口策略的大致思路是給爬蟲程序設置門閥值，若某些頁面中包含新站點的數量小于此門閥值，則停止對其搜索，以節省搜索時間，若大于或等于此門閥值，則沿著這些頁面繼續搜索。如下圖：圖4-15自適應窗口的表單爬蟲示意圖圖中節點表示網頁，其數字表示包含的新站點數，箭頭表示鏈接，C 表示門閥值，W 表示窗口大小，窗口大小指的是相鄰的兄弟節點數，其搜索流程為：若窗口中的兄弟節點的新站點數的總和大于或等于門閥值，則此節點的孩子節點將被搜索，否則，將窗口移動一個節

41、點，在窗口中重復以上過程，整個過程采用廣度優先，直到搜索到規定的深度為止。根據以上描述，圖示中的搜索過程為：從根節點A 開始，窗口里的節點首先是 B 和C，由于B 和C 中包含的新站點總數為 4，小于門閥值 5，則將 B 的子節點舍棄，窗口移動一個節點，此時C 和D 節點在窗口中，由于 C 和D 節點中的新站點總數為 5，等于門閥值，則C 和D 的子節點將被搜索，窗口再移動一個節點，由于 D 和E 的值不符合條件，E 的子節點將被舍棄，窗口進入下一層節點，重復上述過程 G 和H 的子節點將被搜索，直到達到規定的搜索深度為止。基于導航鏈接策略的表單搜集表單是漏洞檢測的重要動態交互點，爬蟲程序對表

42、單的獲取效率很大程度上決定了整個系統的運行效率，表單爬蟲對表單的提取采用導航鏈接策略，該策略基于如下事實：很多表單位于WEB站點的淺層頁面，比如入口頁面，且沿著導航鏈接搜索，往往可以搜索到大多數的表單，所以表單爬蟲采用導航鏈接策略，沿著導航鏈接搜索表單，可以忽略很多無用的頁面，節省時間，提高系統效率。導航鏈接在頁面上的分布遵循以下規律：導航鏈接在頁面 HTML 中的顯示格式和其它的鏈接有明顯不同，呈現規則性，且導航鏈接往往在很多頁面里反復出現，因此可以根據此規律將特定顯示格式且反復出現的鏈接判定為導航鏈接。根據以上分析，根據以下兩個步驟判定頁面中的導航鏈接。步驟1：首先根據下列分布規律計算式計

43、算出頁面中的鏈接 Rank值：將一個頁面中的所有鏈接提取出來，記為集合A，將所有連續水平或垂直排列三個以上鏈接的鏈接組記為 K ，將集合 A 劃分成多個互不相交的鏈接組，對每個鏈接組采用以上公式計算Rank值。其中，size(k) 表示該鏈接組中的鏈接數量；anchorttext(k) 表示鏈接組中錨文本字數占總字數的比值；dist(k) 為鏈接組在頁面上離邊界的距離；W(s) 、W(a)和W(d)則分別是size(k) 、anchorttext(k) 和dist(k) 在計算Rank值時所賦予的權重，當其取 1:1:2時，能得到最準確的Rank值。步驟2：取出頁面中 Rank值排名前三的鏈接

44、組里的鏈接，記作 U，順著U 訪問其鏈向的頁面，將該頁面記作 P，若在頁面 P 中也存在鏈接 U，則可判定U 為導航鏈接?；谡齽t表達式的HTML解析器HTML 和XML不同，XML格式的內容嚴格按照標簽匹配的方式構造，因此，只要嚴格通過標簽匹配就能解析到想得到的任何內容，而HTML 不同，它并沒有嚴格的配對標簽，這就給解析帶來了較大的困難，傳統的 HTML 解析器是通過確定性的有限自動機（DFA ）解析HTML 頁面的，但是這種方式效率低下，特別是對表單等漏洞掃描最關注的動態交互內容不能達成滿意的效果，因此，本文采用正則表達式來提取出頁面中的 URL 和表單等有價值的信息，具體如下：URL

45、提取在頁面的HTML 中，標簽、中都有可能存在URL ，因此需要針對每個可能存在 URL 的標簽定義一個正則表達式，以解析其中各種屬性，提取出URL ，以標簽為例，其基本格式為a*href=”URL”*，（各種屬性用*號代替）。其正則表達式為：在用正則表達式提取出 URL 后，還需對其進行填充處理，使之成為完整的絕對路徑。表單提取以標簽為例，表單的基本格式為*action=”URL” method=* 對表單的提取采用以下四個步驟：步驟1：將整個表單內容用以下正則表達式提取出來步驟2：提取出表單中如 action、method 等屬性步驟3：提取表單中各項屬性的屬性值，如 input、text

46、area 等的 name、type 等值基于沙箱檢測和靜態規則匹配相結合的木馬檢測技術作為Web檢測引擎，提高引擎檢測準確性，降低誤報率是考核掃描器引擎的重要指標。同時，以云模式部署掃描引擎之后，最重要的就是及時和準確的收集木馬、漏洞等信息到管理中心。當前常用的手段就是通過網絡爬蟲收集信息，其缺陷就是對未知的漏洞不能識別，從而延誤防護。沙箱技術是解決此問題的重要方法。所謂沙箱環境模擬了一個瀏覽器的環境，通過沙箱環境訪問爬蟲爬出來的url，來檢測該頁面是否被掛馬，這種技術由于模擬了真實的環境，因此誤報率基本為零，但是由于沙箱環境中瀏覽器插件配置的局限性，無法檢測所有的掛馬頁面，因此會產生一定的漏

47、報率。因此我們結合了多年研究的掛馬方式的規則庫的檢驗，大大減少了Web應用掛馬的漏報，為Web安全云提供及時、準確的規則積累。高性能模式匹配技術“運行速度”是衡量系統性能的一個重要的指標。模式匹配技術是攻擊檢測的最重要的技術，系統近半數甚至更多的CPU資源會耗費在模式匹配上，因此一個高效的模式匹配技術至關重要。國內外，多數廠商均采用PCRE 的NFA查找技術?！癗FA”即非確定有窮自動機，對于一個給定的輸入可能有多個狀態輸出，其優點是編譯速度快，編碼空間占用?。黄淙秉c是匹配速度不穩定，速度較慢。而有些廠商采用的是“DFA”確定有窮自動機，“DFA”對于給定的一個輸入，只有一個特定的狀態輸出。其

48、特點是匹配速度穩定，匹配速度快，但存在內存占用的指數膨脹問題。實際應用中，模式串的內存占用過大，導致系統無法應用。為此項目單位提出了DFA的壓縮和優化算法，即采用DFA技術，并且使用了Bitmap方式對于DFA壓縮與合并，解決了DFA空間占用大的問題，大大提高匹配速度，從而提高了整體的系統運行的性能。從而在犧牲少量處理性能的情況下，極大的降低了系統內存占用。高效的分布式體系架構集群是調度器是一個分發任務的程序框架，可以用在各種場合，與Hadoop相比，集群是調度器更偏向于任務分發功能。它的任務分布非常簡單，簡單得可以只需要用腳本即可完成。集群是調度器最初用于LiveJournal的圖片resi

49、ze功能，由于圖片resize需要消耗大量計算資源，因此需要調度到后端多臺服務器執行，完成任務之后返回前端再呈現到界面。在本項目中，我們基于掃描器特性，修改和開發了針對集群是調度器的結構，使之更能適應分布式掃描體系構建。功能結構門戶網站安全事件監控系統的功能結構如下圖所示：圖門戶網站安全事件監控系統功能結構圖門戶網站安全事件監控系統采用主動模型與被動模型結合的監控模式。對于主動監控，監控模型如下圖所示:監控提供從物理層到應用層的全范圍檢測，規避因為數據庫、中間件、操作系統等不安全的因素導致的問題。主動監控模型，采用全棧監控模式，對系統不同層面面臨的安全問題進行檢測。Web漏洞掃描監控服務目前該

50、系統支持遠程OWASP定義的Web威脅和及其相關的漏洞掃描監控服務。通過遠程的網站漏洞掃描服務，由安全專家定期進行網站結構分析、漏洞分析，即時獲得網站的漏洞情況，以及修補建議。網站防釣魚監控服務防釣魚系統只針對Web業務處理進行監控服務。基于云計算技術（SaaS），具有先天的防釣魚有事。通過構建可信URL數據庫、IP信譽和自動化的掃描輔助以人工確認等綜合手段，從而構建高效、準確的反釣魚監控系統。網頁木馬監測服務基于“云安全”平臺，采用業內領先的一體化掛馬檢測技術，高效、準確的識別網站頁面中的惡意代碼，從而使的網站管理員能夠第一時間感知網站的安全狀態，及時清除網頁木馬，避免給用戶帶來安全威脅，繼

51、而影響網站信譽。遠程網頁篡改監測服務對頁面篡改監控提供二種模式處理：對于網站結構或者屬性單一的用戶，提供基于防護的篡改監控防護模式。用戶可以根據自己情況，從管理中心下載與其服務器相對應的防篡改客戶端，安裝在自己服務器上，和管理中心互聯，完成”監控-防護”的功能；基于掃描的網頁篡改監控服務。通過遠程實時監測目標網站頁面的信息，一旦發現頁面被篡改情況，第一時間通知用戶。用戶可根據提供的安全建議及時修復被篡改頁面，避免篡改事件影響擴散，給自身帶來聲譽和法律風險。網頁敏感信息監測服務遠程實時監測目標站點頁面狀況，發現頁面出現敏感關鍵詞，第一時間通知用戶。用戶可參考提供的安全建議及時刪除敏感內容，避免事

52、件影響擴散，給自身帶來聲譽和法律風險。用戶也可以自定義所關心的敏感關鍵詞。內容監控引擎能對網站存在的敏感信息進行檢測，并且可以檢測不少于4種類型的敏感信息，同時，還能夠支持自定義倒入敏感信息，并能夠自定義設置不同級別的檢測敏感度，提升檢測的靈活性及判斷的準確率。網站應用監測服務應用監控主要涉及以下指標：網站可用性、網站從不同線路來訪問得速度情況、網站響應時間，從而判斷是否能達到最優、最安全的服務質量。通過監測系統，遠程實時監測目標站點在多種網絡協議下的響應速度、首頁加載時間等反映網站性能狀況的內容，一旦發現網站無法訪問，第一時間通知用戶。可用性監控引擎能同時檢測網站的HTTP、DNS、PING

53、響應，提供自定義的安全閥值，從而為網站快速診斷提供幫助；同時，能夠計量服務器掉線等安全事件發生的頻率、時間段，并提供報警操作。HTTP監控通過自定義閾值探測網站頁面的HTTP響應速度，以此為依據判斷網站的可用性，從而實現監控功能。DNS監控通過自定義閾值探測服務器的DNS響應速度，從DNS服務響應的角度判斷網站的可用性，從而實現監控功能。PING監控通過自定義閾值探測站點地址的PING響應速度，以此為依據判斷網站的可用性，從而實現監控功能。域名監測(DNS)服務遠程實時監測各地主流ISP 的 DNS 緩存服務器和用戶DNS 授權服務器的可用性，以及它們對被監測域名的解析結果情況。一旦發現用戶域

54、名無法解析或解析不正確，第一時間通知用戶。用戶可參考提供的安全建議恢復域名正常解析，避免域名不可用給訪問者帶來不好的體驗。暗鏈監控監控引擎能提供對網站的隱藏鏈接、非法鏈接檢測的功能。用戶可以自定義添加信任鏈接地址。系統漏洞掃描可針對網絡主機（如網絡打印機、服務器、客戶機等）、網絡設備（Cisco、3Com、Checkpoint等主流廠商網絡設備）、操作系統（Microsoft Windows 9X/NT/2000/XP/2003、Sun Solaris、HP Unix、IBM AIX、IRIX、Linux、BSD和國產麒麟操作系統等）以及應用系統等進行漏洞掃描檢測。數據庫漏洞掃描可以針對當下主

55、流的數據庫，如Oracle、MySQL、DB2、PostgreSQL、sybase、SQL Server等進行漏洞檢測。弱口令檢查平臺提供弱口令檢查引擎，可以基于調度任務對網站進行遠程自動掃描，獲得所述網站的用戶信息，包括：用戶名、密碼，然后一方面同弱口令字典中的弱口令進行匹配；另一方面使用獲取到的口令進行模擬登陸驗證，從而實現弱口令檢查功能。能對支持telnet, ssh, rdp,http, https, oracle, mysql,oracle-sid, redis，mongoDB的弱口令進行安全檢測，一旦發現問題，快速處置。WebShell檢測（流量監測+特征檢測）監測預警平臺提供的W

56、ebShell檢測引擎，可配合部署在終端的安全組件，對系統后臺的非法操作、異常函數調用及異常指令執行進行監控判斷，識別WebShell攻擊。同時，通過與Web應用防護系統的聯動，一方面對非法的試探攻擊進行阻斷，另一方面對WebShell的非法上傳進行阻斷，并且進行持續監測和實時告警功能。安全威脅情報定期提供面向Web的安全漏洞、安全咨詢以及Web攻擊趨勢分析報告，便于掌握并且規避相關安全問題。主要提供： 1) 針對安全漏洞的分析和修復方案； 2) 重大事件之前的安全預防以及相關通告； 3) 定期關于網站威脅的分析報告，同時及推送國內的重大安全事件； 4) 更新針對Web的威脅庫，提供及時有效的

57、預警服務。IP地址掃描（資產、漏洞發現）平臺IP地址掃描（資產、漏洞發現）平臺是以IP資產、網絡安全設備（防火墻、IPS、WAF等）、路由設備、交換設備、計算機外圍設備（WIFI、打印機、掃描儀等）為核心，進行資產識別，以Web應用、數據庫、操作系統、軟件的安全檢測為核心，弱口令、端口與服務探測為輔助的綜合資產漏洞探測系統。實現分布式、集群式漏洞掃描功能，縮短掃描周期，提高長期安全監控能力。通過B/S框架及完善的權限控制系統。IP地址掃描偵測引擎利用基于指紋庫的網絡設備組件識別技術，進行網絡設備信息采集。提供不低于3000萬個IP地址全部資產識別和漏洞發現，在百兆帶寬下不多于40天，采用500

58、兆以上帶寬時，系統平均識別和發現時間不多于15天。Web監控預警系統圖 Web漏洞掃描預警監控系統體系結構圖Web監控預警結構設計網絡爬蟲系統結構設計基于網絡的WEB應用漏洞掃描的系統的核心模塊進行了設計，該設計的后臺主要模塊可分為四個：控制調度模塊、網絡爬蟲模塊、掃描功能模塊和數據庫。在此論述系統的設計思想及相關的技術原理，其各模塊的工作關系如下圖。圖 Web漏洞掃描預警監控系統模塊關系圖控制模塊控制調度模塊，既是控制整個系統執行順序的模塊，一般的小型系統可以將控制調度的邏輯直接寫進代碼中，這樣，系統就能嚴格按照代碼的順序執行相關的功能，但是如若系統增加了一個功能或者刪減了一個功能，就需要對

59、調度的代碼做直接修改，對于一個注重擴展性的系統而言，這顯然是不合理的，當一個系統經常做功能上的修改，這種方式將浪費掉大量的時間和精力，抬高了系統的維護成本，本文設計的系統的特點之一便是擴展性強，所以本系統將調度模塊和其它模塊解耦，調度模塊只從配置文件獲得各個模塊的執行順序，而一旦有模塊的增加或刪減，也只對配置文件做修改，這樣就避免了模塊之間的耦合，提高了系統的擴展性。其工作流程如下圖。圖 控制模塊工作流程圖第一步：加載系統和數據庫的配置文件，獲得運行參數。第二步：根據配置文件獲得的參數，將http 訪問、數據庫、和線程池等系統運行的公共組件進行初始化。第三步：根據獲得的運行參數及調度順序，后臺

60、各功能模塊順序執行。配置文件模塊為了使各個模塊之間的解耦，本系統運行中用到的可變參數均通過配置文件的形式給定，根據本系統的架構，需用到的配置文件有：Config.xml、SysConfig.xml、CrawlConfig.xml 、LoginSequnce.xml、DataBaseConfig.xml、ScanTemplate.xml。所有配置文件均采用XML格式給出。其中，Config.xml 是系統啟動時加載的第一個配置文件，但其并未提供具體的配置，而是羅列了其它所有配置文件的路徑，系統通過讀取 Config.xml，可依次加載各個配置文件；SysConfig.xml 可配置系統的運行參數