成果上報申請書成果名稱基于事件過濾的安全分析平臺成果申報單位湖北省（自治區/直轄市）公司成果承擔部門/分公司網優中心成果專業類別*安全所屬專業部門*安全線條成果研究類別*其他類成果省內評審結果*優秀關鍵詞索引（3～5個）安全管控、安全分析、KETTLE應用投資0萬元（指別的省引入應用大致需要的投資金額）產品版權歸屬單位中國移動湖北公司對企業現有標準規范的符合度：（按填寫說明5）符合網絡安全管控平臺功能規范《融合通信安全總體技術要求》要求，編號QB-F-015-2014，建議在原有規劃增加安全分析平臺的功能。成果來源：如果該成果來源于集團研發計劃內項目，請填寫研發項目年度、項目名稱及類型；否則填寫“計劃外項目”（按填寫說明6）省內自立項目專利情況：如果該成果產出相關專利，且專利處于國知局專利申請審查階段或已授權，請說明專利名稱、類型、申請號、狀態、是否海外申請等情況。（按填寫說明7）無成果簡介：簡要描述成果目的和意義，解決的問題，取得的社會和經濟效益。隨著集中優化的進程不斷加快，湖北移動網優中心承擔了全省無線OMC，以及各類IT系統的集中安全管控工作。在日常的網絡安全管理中，重點監控繞行問題、弱口令問題整改、合規問題整改和接入問題核查等問題，非常耗時耗力，如果不及時處理將引起重大的安全隱患。2014年湖北移動省網優中心牽頭排查無線網安全問題隱患，成立安全數據問題分析專班，特別是針對安全管控平臺及合規平臺問題進行事件分析和過濾進行專題研究，探索一條自動化的網絡安全管理機制。主要的思路是首先梳理集團的安全管控要求，提取其中的安全管控點，以及每個管控點對應的安全事件；第二是利用ETL中間件，定時采集和過濾異常安全事件，并給出分地市的量化評分，第三是建立地市派單機制，對安全問題進行閉環管控，這樣一來就實現了在省中心對全省網絡安全問題的集中管控水平，保障了網絡的安全。結合KETTLE中間件的強大數據處理能力，對無線網設備的安全問題進行事件過濾和分析。不僅提高了日常工作效率而且大大提高了安全事件的處理能力和安全管控能力。項目創新點如下：創新點1：提高安全隱患排查效率通過事件過濾工具可以及時發現網絡安全隱患問題，組織問題整改，便于跟蹤管理，較人工排查效率明顯提高。真正的成為安全防護的第一道堅實防線。創新點2：自由便捷的白名單管理由于大量的程序賬號及內部系統登錄連接，導致大量的登錄地址需要剔除。在安全問題日益重要的當今，便捷的白名單管理可以大大提升安全隱患排查效率。創新點3：基于KETTLE組件具有高開發效率和低開發成本。KETTLE是開源ETL中間件（免費），支持對結構化和非結構化數據導入，以及全圖形化設計過程，讓開發人員將主要的精力放在規則上，以期提高開發效率。從使用效果來說，這些工具能夠快速地構建一個工程來處理某個數據，相比較于傳統的開發模式，節省60%的開發成本。省內試運行效果：描述成果引入后在本省試運行方案、取得的效果、推廣價值和建議等。效果一：安全異常事件的數量變少以前異常事件的核查都是采用人工處理，需要至少三四人天的時間去核查事件問題，而kettle在處理大量的數據時有著明顯的優勢，能夠更快更準確的定位出問題，給安全管理人員節省出更多的時間去解決問題和優化安全管理流程，安全事件基本為由2014年第一季度的600件減少到2015年的第一季度的82件效果二：通過工單形成的閉環處理如下圖所示，在KETTLE軟件的幫助下，通過工單事件形成了閉環處理。在第一時間發現問題，然后就可以立刻發送工單，督促OMC廠家或者地市去解決的問題。用8個月發現了OMC廠家和地市的1400個安全問題，發出工單數約為500個，均督促相關廠家和設備商進行及時處理。效果三：集團考核安全指標的提升Kettle截止今日已經試運行了9個月，如下圖所示，在這三個季度以來，集團安全指標由原來的不達標到現在的指標優秀。安全異常事件類型14年第三度15年第一季度繞行事件65.74%0.40%弱口令事件4.43%0.12%合規事件43.23%98.34%接入事件0%99.80%“成果上報申請書”的填寫說明：1、“成果專業類別”指：核心網、無線、傳輸、IP、網管、業務支撐、管理信息系統、市場研究、數據業務、數據網絡、通信電源、空調、其他。2、“成果研究類別”指：超前研究、新產品開發、相關網絡解決方案、現有業務優化、其他。3、“所屬專業部門”指：完成該成果的單位在省公司或地市分公司所屬的專業部門線條。可填寫：規劃計劃線條、網絡線條、業務支撐線條、管理信息系統線條、數據線條、市場線條、集團客戶線條、其他。4、“省內評審結果”指：優秀、通過。5、“對企業現有標準規范的符合度”指：列舉該成果使用并符合的中國移動統一發布的企業標準的名稱和編號，詳細描述該成果在現有的企業標準基礎上所需新增的功能要求（如業務流程的改變、設備新增的功能要求等）。6、成果來源指：如果該成果來源于集團研發計劃內項目，請填寫研發項目的年度、項目名稱和類型（類型包括：集團重大研發項目、集團重點研發項目、省公司自立項目）。未列入集團研發計劃的，請填寫“計劃外項目”。（集團研發計劃請見集團每年的發文，或登錄科技創新平臺查閱。）7、專利情況指：1)類型：發明、實用新型、外觀2）名稱：該成果申請專利的名稱3）申請號：由知識產權審查機構授予的該成果專利申請號4）狀態：申請中、已授權8、“文章主體”：根據不同科技成果分類實施不同的主體要求，具體如下：1）超前研究類成果主體包括：背景情況技術特點分析標準化情況其他運營商應用情況（可選）技術發展趨勢引入策略分析2）相關網絡解決方案類成果主體包括：背景情況技術方案：概述、網絡解決方案（如果涉及到網絡方面的改造，信令改造，路由改造等，應有詳細的描述）、設備及系統改造/建設要求、碼號資源需求效果（解決了哪些問題）本省應用推廣情況3）新產品開發類成果主體包括：業務及功能簡介：業務概述、業務主要功能介紹技術實現方案：包括業務實現組網結構圖、相關系統（平臺、終端）功能和要求、業務實現流程、碼號要求等業務申請和開通：包括用戶范圍及業務使用范圍、業務申請與注銷等業務商務模式及資費：包括商務模式、業務資費模式、業務收費方式等市場前景分析4）現有業務優化類成果主體包括：業務及功能簡介：業務概述、業務主要功能介紹現有業務存在的問題：現有缺陷分析、解決問題的思路原有業務方案/流程：業務實現組網結構圖、相關系統（平臺、終端）功能和要求、業務實現流程優化后的方案/流程：業務實現組網結構圖、相關系統（平臺、終端）功能和要求、業務實現流程優化后達到的效果，產生的經濟效益5）其他類成果主體，參考1）－4）的成果主體要求，闡述清楚項目背景、實現方案、解決的問題、取得的社會和經濟效益等。

基于事件過濾的安全管控平臺事件過濾項目背景安全管控是一個關系公司安全和產權、信息穩定、公司文化繼承和發揚的重要問題。其重要性，正隨著全球信息化步伐的加快越來越重要。中國移動擁有龐大的信息數據體系以及豐富的支撐平臺，因此公司的安全與發展與安全管控系統的防護息息相關。根據工信部《關于開展基礎電信企業網絡與信息安全責任考核有關工作的指導意見》（工信部聯保〔2012〕551號），以及《2013年省級基礎電信企業網絡與信息安全工作考核要點與評分標準》（工信廳保〔2012〕247號）中涉及網絡維護部門的相關要求，完成年初網絡工作會部署的任務，2013年湖北省按照網絡與信息安全責任分工，圍繞控制重要系統的主要風險，以技術手段建設和應用為抓手，深化基礎性安全工作，完善生產流程和評價方法，整體提升網絡與信息安全工作水平。如下圖2-1所示，集團要求信息安全管控重點檢查繞行問題、合規問題、弱口令問題和接入問題。傳統的信息安全管控是通過定期抽查其中部分事件，進行手動分析處理，然后對問題地市和廠家進行派單。這種方式費時費力，無法及時針對重大質量問題及時處理，而且不能對整個網絡安全有個整體的把控。2014年湖北移動省網優中心牽頭排查無線網安全問題隱患，成立安全數據問題分析專班，特別是針對安全管控平臺及合規平臺問題進行事件分析和過濾進行專題研究，結合KETTLE中間件的強大數據處理能力，對無線網設備的安全問題進行事件過濾和分析。提出并開發了一種高效的基于事件過濾的安全管控平臺，它實現了定時自動提取OMC等安全相關數據，根據安全管理員量身定制的算法對數據分析處理，結果推送等功能。這樣就避免因為員工疏忽和數據不全面，導致不必要的錯誤，同時也節省了許多人力和物力資源，大大提高了安全管理的工作效率。圖2-1安全管控的整體框架亟待解決的安全管控平臺問題待解決問題分析安全管控平臺主要事件包括登錄問題事件、合規問題事件、弱口令問題事件、繞行問題事件、接入核查事件等。每個問題事件過濾所需的數據源類型多樣，數據量大，這不僅需要大量的人力和物力進行處理，而且人員疏忽和數據處理樣本過小的問題也導致處理結果準確性不足夠高。對需求進行了充分了解后，研制出準確的數據分析模型和時間處理框架，以便輕松的將結果呈現出來。本次實現模式采用大數據處理模式——ETL，對數據進行抽取、清洗、下載。目前安全管控平臺安全問題分析主要存在以下問題及難點。1）時間有限：通信工作人員使用和開發編程能力欠缺，數據提取及處理費時費力。購買預算：單獨組織集成商開發成本較高，且存在維護困難的問題。事件數量：管控平臺中需要核查的問題事件多樣化，因此數據采集和結果運算算法復雜。4）數據源多樣化：安全管控涉及的主設備廠家較多，數據源多樣化，需要各種數據輸入形式。5）可擴展性：人員變更和白名單內數據需要根據需要隨時進行更新調整。問題1：數據量大，人工分析時間長隨著4G網絡的不斷發展必然要造成網絡規模迅速擴大，這使我們在整個網絡安全管控方面有了新的挑戰。如果再以傳統模式中事件抽取的方式進行處理，不但會占用越來越多的人力物力，另外也無法對于安全管控平臺的問題情況進行量化評估和針對重大問題及時分析處理。下面簡單列舉出基本數據的提取及處理時長：表2-1下列數據以網優中心現有網絡規模進行統計數據類型規模提取時長（小時）處理時長（小時）接入設備約1000臺13.52.5安全管控平臺繞行數據100萬83合規問題整改數據10萬41弱口令問題整改數據10萬41面對如此龐大的數據庫，人工處理時長太長，而且處理周期頻繁，安全管理人員的工作越來越繁重，所以急需一種高效的數據問題核查及分析方案，實現通過對數據問題分析和安全隱患排查的管理。問題2：事件選取集小，分析不全面安全問題是一直是中國移動非常核心的一部分，但是每年都要有一兩千個安全問題出現，問題解決進展很緩慢。其中一個重要原因就是問題事件較多，而選取用來分析的集合較少，很難較為全面的去把控整個流程。圖2-2安全管控問題分析流程解決對策安全事件模型如下圖2-3所示，整個網絡安全管理重點監控處理的事件有四個：繞行問題、弱口令問題整改、合規問題整改、接入問題核查。主要事件用例分為：設定自動運行機制，自動從廠家OMC、安全管控平臺等提取日志數據；通過公式計算得到繞行率、弱口令率、合規整改率、接入率。1）繞行事件：如下圖2-4所示，繞行事件分為白名單登錄、4A登錄、直連登錄、橋接登錄。4A繞行率=count(直連登錄+橋接登錄)/count（白名單+4A登錄+直連登錄+橋接登錄）。2）弱口令事件：如下圖2-5所示，弱口令事件的檢測結果有兩種：檢測為弱口令、檢測為非弱口令。弱口令率=count(檢測為弱口令)/count(檢測為弱口令+檢測為非弱口令)；3）合規事件：如下圖2-6所示，合規事件的核查結果也有兩種：合規和不合規。對不合規的廠家地市進行派單整改。合規率=count（合規）/count（合規+不合規）。4）接入事件：如下圖2-7所示，接入事件是與資源庫中IP地址比對，因此檢測結果分為兩類：資源庫匹配和資源庫不匹配。接入率=count（匹配）/count(匹配+不匹配)。得到不符合規定繞行、弱口令、需要整改、接入有問題的詳細廠家或者主機IP。對問題地市和廠家派單后續處理。地市和廠家可以通過4A平臺連接遠程服務器，下載有問題的IP地址詳單。圖2-3網絡管理總概況圖圖2-4繞行事件圖2-5弱口令事件圖2-6接入事件圖2-7合規事件工具選用結合上述要素，最后選擇了Kettle作為ETL的開發中間件。kettle是一款國外開源的ETL工具，純java編寫；可以在Window、Linux、Unix上運行，綠色無需安裝；數據抽取高效穩定，大大提高了效率；圖形化設計界面，應用以及開發人員上手快。KETTLE組件處理數據的優勢：ETL中間件使得網優人員只需要關注哪些數據需要導入，而不需要關注如何導入。多數據源輸入支持多種數據庫連接：kettle可連接數據庫多達十多種，例如Postgresql、MySQL、Oracle、Informax等等支持各種格式的文件輸入：如txt、csv、xls、xml、自定義表格等等易于理解可視化編程：基于圖形界面設計，無需編碼可復用插件:提供大量的插件，規范開發過程模塊化組裝：數據挖掘過程通過模塊拼裝實現易于變化模塊化結構：方通過局部修改來完善功能。第三方插件：ETL中間件可以作為插件平臺平臺無關：不依賴底層硬件，方便集群部署閉環管理如下圖2-8所示，在省網優、地市和廠家之間通過工單事件形成了閉環處理。省網優安全管理人員在第一時間發現問題，然后就可以立刻發送工單，督促OMC廠家或者地市去解決的問題。地市和設備商會根據具體情況進行整改和優化，然后回復工單。這種閉環形式可以督促跟蹤行家解決問題，提高辦事效率。使用8個月以來，發現了OMC廠家和地市的1400個安全問題，發出工單數約為500個，均督促相關廠家和設備商進行及時處理。圖2-8閉環管理示意圖詳細技術方案整個流程框架是基于kettle設計，Kettle中文名稱叫水壺，該項目的架構師MATT希望把各種數據放到一個壺里，然后以一種指定的格式流出。Kettle這個ETL工具集，它允許你管理來自不同數據庫的數據，通過提供一個圖形化的用戶環境來描述你想做什么，而不是你想怎么做。如下圖3所示，按照現在安全管理問題核查需求，針對四個問題進行概率核查和詳情輸出。將整個安全管控系統的實現模型分為四個模塊：繞行率計算、接入率計算、合規率計算、弱口令率計算。如下圖4所示，每個模塊的實現模型都是按照ETL大數據處理方式進行設計，模塊流程包括：事件數據搜集、事件過濾清洗、分析數據、問題結果呈現。針對每個問題的計算流程大體類似，現已繞行率計算模塊為例，對每個模塊的實現技術進行一一詳述。圖3-1項目實現框架圖3-24A繞行率方案的總實現Job模塊項目需求分析利用KETTLE中間件開發一套基于時間過濾的安全管控平臺，該平臺主要實現的功能為：自動從數據庫中提取出所需要的源數據；利用KELLE中間件中和問題核查算法計算問題結果；將結果放到指定文件夾或者數據庫表，供使用者查看。圖3-3整體需求模塊支持從各類平臺以及各類型OMC上導出安全日志至工具中；使用kettle工具開發的安全分析平臺分析數據數據；將結果結果保存在遠程務器或者存儲到數據庫中；省網優、廠家和地市都可以登錄服務器或者數據庫客戶端對分析結果進行瀏覽和下載。關鍵點分析（文本處理特性）支持多文檔類型如上圖3-3所示，借助于kettle工具的優勢，本安全分析平臺支持多數據輸入：txt、csv、xml、xls、log等等文檔類型，并且可以連接大多數數據庫，如DB2、MySQL、PostGreSQL、SQLServer、ORACLE、Informax等等。如下圖3-4所示，實現將文本文件歸一化到數據庫中需要經過如下kettle流程。整個數據庫中數據表字段為IP地址、廠家制式、地市、時間、是否繞行。下圖3-5是每個組件具體實現功能。圖3-4實現模型圖3-5kettle組件功能數據分析數據分析過程中要產生兩個輸出結果：概率和祥表。例如對繞行而言，要輸出繞行率和繞行的IP地址。其實最核心的步驟就是數據輸入，數據歸一化到數據庫中，計算概率通過簡單的SQL代碼即可實現。表輸入，從數據庫中將祥表數據數據到kettle中進行數據分析。此步驟可以在數據輸入的過程中對字段進行分析處理，例如計算繞行率，首先計算繞行IP地址和總的IP地址的數量，然后二者相除即可得到繞行率。MicrosoftExcelWriter，將結果輸出到指定位置的excel文檔中。圖3-6數據分析組件項目整體方案如下圖3-7所示，將華為、大唐、諾西、中興、愛立信的OMC日志文件自動導入到Postgresql數據庫中，實現數據歸一化。圖3-8為愛立信實現將.log格式的文件信息歸一化到運算所需的信息表中。圖3-7數據導入集成模塊圖3-8立信數據導入實現組件數據導入思路:實現將OMC不同類型的日志文件導入到postgresql數據庫中進行歸一化，整體思路為：日志文件內容和日志文件名稱信息按照需要導入到數據庫表中。日志文件名稱：中興_4G或中興_2G。祥表字段：序號字段名稱PG數據類型字符類型1IPVarchar字符型2時間timestamp時間3用戶名varchar字符型4制式text文本5地市text文本6是否繞行Int2整形祥表中字段信息來源解析從上面解析過程來看，如下圖所示kettle實現過程按照實現流程依次為：獲取廠家制式、獲取地市、獲取時間、增加字段是否繞行、字段刪留和記錄過濾。圖3-9kettle實現整體流程圖4A繞行率計算4A繞行率計算公式為：繞行IP數量/（繞行IP數量+非繞行IP數量），在將OMC日志信息歸一化到數據庫詳表中后，數據表字段中有個字段：是否繞行。計算記錄“是”記為count1.同時計算IP總數為count2。4A繞行率=count1/count2。具體實現是通過SQL代碼實現，實現組件為“執行SQL腳本”。數據清空執行SQL腳本：實現數據表清空。目的有兩個：1）為了防止同一天執行兩次，所以在每次生成新數據前都把當天數據給刪除。2）結果中沒有時間記錄，因此無法區分每次運行結果，因此系統只保留當天時間數據。自動運行配置項目設計完畢，就可以利用windows任務計劃按一定周期去調度項目，實現自動運行，每天會按照指定的時間將結果推送到數據庫中或文件夾中供使用者查看。圖3-10是自動運行領域對象模型圖，設定任務計劃，每天按照計劃內容調度運行項目，得到分析結果。圖3-11為設定好的任務計劃，本項目任務計劃名稱為wangyou0023。圖3-10自動運行示意圖圖3-11任務計劃界面Navicate客戶端查看和下載結果項目使用者個人電腦上可安裝一個navicate客戶端，直接連接服務器的postgresql數據庫，查看或下載分析結果。Navicat是以視覺化的圖形用戶界面而建的，讓你可以以安全并且簡單的方式創建、組織、訪問并共用信息。NavicateforPostgreSQL界面如下圖3-12所示：圖3-12navicate客戶端界面Navicate客戶端可實現功能如下：查看數據表：雙擊要查看表格即可下載數據表：查詢數據，然后根據導出向導導出數據修改數據表字段：右鍵點擊表設計新建表、刪除表、清空表取得的成效安全管控平臺日常、周常需要處理數據量大，數據具有一定的規律性。Kettle工具的使用提高了處理數據的效率和準確性，使得更多的人力可以投入到問題的解決處理、數據的優化升級中。安全工作優化的突有表現：實現安全管理工作的規范化基于事件過濾模型和分析平臺，一方面明確了工作的要求，同時也很分便進行工作的標準化作業，這個是一個特別核心的效果。在KETTLE軟件的幫助下，問題概率核查比較方便，可以在第一時間發現問題，然后就立即發送工單督促OMC廠家或者地市去解決問題，形成了一系列的閉環問題處理過程。根據需要，網優中心安全管理人員又將繞行率、合規率、弱口令率、接入率指標納入到廠家和地市考核當中。廠家、地市的周考核細化到了每天的日常統計中，極其快速的定位到了問題原因，并且為問題解決預留了更長時間，有利于充分解決問題。僅8個月發現了OMC廠家和地市的1400個安全問題，均督促相關人員對問題快速解決。圖4-1閉環處理流程圖提升安全問題分析效率1、如下表所示，以前的安全管控數據提取和數