第十單元新興領域的信息安全技術主要內容任務2大數據與信息安全任務2大數據與信息安全

奇威公司經過多年的發展，已經成長為一家大型的企業，其信息系統規模也不斷擴大，網路中部署了大量的安全設備，如防火墻、WAF、IPS、審計類等，每個安全設備都產生大量日志，信息相互獨立，逐漸成為“信息孤島”，令小衛對于網絡安全狀況難以快速掌控。這樣龐大的網絡，

一旦網絡被入侵，也難以及時發現并還原完整入侵過程，不能做到“追蹤溯源”。面對這些難題，這些都讓小衛很頭疼。最近聽人說，利用大數據技術可以大大提升網絡安全管理的水平，這是真的嗎，小衛準備一探究竟。【任務情境】任務2大數據與信息安全1、什么是大數據及它的特征？大數據（bigdata），指無法在一定時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。簡而言之，大數據指的就是要處理的數據是TB級別以上的數據。大數據是以TB級別起步的。大數據有四個特征：大量、多樣、快速、價值。大量是指數據需要非常大的存儲空間進行存儲，而如果要處理這些海量的數據，那么計算量可想而知；多樣是指數據數據的來源往往也是多樣化的，數據的格式也是多樣化的，數據的來源可能是來自數據庫，也可能是來自一些監控采集數據，而數據的格式可能有普通文本，圖片、視頻、音頻、結構化的，非結構化的等等，反正什么樣的數據都有；快速是指數據的增長速度是非常快的，也要求處理數據的應用系統的處理速度也要快；價值是指大數據不光是要求數據量要大，更重要要的是數據要全面，要多維度的，這樣我們提取到的數據才是比較有價值，比較準確的。【知識準備】任務2大數據與信息安全2、大數據的關鍵技術如果將大數據比作一種產業，那么這產業盈利的關鍵點在于，提高對數據的“加工能力”，通過“加工”實現數據的“增值”，這便是大數據關鍵技術發揮的能力。大數據關鍵技術涵蓋從數據存儲、處理、應用等多方面的技術，根據大數據的處理過程，可將其分為大數據采集、大數據預處理、大數據存儲與管理、大數據分析及挖掘、大數據可視化等環節。（1）大數據采集大數據采集技術是指通過RFID數據、傳感器數據、社交網絡交互數據及移動互聯網數據等方式獲得各種類型的結構化、半結構化及非結構化的海量數據。大數據的數據源主要有運營數據庫、社交網絡和感知設備3大類。針對不同的數據源，所采用的數據采集方法也不相同。【知識準備】任務2大數據與信息安全（2）大數據預處理其實現實世界中數據大體上都是不完整，不一致的數據，無法直接進行數據挖掘，或挖掘結果差強人意，為了提高數據挖掘的質量產生了數據預處理技術。（3）大數據存儲與管理大數據存儲及管理的主要目的是用存儲器把采集到的數據存儲起來，建立相應的數據庫，并進行管理和調用。面對海量的Web數據，為了滿足大數據的存儲和管理，Google自行研發了一系列大數據技術和工具用于內部各種大數據應用，并將這些技術以論文的形式逐步公開，從而使得以GFS、MapReduce、BigTable為代表的一系列大數據處理技術被廣泛了解并得到應用，同時還催生出以Hadoop為代表的一系列大數據開源工具。從功能上劃分，這些工具可以分為分布式文件系統、NoSQL數據庫系統和數據倉庫系統。【知識準備】任務2企業信息安全規劃（4）大數據的處理大數據的應用類型很多，主要的處理模式可以分為流處理模式和批處理模式兩種。批處理是先存儲后處理，而流處理則是直接處理。其中批處理模式中典型的代表是Hadoop的MapReduce組件，流處理模式比較典型的代表是Spark技術框架。（5）大數據分析及挖掘大數據處理的核心就是對大數據進行分析，只有通過分析才能獲取很多智能的、深入的、有價值的信息。越來越多的應用涉及大數據，這些大數據的屬性，包括數量、速度、多樣性等都引發了大數據不斷增長的復雜性，所以，大數據的分析方法在大數據領域就顯得尤為重要，可以說是決定最終信息是否有價值的決定性因素。【知識準備】任務2企業信息安全規劃（6）大數據可視化在大數據時代下，數據井噴似地增長，分析人員將這些龐大的數據匯總并進行分析，而分析出的成果如果是密密麻麻的文字，那么就沒有幾個人能理解，所以我們就需要將數據可視化。圖表甚至動態圖的形式可將數據更加直觀地展現給用戶，從而減少用戶的閱讀和思考時間，以便很好地做出決策。【知識準備】任務2大數據與信息安全3、Hadoop系統及其生態圈Hadoop是一種分析和處理大數據的軟件平臺，是一個用Java語言實現的Apache的開源軟件框架，在大量計算機組成的集群中實現了對海量數據的分布式計算。Hadoop采用MapReduce分布式計算框架，根據GFS原理開發了HDFS（分布式文件系統），并根據BigTable原理開發了HBase數據存儲系統。Hadoop和Google內部使用的分布式計算系統原理相同，其開源特性使其成為分布式計算系統的事實上的國際標準。Yahoo、Facebook、Amazon，以及國內的百度、阿里巴巴等眾多互聯網公司都以Hadoop為基礎搭建了自己的分布式計算系統。Hadoop又是一個幵源社區，主要為解決大數據的問題提供工具和軟件。雖然Hadoop提供了很多功能，但仍然應該把它歸類為由多個組件組成的Hadoop生態圈，這些組件包括數據存儲、數據集成、數擔處理和其他進行數據分析的專門工具。如下圖10-5所示的Hadoop的生態系統，主要由HDFS、MapReduce，HBase，Zookeeper，Pig、Hive等核心組件構成，另外還包括Sqoop、Flume等框架，用來與其他企業系統融合，其生態系統也在不斷的成長。【知識準備】任務2大數據與信息安全圖10-5Hadoop的生態系統框架圖【知識準備】任務2大數據與信息安全3、Hadoop系統及其生態圈Hadoop是一種分析和處理大數據的軟件平臺，是一個用Java語言實現的Apache的開源軟件框架，在大量計算機組成的集群中實現了對海量數據的分布式計算。Hadoop采用MapReduce分布式計算框架，根據GFS原理開發了HDFS（分布式文件系統），并根據BigTable原理開發了HBase數據存儲系統。Hadoop和Google內部使用的分布式計算系統原理相同，其開源特性使其成為分布式計算系統的事實上的國際標準。Yahoo、Facebook、Amazon，以及國內的百度、阿里巴巴等眾多互聯網公司都以Hadoop為基礎搭建了自己的分布式計算系統。Hadoop又是一個幵源社區，主要為解決大數據的問題提供工具和軟件。雖然Hadoop提供了很多功能，但仍然應該把它歸類為由多個組件組成的Hadoop生態圈，這些組件包括數據存儲、數據集成、數擔處理和其他進行數據分析的專門工具。如下圖10-5所示的Hadoop的生態系統，主要由HDFS、MapReduce，HBase，Zookeeper，Pig、Hive等核心組件構成，另外還包括Sqoop、Flume等框架，用來與其他企業系統融合，其生態系統也在不斷的成長。【知識準備】任務2大數據與信息安全4、大數據背景下的安全挑戰大數據在帶來發展與機遇的同時，也帶來了諸多信息安全問題，比較明顯的影響主要體現在幾個方面，一是加大了個人隱私泄露的風險；二是給高級持續性威脅（APT）提供了便利；三是大數據下訪問控制難度加大。 （1）大數據增加了隱私泄露的風險大數據分析技術的發展，勢必對用戶個人隱私產生極大威脅。大數據時代，采集個人信息日益方便快捷，范圍更加全面，不僅包括公民身份的相關數據，而且涵蓋公民的商業消費與日常金融活動等交易類數據、其在社交網絡發表的各種言論等互動類數據、基于網絡社會產生的人際關系類數據等，通過整合各類數據，進行關聯、聚合分析，可以做到準確全面地還原個人生活，進而預測其社會狀況的全貌，最終產生難以想象的巨大經濟效益。但是，很多大數據的分析并沒有對個人隱私問題進行考慮。由于互聯網的開放性特點，在大數據時代想屏蔽大數據廠商、組織及人員對個人信息的挖掘是幾乎不可能的。【知識準備】任務2大數據與信息安全（2）大數據為高級持續性威脅（APT）提供了便利APT（AdvancedPersistentThreat，高級持續性威脅）是利用先進的攻擊手段對特點目標進行長期、持續性網絡攻擊的一種攻擊形式。APT攻擊相對于其他攻擊形式而言更加先進，這主要體現在攻擊者在發動攻擊之前會對攻擊對象進行精確的信息收集。（3）大數據下訪問控制難度加大訪問控制是實現數據受控共享的有效手段。由于大數據可能被用于多種不能場景，其訪問控制需求十分突出，難度加大。【知識準備】任務2大數據與信息安全

步驟1、了解什么是態勢感知 網絡安全態勢感知就是利用大數據存儲、大數據挖掘、大數據智能分析和可視化等技術，直觀顯示網絡環境的實時安全狀況，為網絡安全提供保障。借助網絡安全態勢感知，網絡監管人員可以及時了解網絡的狀態、受攻擊情況、攻擊來源以及哪些服務易受到攻擊等情況，對發起攻擊的網絡采取措施；網絡用戶可以清楚地掌握所在網絡的安全狀態和趨勢，做好相應的防范準備，避免和減少網絡中病毒和惡意攻擊帶來的損失；應急響應組織也可以從網絡安全態勢中了解所服務網絡的安全狀況和發展趨勢，為制定有預見性的應急預案提供基礎。【任務實施】任務2大數據與信息安全

步驟2、認識態勢感知的建設模式 安全態勢感知平臺建設模式，態勢感知平臺安全要素獲取維度分為兩個大類：流量分析模式和日志采集分析模式，同時再結合威脅情報、智能分析等技術實現對整網安全問題的分析、定位以及安全狀態的可視化度量。流量分析模式 本模式主要通過在網絡的關鍵路徑，如服務器區、核心區、出口區旁路部署探針設備（一般均為軟硬件一體設備），對網絡流量中的異常安全事件進行解析，包括攻擊流量特征、威脅文件傳輸等。其優勢是不需要現網其他設備對接配合，可實現快速部署，可復制性強，且借助原始流量關鍵信息的還原、存儲，可以提供更多的原始數據回溯支持，便于深度分析。其劣勢是能整合現網已有網絡組件的安全信息，包括已經部署的大量安全設備，分析能力受限于一家廠商的研發水平，不能集各家所長，同時對于需要日志強相關的分析模型無法建立。【任務實施】任務2大數據與信息安全

日志采集分析模式 本模式主要通過采集現網網絡組件的日志，包括安全設備、網絡設備、服務器、中間件、甚至業務系統等，進行統一日志標準處理后，對安全問題進行關聯分析。廣義上說，其實所對接的安全設備等也屬于平臺的感知探針之一。其優勢是能充分整合全網安全相關信息，采集分析維度更全面，依據各安全設備的分析日志結果，可以集各家所長，不受限于一家廠商的分析能力。同時對日志的采集，也天然滿足了網絡安全法、等保日志審計的合規要求，這個是流量分析所不具備的。其劣勢是由于每個用戶現場設備廠商、類型差異非常大，所以可采集到的信息不可控，分析模型的復制性受限，對接優化周期較長，同時對安全問題回溯，由于沒有原始流量數據支撐，深度排查可能受限。混合模式 就是由于以上單一模式的缺陷，目前的主流安全廠商都提出了將“日志模式+流量模式”有效融合，同時結合威脅情報、智能分析的混合建設模式，這樣才可以很好地發揮日志分析全面性、異構性、合規性優勢，同時配合流量分析維度，解決威脅深度分析、回溯支持、快速部署等問題。【任務實施】任務2大數據與信息安全步驟3、認識態勢感知平臺的架構及部署 優秀的態勢感知平臺是盡可能全面采集信息網絡相關數據，包括網絡設備數據、安全設備數據、主機設備數據、數據庫數據以及應用系統和中間件數據，融合威脅情報進行基于大數據平臺的安全管理與安全分析，實現資產管理、漏洞管理、事件管理、威脅告警、調查分析