1、網絡流量分析解決方案技術白皮書關鍵詞：DIG、NetStream 、NTA、網絡流量、網流分析摘要：網絡流量分析是一個有助于網絡管理者進行網絡規劃、網絡優化、網絡監控、流量趨勢分析等工作的工具，通過對網絡信息流(NetStream )的采集并分析可幫助網絡管理者得到網絡流量的準確信息，為網絡的正常、穩定、可靠運行提供保障。本文檔介紹了H3C公司的網絡流量分析解決方案(Network Traffic Analysis )的結構組成、功能、以及部署建議，有助于用戶更好的理解H3C的網絡流量分析解決方案的功能和特點。縮略語清單：Nou nExpla nati on中文解釋NTANetwork Tra

2、ffic An alysis網絡流量分析解決方案方案背景隨著網絡的應用越來越廣泛，規模也隨之日漸增長，網絡中承載的業務也越來越豐富。企業需要及時的了解到網絡 中承載的業務，及時的掌握網絡流量特征，以便使網絡帶寬配置最優化，及時解決網絡性能問題。目前企業在管理網絡 當中普遍遭遇到了如下的問題：1、網絡的可視性：網絡利用率如何？什么樣的程序在網絡中運行？主要用戶有哪些？網絡中是否產生 異常流量？有沒有長期的趨勢數據用作網絡帶寬規劃？2、應用的可視性：當前網內有哪些應用？分別產生了多少流量？網絡中應用使用的模式是什么？企業內部重要應用執行狀況如何？3、用戶使用網絡模式的可視性：哪些用戶產生的流量最多

3、？哪些服務器接收的流量最多？哪些會話產生了流量？分別使用了哪些應用？從這些企業管理網絡中所經常遇到的問題來看，需要有一種解決方案能讓網絡管理人員及時了解到詳細的網絡使用情形，使網絡管理人員及時洞察網絡運行狀況、及時了解網內應用的執行情況。為了應對企業網絡管理中的這些問題，于是，H3C公司的NTA ( Network Traffic Analysis )解決方案應運而生!所謂的工欲善其事，必先利其器，NTA解決方案可以幫助網絡管理人員了解企業內部網絡之運行狀況，及時發現并解決網絡中的性能瓶頸問題、網絡異常現象，也能方便用戶進行網絡優化、網絡設備投資、網絡帶寬優化等的參考，并 方便網絡管理員及時解

4、決網絡異常問題。NetStream 技術介紹在理解Network Traffic Analysis解決方案之前，首先需要了解NetStream的一些基本概念，它們是該解決方案的基礎。“流”概念NetStream的流定義為：由源到目的方向的一系列單向的數據包。NetStream流是通過7元組來標識的，即通過接口索弓I、源IP地址、目的IP地址、源端口號、目的端口號、協議號和NetStream 統計ToS組成的七元組確定一個 NetStream流，設備根據七元組信息對過往的數據包進行下圖中就包括四條流:從Client A到WWW Server 方向通信時產生的流; 從WWW Server 到Cli

5、ent A方向通信時產生的流;從Client B至U FTP Server方向通信時產生的流；從FTP Server至U Client B方向通信時產生的流；FTP錮舞 Uiert BISAWWW/Ssrvar FT P ServerFTP好 VWWVSwvirXaivI B圖1網絡中流的舉例說明從上例中可以很容易地理解，流是單向的，同時流也是基于協議的。形象地說，通過NetStream流可以記錄下來網絡中 who、what、when、where、how。NetStream 技術NetStream是H3C公司基于“流”的概念，定義了一種用于路由器/交換機輸岀網絡流量的統計數據的方法，路由器 /

6、交換機對通過其的IP數據包進行統計和分析，并上報給網流采集器，網流采集器把搜集的數據包及統計數據傳送到網流 分析器，經合并處理后存入數據庫，并進行進一步的分析處理。NetStream技術可利用網絡中數據流創造價值，并可在最大限度減小對路由器 /交換機性能影響的前提下提供詳細的數據流統計信息。NTA解決方案介紹NTA系統組成Network Traffic Analysis 解決方案包括：網流采樣設備 (NetTraffic Exporter )、網流流采集設備 (NetTraffic Collector )、數據分析處理設備(NetTraffic Processor )，三個設備之間的關系如下圖

7、所示：NTE 網絡設備NTC網流禰誥Msg)NIP網施分析器Msg)圖2 Network Traffic An alyze各組成部分的關系NTE負責流量的采集和發送,NTC設備負責收集和存儲 NTE發來的流量統計數據信息;NTP從數據庫中獲取收集到的數據，經分析加工后以直觀的圖表、報表等方式為網絡規劃、網絡優化、網絡監控、流量趨勢分析、異常檢測等提供 直接的數據依據1) NetTraffic Exporter提供NetStream技術接口的網絡設備(H3C公司的路由器和交換機及華為公司的路由器)，負責對設備各個端口進岀的網絡報文進行流分類統計，然后打包輸岀。2) NetTraffic Coll

8、ectorNTC可以采集多個NTE設備輸出的數據，對數據進行過濾和聚合，并將數據存儲在數據庫中供分析處理。3) NetTraffic ProcessorNTP是一個網絡流量的分析工具，對采集來的流量數據進行分析處理。為便于網絡管理人員的操作，采用基于Web形式訪問，提供直觀的、圖形化的管理界面，所有數據輸岀都以友好的形式直接在Web頁面中顯示。NTE設備功能作為支持NetStream的網絡設備，首先需要打開網絡設備的偵聽端口，然后配置將NetStream日志要發送到哪個IP的哪個端口(即NTC設備的監聽端口)。這樣，設備就會把NetStream日志以UDP包的形式發往NTC，而NTC則可從偵聽

9、端口源源不斷的接收 NetStream日志。NTC設備功能NetStream日志被NTC設備采集到之后，將會做聚合處理，這樣可減少最終存入數據庫的的數據量，并提高了分析的效率；同時，NTC設備也會對存入數據庫的數據作進一步的統計處理，以便快速產生各類分析報表。NTP設備功能NTP對NTC生成的所有數據進行分析，對數據進行二次聚合、 統計分析，分析的結果以非常直觀的圖表、表格等形式展示給用戶， 通過這些分析結果， 用戶可以監控網絡使用狀況、應用使用狀況、用戶網絡訪問行為,并可監控到流量異常狀況以便用戶進一步做分析。報表功能用戶可根據統計分析的需求，自定義報表生成規則，由報表引擎生成報表，并將統計

10、分析的結果以餅圖、 曲線圖、統計信息表格等直觀的形態展示岀來。當前實現的報表功能列表和簡要說明如下：明 說 匕匕 厶冃 功配置功能備別 設識體 地端計 理統 物量 備流 設的過 1 曰重 流 口 端 理 物 的 備計設統 的行 定進 指式 對方組 按 并合聚鴦略 設策間 時 存 保 據 數小息 大信 值的N面 的TO ppMTo盤 置及 設以預，號 改號議 修議協分析功能量 流 口 接 備計設統寬 帶 的 口 接 和 值 量 流 的 口 接 個 各 備設率 示用 >占流 的 口 接布于分 基量在 L#接布 于分 基用吋在 和量 如流_7 n N 備 P 指用例基于接口的源IP TopN指

11、定設備、接口和時間段，顯示其流量排 名靠前的TopN源IP地址以及流量值和占 用流量的比例基于接口的目的 IP TopN指定設備、接口和時間段，顯示其流量排 名靠前的TopN目的IP地址以及流量值和 占用流量的比例基于接口的會話 TopN指定設備、接口和時間段，顯示其流量排 名靠前的TopN源和目的IP會話以及流量 值和占用流量的比例基于接口的應用相關TopN 源IP和目的IP 列表指定設備、接口，在應用流量趨勢圖中，查看指定應用的 TopN源IP地址和TopN 目的IP地址基于接口的TopN源IP相 關的應用TopN 列表和 會話TopN目 的IP列表指定設備、接口，在源IP TopN列表中

12、，查看指定源IP地址的應用TopN排名和會話TopN的目的IP地址基于接口的TopN 目的IP相關的應用TopN 列表和 會話TopN源IP列表指定設備、接口，在目的IP TopN列表中， 查看指定目的IP地址的應用TopN排名和會話TopN的源IP地址基于接口的TopN 會話相關的應用明細指定設備、接口，在會話TopN列表中，查看其會話的應用明細列表-流量值和所 占比例支持周期報表提供網流周期性（每小時、每日、每周、每 月）狀態的綜合報表，提供直觀的網流狀態 展示。支持即時報表提供網流當前狀態（最近一小時）的綜合 報表，提供準實時的網絡流量展示。報表展示目前對于NetStreamV5日志，N

13、TP提供以下統計分析報表:1流量統計報表-給出一段時間內入出流量的趨勢圖，以及按入出流量統計總流量、最大速率、最小速率、平均速 率，并給出流量明細信息：<1 I f* '并 鬥規 H E 皿少* lUi1JE?帆0Qf n k，blHB宙i),mo ar爭百mt?d n199強上樺It. KA1QM Ok2V 11 MODa aa«Bjo» oj n 11 Uli 00“co 0inw, O1-Ifl I fl IM1 HRqf 斤 * 口/im» 41 i fit f: 24用幡心 Q 1 A圖3流量統計報表2、應用統計報表-給岀一段時間內流入、流

14、岀的各種應用以及趨勢圖1« « 肺黃 骨 曇暫 甜剽坯 J1 14!< 特宦 黠科 8薦宿1 亡 tip33MMIft )5% TH 95 KB7K口<M <1 KB妣HU事忙爭專11楚* F創« 1KJ rIM 12x8e»u vs *： *沙啊罪*3機 1 “ j 甸n 單圖4應用統計報表3、應用明細報表-給岀應用統計報表中某個應用的明細信息, 應用統計報表-給岀一段時間內流入、流岀的各種應用以及趨勢圖。包含該應用的趨勢、 使用該應用源節點以及目的節點-盂士 - EJI » W帕JUfcw? mt 113F921M4154

15、lOil ¥AA q SITH.S7I912t3KB2科砸1推軸KB畑|J1T0 k 823.HKB1WHU 艸>*dkp23229l«210*4 3*14J3 3? KB22 J5ikB1»168« 1643*1 53 KB3s)it itn1 T C I'MHi祐曲圖5應用明細報表4、來源統計報表-給岀一段時間內，作為源IP的各個節點產生的流量的信息。以餅圖的形式展示，并給岀產生流量最多的節點:ta isa 130 rsjrionajiii'ID 兩 1 TK3 弋1& C 丹 1 «TO »圖6來源

16、統計報表top目的節點以及與源節點通5、來源明細報表-給岀來源統計報表中某個節點的明細信息。并給岀與源節點通信的信的top應用:4*VJHC1OQE4 MWw卡(WTANATwWIV1氣* r,劇*H w11 4 >8i<i -* «ni 6、目的統計報表-給岀一段時間內，作為目的IP的各個節點接收的流量的統計信息。以餅圖的形式展示，并給岀接收流量最多的節點ft l*li 更圖8目的統計報表7、目的明細報表-給岀目的統計報表中某個節點的明細信息。并給岀與目的節點通信的top目的節點以及與目的點通信的top應用財7* n樣i? iiiflimtii圖9目的明細報表8會話統計

17、報表-給岀會話節點流量TOP分布圖，以及會話節點流量 TOP列表IQ 110*-191 ¥W 153 1訂越J BP10153 130 32IQ 1&J1J4510153 21 175W1H1N11ID 15121 »W1S3 21 MW153 71 5TID 1533 54 laiUltQ 151J 5510153 J 551I1U3S5iD IS J 55ID 1U J543 n GO3 63 OBjee ob2 W OB2 ?0鴿 jfeoe2 1JQB圖10會話統計報表9、會話明細報表給岀會話統計報表中，某對 所使用的應用IP之間在一段時間內產生的流量的趨勢

18、，并給出這對IP之間通信圖11會話明細報表DIG 采集設備針對一些不支持NetStream技術的網絡設備，H3C公司還提供了一種 DIG采集設備，只要網絡設備支持端口鏡像，DIG采集設備能直接從鏡像端口收集網絡流量信息，并形成DIG 日志提供給 NTC/NTP 進行流量分析。DIG 日志DIG日志又稱為探針日志，是由探針型采集器（即 XLog DIG日志探針組件） 直接從交換機的鏡像端口、共享式HUB或分流器中采集用戶上網信息，并對訪問網絡的數據包進行分類統計而生成的日志記錄。目前，DIG日志的版本是1.0，DIG1.0日志記錄包含以下內容：開始時間結束時間源IP地址目的IP地址源端口號目的端

19、口號協議類型（目前區分 TCP、UDP和ICMP三種協議）輸入包個數輸出包個數輸入字節數輸出字節數DIG 采集設備DIG日志采集器所需要做的工作是把流經設備端口的數據報文中，按照DIG日志的數據格式對數據報文進行過濾和統計，最終形成DIG日志輸岀。DIG采集器有以下幾種方式對網絡設備端口的數據報文進行采集：1 、 從鏡像端口采集對于支持鏡像端口的交換機、路由器設備，可以將鏡像端口直接同DIG日志探針組件的采集網卡相連，實現數據采集。此類采集方式，需要設置設備鏡像端口，保證鏡像端口和采集網卡的類型匹配、帶寬匹配。2、分流器采集在設備不支持鏡像端口的情況下，為了不影響設備性能，比較專業的采集方案是

20、采用分流器，從設備端口接收網絡 數據報文。此方案通常應用于光纖鏈路，價格高昂。3、共享式 HUB 采集對于不支持端口鏡像的設備，且需要監控的端口帶寬小于100M的情況下，可以使用共享式HUB實現對端口數據的采集。但這種方式很容易引起網絡單點故障，不推薦使用。DIG日志探針組件對采集到的原始網絡報文進行實時處理，需要對報文進行過濾處理，也就是說根據過濾規則，要過濾掉一些不希望繼續處理的報文；然后可進行聚合處理，即按照預置聚合條件將多條報文聚合成一條，這樣就減少了后續處理以及歸檔的日志數據量。聚合之后，DIG日志探針組件將會形成 DIG日志，并將DIG日志發送給NTC/NTP進行處理。NTA解決方

21、案的典型組網禾U用NetStream日志，NTA提供了一種網絡監測、分析的方式，直接從支持NetStream功能的路由器和交換機中收集流量信息，可以靈活啟動不同層面（接入層、匯聚層、核心層）的網絡設備進行NetStream流量日志收集，并將收集的內容以NetStream格式的日志輸岀給 NTC/NTP設備進行分析。用戶使用 NTA的分析功能，可以做網絡使用狀況監控、用 戶行為追蹤、異常流量檢測等，并且基于功能豐富的報表，用戶可以做網絡規劃方面的決策。NetStream日志可以開啟在路由器中、匯聚層/核心層交換機中。核心層S85/65NTPENE 40/30NTEEE:AR28AR46AR46;

22、NTC；NTPNTC/NTFS85/65S6500S6500S6500)E“ NE 40 «0圖12 NTA解決方案典型組網L JL JNTA的應用場景NetStream技術定義了一種路由器/交換機向管理系統輸岀流量數據的方法，通過采集和分析流量數據，并將流量數 據與管理控制臺中的其他網絡和應用性能指標建立關系，對網絡運行狀態進行管理。NetStream技術的IP網絡流量數據報文中包含許多有價值的流量統計數據，這些流信息充分揭示了有關網絡使用的“4W”問題：Who :誰（IP）使用了網絡？What :網絡流量的類型是什么？When :在什么時間使用網絡，使用了多長時間？Where :

23、網絡流量流向何處？利用NTA網流分析系統對這些數據進行統計分析，就能從中提取岀網絡流量特征，從而為網絡管理員提供一張豐富而詳盡的網絡利用視圖。網絡優化通過NTA解決方案，可以使網絡管理員及時掌握網絡負載狀況，網內應用資源使用情況，盡早發現網絡結構的不合理，或是網絡性能瓶頸，盡快作岀網絡優化方面的決斷，使網絡帶寬分配最優化，為用戶提供高品質的網絡服務，并且 避免了網絡帶寬和服務器瓶頸問題。A魯類TOP應用百"tt可比值用客奕坯稠的期內用戶.矗畀器的泌曲勢及統TH1appif*爲信對產土臨詈的閒江及其仲用的應馬ir怕圖13網絡優化的應用場景網絡規劃參考利用NetStream流日志以及NT

24、A長期監控網絡帶寬而形成的各類趨勢報表，有助于網絡管理員跟蹤和預測網絡鏈路 流量的增長，從而能有效的規劃網絡升級（例如，增加路由服務、端口或使用更高帶寬的接口）LANa崔于ift*» 口前恢期舷人出曽豁 妝卿盤董旬丘電的人 出攔務-忻 卜備斃top丘辟甘井比訂氏圖14網絡規劃參考應用場景1.1 WAN流量監測對于一個企業來說，WAN帶寬通常是有限的，如果 WAN鏈路上的流量增大，通常企業的做法就是進行投資以升級WAN鏈路，但是如果企業能掌握 WAN流量的特征，制定相應的策略（比如QoS和針對源或目的IP地址作流限制），就能使WAN帶寬得到最合理最充分的使用，避免進行不必要的升級投資，而NTA解決方案所提供的分析結果能夠使網絡詵計慕一段時廁內與WAW損口喬關的藏管理員洞察 WAN鏈路的流量特征、承載的應用、用戶使用狀況，從而針對是否應投資升級帶寬快速的作岀快速響應！»耶于瓦辦的TopMfl藝帝；