1、肖德寶華中師范大學網絡與通信研究所所長、博士生導師、二級教授云計算環境下網絡與系統監控、管理和運維1目錄云集群服務器監控系統案例展示04云計算網絡監控運維新思路03云計算環境下的新特點與新挑戰02信息技術和信息產業發展012信息技術用于管理和處理信息所采用的各種技術的總稱，包括數據與信息的采集、表示、處理、安全、傳輸、交換、顯現、管理、組織、存儲、檢索等應用技術。信息技術和信息產業發展信息技術高滲透性高倍增性高帶動性高投入性高創新性信息技術的特征3通 信 業軟件及信息服務業 信息產品制造業 狹義信息產業廣告咨詢等信息服務業廣播電視新聞出版 廣 義 信 息 產 業傳統信息產業4新一代信息技術產業

2、5計算機的演進1960s1970s1980s1990s2000s2010s6任何人、任何時間、任何地點、任何物體均可以實現互聯物聯網典型3層體系結構 更精細大量的傳感器的使用，提高了數據采集的實時性、精確性。 更智能使人類可管理的范圍更加擴大，管理更加智能。 更簡單物聯網技術將對各類設備的管理和控制更加簡單和高效。物聯網的特征物聯網7物聯網的應用88云計算根據維基百科（Wikipedia）的定義，云計算（Cloud Computing）是一種動態的、易擴展的、且通常是通過互聯網提供虛擬化的資源計算方式。其主要特點是能夠快速部署資源或獲得服務，能夠按需擴展和使用，能夠按使用量付費，并且通過互聯網

3、提供服務。云計算這個名詞借用了量子物理中的“電子云”（Electron Cloud），強調說明計算的彌漫性、無所不在的分布性和社會性特征。229云計算是什么？云計算的提供者：以租代售云計算的使用者：按需使用使用云計算，企業無需增加硬件基礎設施投資，訓練員工成為專業人員或購買新軟件，就能實現增加資源容量或提升計算性能等IT方面的需求集中式數據處理能力的不足 ，資源利用率不平衡（單機能力）ICT產業由賣產品變為賣服務，從自給自足小作坊到規模化運營用戶方便使用，不需要專業知識，設備無需專業人員維護減少初期投資，降低管理開銷降低成本，方便使用10云計算介紹云計算架構圖云計算是分布式計算（Distrib

4、uted Computing）、并行計算（Parallel Computing）和網格計算（Grid Computing）的發展，是這些科學概念的商業實現云計算也是一種新的基礎架構管理方法，是一種有效資源的合理共享，它能夠把大量的、高度虛擬化的資源管理起來，組成一個龐大的資源池，統一提供服務11云計算關鍵技術數據安全技術數據存儲技術分布式計算并行計算數據管理技術云計算關鍵技術虛擬化技術12并行計算并行計算是通過高速網絡相互聯接的兩個以上的處理機相互協調，同時計算同一個任務的不同部分，從而提高問題求解速度，或者求解單機無法求解的大規模問題。13分布式計算分布式計算是利用互聯網上的計算機的CPU的

5、閑置處理能力來解決大型計算問題的一種計算科學。一個工作被分成多個任務包，同時在通過網絡連接起來的計算機上運行。14虛擬化技術虛擬化對計算資源進行抽象虛擬化對上層應用或用戶隱藏了計算資源的底層屬性。將單個的資源（比如一個服務器，一個操作系統，一個應用程序，一個存儲設備）劃分成多個虛擬資源將多個資源（比如存儲設備或服務器）整合成一個虛擬資源15數據存儲、管理技術數據存儲技術云計算采用分布式存儲的方式來存儲數據，采用冗余存儲的方式來保證存儲數據的高可用、高可靠和經濟性云計算系統同時為大量用戶提供并行服務，其存儲技術必須具有高吞吐率和高傳輸率的特點數據管理技術云計算系統對大數據集進行處理、分析向用戶提

6、供高效的服務，如何從數據中獲取有效的信息，這將是決定云計算應用成敗的關鍵云計算數據管理技術能夠高效的管理大數據集，能在規模巨大的數據中分析、找到特定的數據16云安全技術數據安全技術-云安全將原本保存在本地、為自己所掌控的數據交給一個外部的云計算服務中心，安全性依舊是重要的顧慮目前云計算數據安全主要通過劃分公有云、私有云和虛擬私有公用云，來對不同應用級別下的數據進行保護17云計算在信息產業的層次18中國企業使用云計算現狀19中國企業使用云計算現狀（續）20各國企業使用云計算目的對比分析多數中國企業使用云計算的目的是：希望云計算為企業節省成本，增加靈活性，并非創新或市場增長21目錄云集群服務器監控

7、系統案例展示04云計算網絡監控運維新思路03云計算環境下的新特點與新挑戰02信息技術和信息產業發展0122云計算環境下的新特點與新挑戰云計算環境下網絡與系統的監控、運維，存在以下新特點與新挑戰：多種異構平臺組成需要處理海量數據虛擬化資源的管理對安全的更高要求23云計算環境下的新特點云計算可以構建在不同的基礎平臺之上橫向維度：可采購不同廠商的軟硬件，有效兼容不同種類硬件和軟件基礎資源縱向維度：既可兼容當下采購的新設備和新軟件系統，也可兼容舊有設備和原有軟件系統在有效利用老資源的同時，保證新老資源平滑過渡多種異構平臺組成 24云計算環境下的新特點云計算的底層需要面對各類眾多的基礎軟硬件資源；上層需

8、要能夠同時支持各類眾多的異構業務；而具體到某一業務，往往也需要面對大量的用戶。由此，云計算必然需要面對海量信息交互，需要有高效、穩定的海量數據通信/存儲系統作支撐，并需要實現對云環境下海量數據的監控。Business Model海量數據的處理支持 25云計算環境下的新特點網絡環境三大主要資源：計算(服務器)存儲 (存儲設備)網絡(交換機、路由器等設備)云環境下不僅包含物理設備，還包含虛擬化技術形成的邏輯虛擬設備傳統的網絡管理軟件大多只考慮對物理設備的管理只有實現對虛擬設備的管理，才真正實現云集群服務器的網絡運維管理虛擬化資源的管理 26云計算環境下的新特點不安全的接口和API針對云端的惡意攻擊

9、共享產生的數據安全問題數據泄漏未知的風險場景對云平臺提出更高的安全要求對安全的更高要求 27目錄云集群服務器監控系統案例展示04云計算網絡監控運維新思路03云計算環境下的新特點與新挑戰02信息技術和信息產業發展0128云計算網絡監控運維新思路網絡監控可擴展的監控系統基于捆綁式的網絡監管架構系統管理虛擬化資源管理運維服務可視化的網絡監控管理基于云端的運維服務云監控調度方案云平臺安全管理業務視角的運維管理基于智慧庫的自動化運維自動化的流程服務29云計算網絡監控運維新思路基于捆綁式的網絡監管架構可擴展的監控系統可視化的網絡監控管理網絡監控 30基于捆綁式的監管架構采用分布式架構，各個管理服務器分別監

10、控各個服務器集群下的子服務器；通過將多套系統進行捆綁，結合負載均衡處理器，連接各個系統，實現萬臺級別的管理能力；管理客戶端具有單一登錄，統一顯示界面，節點管理權限設置的功能，部署方式靈活，可根據數據中心的規模靈活擴展。 監測管理服務器監測管理服務器管理客戶端服務器集群服務器集群服務器集群服務器集群31基于捆綁式的監管架構數據采集數據采集數據采集系統1DB數據采集數據采集數據采集系統2DB數據采集數據采集數據采集系統NDB負載均衡處理系統WEB服務器被監控對象被監控對象被監控對象管理客戶端1管理客戶端2管理客戶端500管理客戶端100支持多達500個客戶端同時在線。單套系統1000臺服務器管理能

11、力，數據輪詢間隔5分鐘。配置數據庫32多平臺、可擴展的監控系統通過預置、整合各類服務器和應用的監控功能模板，可以有效兼容不同種類硬件和軟件的基礎資源既可以兼容舊有設備和原有軟件系統，又便于隨時擴展監控新設備和新軟件系統，使云監控系統具有更高的兼容性和更好的可擴展性服務器Windows, linux, unix, IBM, Solaris應用數據庫MySql, SqlServer, OracleWeb服務/SQAApache, IIS, 網站監測（URL）應用服務器Tomcat33多平臺、可擴展的監控系統LinuxWindowsIBM AIXHP UNIXOracleSQL ServerMQAp

12、ache.虛擬機各類服務器各類中間件、數據庫各類業務系統WebLogic計費系統營銷系統網站數據收集/預處理（主）B/S結構、瀏覽器、WEB 服務器、處理各類客戶請求、數據顯示。SNMP采集NREP采集日志采集Agent采集數據收集/預處理（備）告警庫性能庫報表庫數據入庫日志分析告警分析性能分析數理統計分析容量分析預測分析策略管理數據處理和分析平臺34可視化的云網絡監控管理云環境中，服務器、應用、業務、網絡更為集中,企業IT環境復雜多樣只有通過綜合的、可視化的展示界面，才能實時掌控云環境整體架構的綜合狀況和云下業務及其功能要素的實時性能可視化、整合的性能監控展示界面 35可視化的云網絡監控管理

13、在性能監控展示界面中,采用直觀的評估指標,來衡量被監控網絡的各個服務器節點、服務器下應用等的運行狀態服務器類型監測指標windowsPing CPU利用率 內存利用率 磁盤利用率 進程solarisPing CPU利用率 內存利用率 磁盤利用率 進程 服務系統平均負荷 交換空間利用率 打開的文件比率 用戶數 進程總數IBMPing CPU利用率 內存利用率 磁盤利用率 進程 CPU統計信息 網絡使用率 換頁空間使用率 熱門工作量管理 事件/隊列 文件/TTY NFS顯示每秒調用的NFS狀態linuxPing CPU利用率 內存利用率 磁盤利用率 進程 服務 系統平均負荷 CPU統計信息 交換空

14、間利用率 打開的文件比率 用戶數 進程總數unixPing CPU利用率 內存利用率 磁盤利用率 進程 服務交換空間利用率直觀、可自定義的性能評估指標 36可視化的云網絡監控管理需要監視的服務器和應用的性能指標，可以根據不同主機/應用，以及不同的環境需要，進行自定義配置直觀、可自定義的性能評估指標 37可視化的云網絡監控管理需要監視的服務器和應用的性能指標，可以根據不同主機/應用，以及不同的環境需要，進行自定義配置直觀、可自定義的性能評估指標 38可視化的云網絡監控管理云下的服務器集群眾多，集群下的服務器又多達成千上萬個，因此考慮將傳統網絡拓撲圖分為根圖與子圖，便于查看與管理分層次的云網絡拓撲

15、展示方式 39可視化的云網絡監控管理通過監測采集獲得歷史監測數據，再引入數理統計學方法，建立較為準確的系統負載趨勢分析與容量預測性能趨勢預測 40云計算網絡監控運維新思路云監控調度方案 虛擬化資源管理系統管理 云平臺安全管理41云監控調度方案 云計算環境下對于集群服務器的監控和負載調度的評判分為兩種類型：監測各個物理服務器的硬件指標，了解物理服務器的負載狀況監測對集群的響應延時，據此調節集群下的資源與服務調度方案虛擬機動態遷移調節負載均衡對集群監控訪問實現負載均衡平衡采集流量保證負載均衡42虛擬機動態遷移調節負載均衡通過監測各個物理服務器的硬件指標來了解物理服務器的負載狀況，當負載過低或者過高

16、時，對云計算集群服務器中的虛擬機進行動態遷移，使各個服務器的負載保持均衡43對集群監控訪問實現負載均衡為了保證多用戶同時訪問監控管理系統，通過使用tomcat作為web server，在訪問端實現負載均衡，當訪問流量過大時，自適應地將訪問客戶分流到不同的管理服務器上，保證監控服務器的工作負荷和運行性能Apache HttpdTomcatProxyTomcatProxyTomcatProxyAJP協議 訪問用戶44平衡采集流量的負載調度方法云環境下的集群可能有萬臺服務器，需要對大量服務器進行界面展示，因而需要采集大量服務器的數據通過建立平衡采集流量的調度方法，保證監控采集服務器的負荷均衡。數據采

17、集數據采集數據采集系統1DB數據采集數據采集數據采集系統2DB數據采集數據采集數據采集系統NDB被監控對象被監控對象被監控對象監測采集負載均衡處理系統配置數據庫TomcatProxyTomcatProxyTomcatProxy45虛擬化資源管理虛擬化資源管理虛擬化計算管理平臺虛擬化網絡管理平臺基于元數據存儲的虛擬存儲管理平臺46虛擬化計算管理平臺47虛擬化網絡管理平臺VLAN 管理不同用戶虛擬機之間的網絡安全隔離不同物理服務器上的用戶虛擬機安全連接、通信網絡IP管理按需為虛擬機分配公網 IP 地址虛擬機關閉公網IP地址回收，提高利用率網絡流量控制和監控獲得整個云平臺網絡資源利用率根據各種監控數

18、據提前做出預判充分保證云平臺網絡可靠性虛擬防火墻管理實現自定義虛擬防火墻，提升管理便利性48基于元數據的虛擬存儲管理平臺元數據是提供關于信息資源或數據的一種結構化的數據，是對信息資源的結構化的描述。通過將虛擬化整合的云計算存儲資源以元數據的形式進行管理，將能非常方便地對整合的資源進行定位和存取。49基于元數據的虛擬存儲管理平臺虛擬存儲管理 元數據管理服務器 客戶端 后端存儲集群 元數據管理模塊元數據存取模塊50基于元數據的虛擬存儲管理平臺利用元數據搜索和定位存儲資源客戶端先通過與元數據集群交互，獲取文件的元數據信息獲取元數據信息后，客戶端直接和存儲集群進行交互，以并行 I/O的方式訪問文件數據

19、 控制路徑與數據路徑相分離 ,避免服務器成為數據傳輸路徑上的瓶頸 基于元數據存儲的虛擬存儲管理平臺原理51云平臺安全管理 云計算環境下，各種應用是在虛擬機中運作，因此云平臺中需要重點保障各個虛擬機系統的安全。云中虛擬機的安全保障方式主要有以下幾種：面向虛擬機的離線安全檢測技術 面向虛擬機的在線安全檢測技術實時升級的殺毒軟件病毒庫52面向虛擬機的離線安全檢測技術 傳統方式創新方式虛擬機病毒查殺采用最近最久未使用算法，提高查殺效率批量查殺管理：查找關閉狀態、自上次殺毒后啟動過的虛擬機，全部記錄后依次殺毒為每個虛擬機安裝殺毒軟件，根據需要單獨對各個虛擬機進行病毒查殺，分散、耗時、效率低下只能對單一虛

20、擬機進行查殺，無法統一管理53面向虛擬機的在線安全檢測技術 采用虛擬機透視技術，殺毒引擎安裝在主機中，直接掃描客戶虛擬機中的內存和進程，找到并清除目標系統內的病毒虛擬機透視在 KVM 平臺上通過虛擬機透視(VM-Probing)，為主機內軟件訪問虛擬機的內存（等系統資源）提供方便且安全的系統調用的接口防止病毒干擾殺毒模塊位于主機中，客戶機中沒有任何輔助殺毒模塊，Guest 中的惡意軟件無法檢測主機中的殺毒模塊，更無法干擾殺毒操作減少部署成本無需在客戶端安裝任何軟件，消除了部署多個軟件客戶端所產生的成本統一配置管理殺毒配置管理模塊位于主機，可以集中對各個虛擬機進行個性化管理，有效降低系統開銷和安

21、全管理成本54病毒庫實時升級在殺毒軟件領域，爆發式的病毒傳播速度讓原來架設在用戶終端的病毒庫不堪重負。解決每3秒鐘一個新病毒的難題，靠的正是云技術實現殺毒軟件病毒庫實時升級。55云計算網絡監控運維新思路基于云端的運維服務業務視角的運維管理基于智慧庫的自動化運維運維服務 自動化的流程服務56基于云端的運維服務云計算IT運維服務把數據乃至應用程序全部集中到云端，大量本地的運維工作轉移到云服務器端基于云計算的IT運維管理服務模式以各種監控、告警、日志、報告服務工具為依托，結合部署在云端的運維服務，可實現全網的統一運維管理不僅打破傳統的本地式運維的地域限制，還能及早發現故障隱患，從而可以建立起主動式I

22、T運維，同時運維總體工作量大大減少，運維成本大幅降低57業務視角的運維管理通過從業務視角統一管理服務器、應用、網絡狀態，對業務及其下軟硬件資源進行高效的運維管理在故障發生時，通過顏色、聲音郵件等方式進行報警通知；同時按照業務邏輯進行多層次管理，準確解決業務中出現的問題58基于智慧庫的自動化運維云計算能力與規模越來越大，人工管理資源越來越不實際。這些新特性對IT管理自動化能力提出了更高要求部署基于智慧庫的自動化運維管理模塊，自動化管理云平臺智慧庫從歷史操作中積累運維知識，當發生事件或監控數據觸發規則時，基于智慧庫中存儲的歷史方案，由決策引擎提供自動化解決方案，節約人力，同時提高響應速度智慧庫 （

23、XML） 策略管理 決策引擎 應用管理對象 服務器管理對象 業務管理對象 選擇自動/手動處理從智慧庫檢索解決方案根據新的事件進行知識積累59自動化的流程管理業務部門選擇應用訪問自助服務門戶挑選應用基礎設施模板資源自動供應工具確定資源(驗證資源分配)(選擇合適的規模 合適的應用)啟動(工作流自動啟動)(一個完整的應用基礎設施啟動和運行)(可用的資源和何時使用)ERPCRM數據倉庫數據庫郵件和消息通信文件, 打印, 基礎設施減少人員 自動化的步驟整合的資源信息管理60目錄云集群服務器監控系統案例展示04云計算網絡監控運維新思路03云計算環境下的新特點與新挑戰02信息技術和信息產業發展0161云計算

24、集群服務器管理軟件企業級的云計算整體解決方案 62云計算集群服務器管理軟件模塊劃分服務器管理安全管理應用管理業務管理配置管理事件管理性能管理云平臺的虛擬化安全技術，提供無插件、無代理的云安全服務監視服務器各性能指標和閾值、程序組的性能指標以業務視圖的形式展示了業務的構成（網絡鏈路、服務器、程序組、端口和監視器），及時了解服務的狀態和告警為管理人員提供管理入口，進行設備資源管理和、IP資源管理歷史性能、實時性能、性能分析、性能閾值、性能公式設置事件通知、集中展示、查詢統計、事件設置及關聯事件設置、行為及級別管理等環境管理、模板管理、輪詢設置、Trap設置、采樣周期設置、數據維護監視各種中間件、數

25、據庫、web應用運維管理63云計算集群服務器管理軟件項目目標用戶群實現效果專門針對數據中心的系統監控和分析系統 實現云計算環境下大量服務器監控中間件、數據庫以及業務系統監控虛擬機的監控和管理數據分析和容量預測 提供云服務器的IT企業 IDC企業 企業集團和政府的大型數據中心實現可用性，健康度量化指標，建立可量化的IT系統評估指標，提高服務質量。自動化監控大量服務器，降低勞動強度，節省人力。提供容量規劃參考，有效提高服務器利用率，節約購置成本。64模塊介紹安全管理無插件、無代理的虛擬化云安全服務實時防護安全查殺批量查殺修復漏洞定制安全策略歷史記錄WebUI殺毒引擎模塊日志模塊安全內核模塊策略模塊UI通信模塊在線殺毒功能模塊在線管理模塊KVMKMODVMM內核Ring 0虛擬機進程殺毒引擎病毒庫離線升級補丁庫日志數據庫云平臺的虛擬化基礎設施HOST云安全服務鏡像處理離線殺毒功能模塊離線控制模塊日志模塊策略模塊殺毒引擎模塊虛擬機文件離線升級功能模塊日志模塊策略模塊升級模塊升級管理模塊虛擬機文件鏡像處理UI通信模塊UI通信模塊65模塊介紹運維管理66模塊介紹配置監視管理67模塊介紹服務器管理服務器列表 68模塊介紹服務器管理服務器監控詳細信息 69模塊介紹應用管理應用列表 70模塊介紹應用管理應用監控詳細信息 71模塊介紹業務管