集a公司IT運行監控平臺

方案設計

目錄

目標及范圍.......................................................................3

1.1項目目標......................................................................3

1.2項目范圍......................................................................4

技術方案.........................................................................5

2.1系統總體架構及部署............................................................5

2.1.1總體架構..............................................................................................................................................5

2.1.2系統組成及系統體系結構..............................................................................................................5

2.1.3平臺功能..............................................................................................................................................7

運行監控系統.............................................................7

1.目標及范圍

1.1項目目標

集團公司在總部和企業層面已經建立了以綜合網管系統和SAPSLM系統為

主的運維支持系統，運維支持系統概覽如錯誤!未找到引用源。所示。

圖運維支持系統概覽

集團公司總部建立呼叫中心系統實時響應了用戶有關門戶、0A、基礎應用、

安全、視頻、MES等系統的服務請求；工單系統實現了總部運維人員處理系統

故障的工單流轉；SAPSLM實現了ERP系統服務請求受理、事件管理、應用監

控及變更管理；網管監控系統實現了因特網、主干網、局域網、服務器、安全設

備、企業防火墻、基礎應用等基礎設施的故障和性能監控；資金集中監控系統實

現了資金集中系統的網絡設備、服務器、安全設備、存儲、負載均衡、災備和應

用系統的一體化監控；MES應用監控評價系統對MES應用進行監控，為MES

上線達標、驗收達標及深化應用提供了報告和依據。

在企業，已建成76家企業的綜合網管系統，實現了對企業基礎設施的監控；

基本建成防病毒管理Bigfix系統，截至2012年1月，共安裝18.3萬臺，授權數

18萬。同時，廣州石化、茂名石化、燕山石化、北京石油等部分企業已建設了

運維服務管理系統。

本次項目的總體目標是整合運維支持系統，建設集中的一體化運維平臺，支

撐集團公司IT運維共享服務，提高運行效率，降低成本，實現總部和企業運維

統一調度和集中管控，達到國內領先、國際一流的水平。

（1）建設集團公司IT運維平臺，實現運行監控、配置管理數據庫、IT服

務管理、運維門戶與大屏展示；實現與SAPSLM、SSOC、云資源管理平臺、資

金集中監控系統、加油卡監控等系統的集成。具體實現如下：

>統一調度運維資源：建成集中的服務管理系統，集成SAPSLM,實現運

維支持工作的全過程管控和知識共享，通過在線流程有機協同總部、區

域中心和企業之間，運維隊伍與項目組之間的運維支持工作。

>集中監控應用系統：建成集中的運行監控系統，實現對50套應用系統的

應用監控，從用戶使用的角度進行可用性監控，及時發現和處理問題，

縮短系統不可用時間。

>集中管理配置信息：建成集中的配置管理數據庫系統，實現50套應用系

統與總部管理的基礎設施的統一管理，為運維支持、變更風險分析、重

大問題處理決策等及時地提供真實數據。

>大屏展示運維情況：提升運維門戶和大屏展示，通過系統集成大屏展示

應用監控指標、信息安全狀況、服務受理情況、重大問題處理情況等運

維服務信息。

（2）制定集團公司IT運維標準與規范。包括運行監控規范、服務管理規范、

配置管理規范等。

1.2項目范圍

項目范圍包含總部基礎設施和總部統建的50套應用系統，以及與兩家試點

企業已有運維系統的集成。

基礎設施的范圍主要包括總部4個數據中心，11個區域中心，涵蓋服務器、

存儲、安全設備、網絡設備、數據庫、中間件等，當前共有各類設備7000臺左

右，具體數量以實際為準。

應用系統的范圍主要包括ERP、MES、資金集中管理、總部生產營運指揮、

電子商務、合同管理、綜合辦公、加油卡（區外）、APC等50套應用系統，主

要涵蓋了SAP、.NET、JAVA>Domino等技術平臺。

2.技術方案

2.1系統總體架構及部署

2.1.1總體架構

集團公司IT運維平臺項目（一期）的總體架構如下:

IT運維平臺

服閆」〔會.

務

管3孤警目錄眼務計行

出憲翎SWHR^

1技術給弟口舊

叟全已違

配U管理（soc）、

日?W計'

次色

鉗《1EK

?[W,V^]

*■京企*an?[臺港ga]

同aKH中何竹小巴

CMDB

集團公司IT運維平臺項目（一期）包括呼叫中心、運行監控、服務管理、

配置管理、安全管理、運維門戶和大屏展示7個子系統，其中呼叫中心和安全

管理在另外項目中建設。本期項目重點完成運行監控、服務管理、配置管理、

運維門戶和大屏展示系統的建設。

2.1.2系統組成及系統體系結構

根據本次集團公司IT運維平臺項目（一期）需求的認真分析，推出自有的

“CUBA”（立方體架構）的整體解決方案。系統體系結構如下:

大屏標合展示系統

運維門戶系統

IT服務管理系統

E

S

|服務臺I|||例的I|服務報告|B

整

統W

j服務目錄?n蜴wii變更i值班ggii知g眸iS一

運行監控系統.S務

S總

我

做^庫例?麻麗南

話將薨生存嚙唾］

q網絡監控iL監控］

針對本次項目的產品整體解決方案包括：

■“三個支撐”：以運行監控系統、CMDB配置管理系統、SOC安全監控系

統（本期項目通過集成方式接入）為整個平臺系統的支撐功能，打造

系統功能基礎。

■“一個導向”：以IT服務管理系統為導向，強調為用戶提供一站式服

務和服務級別管理。

■“兩個貫穿"：以統一數據采集和ESB數據總線技術方案貫穿整個平臺

的建設。

■“兩個體現”：以運維門戶和大屏綜合展示系統作為整體IT運維平臺

的最終體現。

整體解決方案中的產品選型全部為獲得國家版權認證、具備自主產權的軟

件產品，在電信、能源、金融、政府中獲得廣泛運用，擁有眾多的成功項目案

例。

2.1.3平臺功能

2.1.3.1運行監控系統

.1運行監控系統特點

根據集團公司IT運維平臺項目的建設需求，我們建議采用“BrightView

企業網絡管理系統V7.0”（登記號：2010SR051711）和“統一采集云平臺軟

件V7.0”（登記號:2014SR030244,詳見3.3.1.1.1統一數據采集）作為運行

監控系統的軟件方案，該軟件擁有完全自有知識產權，靈活支持物理分級、虛

擬分級、混合分級的部署架構，集成貫通的一體化整體方案，以網絡監控、服

務器監控、數據庫監控、存儲監控、中間件監控、終端監控、備份管理、虛擬

化監控等為支撐，以業務服務管理和應用監控等為導向，以故障中心、故障定

位、系統自檢、信息資源監控庫為核心，以綜合監控、報表管理、集中展現為

體現，方案架構合理、產品功能完善、產品性能優秀，輔以適應性的二次開發，

可以完全匹配集團公司運行監控系統需求。同時具有以下特點優勢：

（1）成熟性

運行監控系統各軟件模塊均為成熟產品，至少已有上百家以上成功案例。

已經成功應用于中國移動（OSS/BOSS/MIS等）、中國聯通（OSS/BOSS/MIS等）、

公安部“金盾工程”、水利部“金水工程”、質檢總局“金質工程”、民政部、國

土資源部、新疆財政“金財工程"、航天一院、航天五院、中國人保、集團公司、

中國石油、國家電網等眾多政府/企業的中大型IT運維監控管理項目。

（2）系統化

運行監控系統的建設，著眼于從總體上規劃、設計，以項目建設的總目標

作為系統的整體目標，即規范管理制度，強化管理工作、提供管理決策支持。

非單純設備層面的普通管理，是業務層面的綜合監控平臺，站在業務應用的可

用性視角，以重要業務應用系統為中心，更高、更深、更全面地監控IT資源一

一運行監控平臺方案將IT資源與業務應用系統進行映射并有機結合，可實現業

務關系模型、業務拓撲、業務故障、業務影響分析等內容，同時通過主動式用

戶模擬體驗和被動式真實業務性能分析相結合，幫助業務部門和IT運維人員從

業務可用性的角度，監控應用系統的運行情況，分析影響業務應用系統對外服

務的根本原因。

(3)可靠性

運行監控系統在系統結構、設計方案、設備選擇、技術服務等方面綜合考

慮，保證系統能夠7*24安全無故障運行，系統有很好的容錯功能；對IT資源

的監測應保證不影響相關設備和系統的正常良好運行，并實現最好的響應效率

及最小的資源占用。

(4)安全性

運行監控系統注重安全方面的設計?，確保IT運維監控管理平臺的穩定、安

全運行。系統要保證數據的安全，不會增加現有應用系統的復雜性，更不會降

低現有應用系統的穩定性。

(5)開放性

采用符合國際國內標準的通用協議，為實現與其他系統監控軟硬件互聯或

接入本系統進行監控提供接口，支持各種主流計算機平臺、操作系統以及數據

庫廠商的各類軟硬件產品。

(6)可擴展、易集成

系統需具備很好的擴展性，能適應不斷發展的業務需求。隨著IT資源種類

和數量的擴大，系統也能適應新的系統的對IT運維管理的需求。系統具備高度

集成性，可以和第三方產品進行集成，進行功能擴展。系統提供開發工具和接

口，方便其他監控系統集成和統一管理。

(7)實用性

運行監控系統是根據用戶的當前情況以及未來的發展建設需求提供具有針

對性的、可行的、可實施的技術解決方案，追求實效，方便運維管理人員的實

際需要。

.2系統支持指標

運行監系統的監控指標涵蓋了影響被管理對象的各重要方面，并可根據提

供的數據接口接入新的監控指標。

.2.1網絡設備監控指標

設備類別監控對象監控指標

設備名稱

IP地址

接口名稱

接口IP

配置信息鏈路名稱

鏈路類型

設備廠商

設備類型

設備描述

通斷狀態

通斷網絡連通率(％)

宕機時間(分鐘)

平均時延(ms)

時延最小時延(ms)

最大時延(ms)

接口索引

接口描述

接口帶寬(Kb/s)

總包數(個)

總流量(MB)

帶寬利用率(％)

網絡設備(路由接口流量(byte)

器、交換機、防入流量(MB)

火墻、VPN設備出流量(MB)

等)平均流入帶寬利用率(％)

平均流出帶寬利用率(％)

端口狀態

端口速率(b/s)

平均入端口速率(Kb/s)

平均出端口速率(Kb/s)

接口峰值入端口速率(Kb/s)

峰值出端口速率(Kb/s)

峰值流入帶寬利用率(％)

峰值流出帶寬利用率(％)

峰值端口速率時間

峰值帶寬利用率時間

端口丟包數(個)

輸入丟包數(個)

輸出丟包數(個)

廣播包數(個)

組播包數(個)

輸入丟包率(％)

輸出丟包率(％)

總的丟包率(％)

輸入錯誤包數(個)

輸出錯誤包數(個)

錯包數(個)

輸入錯包率(％)

輸出錯包率(％)

錯包率(％)

沖突數(個)

輸入總包數(個)

輸出總包數(個)

總包數(個)

單播包數(個)

會話數

鏈路名稱

鏈路帶寬(bit/s)

鏈路入流量(byte)

鏈路入速率(bit/s)

鏈路入帶寬利用率(％)

鏈路出流量(byte)

鏈路出速率(bit/s)

鏈路出帶寬利用率(％)

鏈路流量(byte)

鏈路速率(bit/s)

鏈路帶寬利用率(％)

鏈路

鏈路入總包數

鏈路出總包數

鏈路入錯包數

鏈路出錯包數

鏈路入丟包數

鏈路出丟包數

鏈路輸入錯包率(％)

鏈路輸出錯包率(％)

鏈路輸入丟包率(％)

鏈路輸出丟包率(％)

鏈路狀態

CPU號

CPUCPU利用率(％)

CPU平均利用率(%)

內存名稱

內存利用率(%)

內存平均利用率(％)

內存

已使用的內存(BYTE)

剩余的內存(BYTE)

內存總大小(BYTE)

板卡序號

溫度

溫度

最大用戶數

VPN設備用戶數管理

當前用戶數

最大連接數

防火墻連接數管理當前連接數

當前未連接數

負載均衡器WEB虛擬服務虛擬服務端口

虛擬服務協議

接收流量(bit)

發送流量(bit)

當前TCP連接數

最大TCP連接數

接收請求數

丟棄連接數

連接超時數

IP地址

后臺節點IP

節點端口

端口連接狀態

接收流量(BYTE)

后臺服務

發送流量(BYTE)

當前連接數

最小響應時間(ms)

最大響應時間(ms)

平均響應時間(ms)

.2.2服務器監控指標

監控對象監控指標

主機IP地址

CPUID

CPU空閑率(%)

CPU利用率閭

CPU性能

CPU系統利用率(%)

CPU用戶利用率(盼

CPU等待率(跖)

全局CPU當前運行隊列中的進程數(個)

主機IP地址

內存總大小(MB)

內存利用率觥)

內存系統內存使用率(給

用戶內存使用率(%)

虛擬內存使用率(酚

虛擬內存大小(MB)

主機IP地址

磁盤名稱

磁盤忙率(給

平均等待隊列長度

主機磁盤磁盤10速度(KB/秒)

磁盤讀速度(KB/秒)

磁盤寫速度(KB/秒)

磁盤10率(次/秒)

磁盤讀率(次/秒)

磁盤寫率（次/秒）

主機IP地址

文件系統名稱

文件系統掛載點

文件系統空間大小（MB）

文件系統可用空間（MB）

主機文件系統

文件系統空間利用率（%）

文件系統已用空間（MB）

I節點使用率（%）

I節點已用數目（個）

I節點可用數目（個）

主機IP地址

進程號

進程狀態

進程用戶名

父進程ID

進程占用虛擬內存大小（KB）

主機進程進程占有的CPU大小

進程占有的內存大小（KB）

進程開始時間

進程累積的執行時間

進程名稱

進程對應的命令行

進程CPU利用率

接口名稱

流入包數

流出包數

流入速率（包/秒）

主機接口流出速率（包/秒）

錯誤包（個）

沖突包（個）

錯誤率（次/秒）

沖突率（次/秒）

主機IP地址

全局CPU空閑率閭

全局CPU利用率（%）

全局CPU性能全局CPU系統利用率（%）

全局CPU用戶利用率（%）

全局CPU等待率（%）

全局CPU當前運行隊列中的進程數（個）

主機IP地址

應用應用組名稱

應用CPU使用率4）

應用內存使用率（只有OVPA支持）

應用內存大小

應用進程個數

.2.3數據庫監控指標

數據庫類別監控對象監控指標

服務器時鐘同步情況

基本監控磁盤空間使用率

數據庫是否可以連接

運行狀態

表空間

使用率

無效對象無效對象數量

數據文件狀態

數據文件數據文件是否自動擴展

Oracle

數據文件總數量

JOB監控數據庫中Job的狀態

Sharedpool命中率

SGADatabuffer命中率

redologbuffer命中率

PGAPGA命中率

SESSIONSessionTOP10及對應SQL

備份備份結果

引擎的狀態

狀態當前數據庫服務開啟狀態

相關對象的狀態

空間數據庫空間使用情況

數據庫讀寫的I/O信息

數據庫內存及緩存的大小信

Sybase性能

息

耗時比較長的SQL語句

顯示當前鎖的情況以及當前

鎖

執行的命令

日志是否有報錯信息

備份備份是否成功

數據庫是否可連接

關鍵進程和服務是否存在

狀態

相關對象（含數據文件）的

狀態

MS-SQLServer

空間數據文件空閑比率

性能TOP10及對應SQL

鎖發生死鎖的次數

日志是否有報錯信息

分配的總排序堆

數據庫管理器的遠程連接數

實例數據庫管理器中正在執行的

DB2

遠程連接數/本地連接數

DB2Connect的當前連接

基本信息使用的最大輔助日志空間

使用的最大總日志空間

目前分配的輔助日志數

使用的總日志空間

可用的總日志量

數據頁邏輯讀取數

數據頁物理讀取數

數據頁寫入數

索引邏輯讀取數

緩沖池

索引物理讀取數

索引寫入數

物理讀總時間

物理寫總時間

鎖定等待數

等待鎖定的時間

應用鎖等待

檢測到的死鎖數

等待鎖定的當前代理程序數

鎖定方式

鎖定狀態

數據庫鎖信息鎖定對象名稱

節點號

鎖定升級

執行語句所耗用的時間

sql語句語句的總系統CPU

語句的總用戶CPU

表空間的頁大小

表空間的擴展數據塊大小

表空間中的可用頁數

表空間

表空間中的已使用頁數

表空間中的空閑頁數

表空間中的容器數目

.2.4中間件監控指標

中間件類別監控對象監控指標

主機IP地址

隊列管理器名稱

隊列管理器隊列管理器狀態

命令服務器狀態

通道初始化者狀態

主機IP地址

隊列管理器名稱

MQ通道名詞

通道狀態

通道類型

通道

遠程隊列管理器的名字

通道中的消息數目

當前的序列值

通道啟動的日期

通道啟動的時間

主機1P地址

隊列管理器名稱

隊列的名字

最后讀取的日期

最后讀取的時間

隊列

最后寫入的日期格式

最后寫入的時間格式

當前隊列的長度

打開這個隊列讀的進程數目

打開這個隊列寫的進程數目

監聽地址

WeblogicServer運行狀態

Server的版本

應用名稱

weblogic部署應用

應用的狀態

Jvm名稱

內存堆空閑量(bytes)

JVM信息

內存堆總量(bytes)

JVM內存堆使用率

Weblogic當前活動連接數

當前等待連接數

JDBCpool最大容量

平均連接時延

泄漏的連接數

JDBC連接池

JDBCpool的當前容量

POOL中的可用連接數

POOL中的不可用連接數

未關閉的SQL操作

JDBC連接池利用率

WEB應用組件的名稱

當前會話數

Web應用

最大會話數

總會話數

當前訪問目的地端用戶數量

當前消息數

JMS消息目的端Pending消息數

Weblogic

當前在目的端存儲的字節數

當前目的端pending的字節數

當前線程數

隊列長度

線程池Pending的用戶請求數

阻塞線程數

吞吐率

Jvm名稱

內存堆空閑量(bytes)

jvm情況

內存堆總量(bytes)

Websphere

已用內存

CreateCount

會話管理器

InvalidateCount

LifeTime

ActiveCount

LiveCount

NoRoomForNewSessionCount

CacheDiscardCount

ExtemalReadTime

ExtemalReadSize

ExtemalWriteTime

ExternalWriteSize

AffinityBreakCount

TimeSinceLastActivated

TimeoutlnvalidationCount

ActivateNonExistSessionCount

SessionObjectSize

CreateCount

DestroyCount

線程池ActiveCount

PoolSize

PercentMaxed

當前活動連接數

當前等待連接數

websphere

JDBCpool最大容量

平均活動連接數

JDBC連接池平均連接時延

泄漏的連接數

LEAKED連接數

POOL中的可用連接數

POOL中的不可用連接數

CPUCPU利用率

內存使用率

空閑內存

JVM最大內存

內存總數

當前等待的連接數

當前活動的連接總數

Tomcat

連接池等待連接中的最長時間等待者的時間

最大活動連接數

連接池的最大能力數

線程threadsthreads最大數

當前threads數

http請求當前hup請求數

允許的最大請求數

應用服務器運行狀態

FTP服務登錄情況

WEB服務器

ASP錯誤率

IISASP請求隊列數量

WEB站點IP地址

WEB站點傳輸速率

整體請求率

.2.5存儲監控指標

監控類型監控指標描述

存儲陣列數目各種類型存儲陣列的數目

存儲陣列標識每個存儲陣列設定的唯一標識名

存儲陣列的類型，包括是生產廠家、所屬系列以及規

存儲陣列類型

格等

存儲微碼版本存儲陣列當前安裝的微碼版本號

存儲配置容量存儲陣列當前配置的磁盤總容量

存儲采用RAID方式存儲陣列各邏輯卷采用哪種RAID數據保護方式

存儲CACHE容量存儲陣列內配置的CACHE內存容量

磁盤標識每個磁盤在存儲中的標識名

配置管理磁盤的規格存儲陣列配置的磁盤規格，包括：單盤容量及轉速

主機通道卡標識主機通道卡在存儲中的標識名

存儲配置主機通道卡的類型，例如：光纖、SCSI.

主機通道卡類型

UltraiSCSI,ESC0N等類型的通道卡

主機通道卡數目存儲配置的各種通道卡數目

磁盤適配卡標識磁盤適配卡在存儲中的標識名

存儲配置的磁盤適配卡的類型，例如：光纖、SCSK

磁盤適配卡類型

UltraiSCSI、SSA等類型的適配卡

LUN標識存儲中劃分的每個邏輯卷的標識

熱備盤配置數存儲陣列當前配置的熱備盤數目

采樣區間內從存儲中讀取的數據中，能直接從CACHE

CACHE讀命中率

中讀取的字節數占總讀取數據字節數的百分率

采樣區間內寫入存儲中的數據中，寫CACHE空間未滿

CACHE寫命中率

情況下寫入的字節數占總寫入數據字節的百分率

性能監控磁盤10速率存儲陣列各硬盤每秒鐘讀寫數據的字節數

存儲陣列劃分的邏輯卷（在光纖通道上的映射為LUN）

LUN的10速率(STRIP)