1、大數(shù)據(jù)大數(shù)據(jù)&可視化可視化開(kāi)啟數(shù)據(jù)中心高效運(yùn)營(yíng)時(shí)代開(kāi)啟數(shù)據(jù)中心高效運(yùn)營(yíng)時(shí)代Paramon廣泛應(yīng)用于高性能計(jì)算、云計(jì)算領(lǐng)域等大型數(shù)廣泛應(yīng)用于高性能計(jì)算、云計(jì)算領(lǐng)域等大型數(shù)據(jù)中心，一秒一刷新顯示收集機(jī)群處理器、內(nèi)存、網(wǎng)絡(luò)、據(jù)中心，一秒一刷新顯示收集機(jī)群處理器、內(nèi)存、網(wǎng)絡(luò)、存儲(chǔ)、能耗、存儲(chǔ)、能耗、License、作業(yè)等數(shù)據(jù)，生成、作業(yè)等數(shù)據(jù)，生成.para應(yīng)用運(yùn)應(yīng)用運(yùn)行特征文件，為大規(guī)模機(jī)群應(yīng)用分析、設(shè)計(jì)、優(yōu)化提供大行特征文件，為大規(guī)模機(jī)群應(yīng)用分析、設(shè)計(jì)、優(yōu)化提供大數(shù)據(jù)支撐；同時(shí)，提供全過(guò)程機(jī)群及應(yīng)用運(yùn)行狀態(tài)的實(shí)時(shí)數(shù)據(jù)支撐；同時(shí)，提供全過(guò)程機(jī)群及應(yīng)用運(yùn)行狀態(tài)的實(shí)時(shí)監(jiān)控、管理和性能異常報(bào)警。監(jiān)

2、控、管理和性能異常報(bào)警。Paramon和和Paratune概述概述Paratune用于分析由用于分析由Paramon生成的生成的.para應(yīng)用運(yùn)行應(yīng)用運(yùn)行特征文件，精準(zhǔn)顯示應(yīng)用運(yùn)行過(guò)程中的特征，為各類(lèi)大規(guī)特征文件，精準(zhǔn)顯示應(yīng)用運(yùn)行過(guò)程中的特征，為各類(lèi)大規(guī)模機(jī)群應(yīng)用建立大數(shù)據(jù)支撐平臺(tái)，提供多樣性（模機(jī)群應(yīng)用建立大數(shù)據(jù)支撐平臺(tái)，提供多樣性（Variety）、體量化（）、體量化（Volume）、速度化（）、速度化（Velocity）、有價(jià)值）、有價(jià)值（Value）的應(yīng)用運(yùn)行特征數(shù)據(jù)庫(kù)，幫助用戶(hù)完成應(yīng)用機(jī)）的應(yīng)用運(yùn)行特征數(shù)據(jù)庫(kù)，幫助用戶(hù)完成應(yīng)用機(jī)群構(gòu)建、機(jī)群應(yīng)用運(yùn)行過(guò)程重構(gòu)、應(yīng)用程序優(yōu)化等工作。群構(gòu)建

3、、機(jī)群應(yīng)用運(yùn)行過(guò)程重構(gòu)、應(yīng)用程序優(yōu)化等工作。Parasoft軟件體系軟件體系LinuxWindowsLinux管理節(jié)點(diǎn)管理節(jié)點(diǎn)計(jì)算節(jié)點(diǎn)計(jì)算節(jié)點(diǎn)計(jì)算節(jié)點(diǎn)計(jì)算節(jié)點(diǎn)共享文件系統(tǒng)共享文件系統(tǒng)計(jì)算節(jié)點(diǎn)計(jì)算節(jié)點(diǎn)計(jì)算節(jié)點(diǎn)計(jì)算節(jié)點(diǎn)LinuxWindowsParaPlus一一體體化化服服務(wù)務(wù)PARA性能數(shù)據(jù)文件性能數(shù)據(jù)文件Paratune機(jī)群機(jī)群/應(yīng)用性能分析和優(yōu)化應(yīng)用性能分析和優(yōu)化Paramon機(jī)群機(jī)群/應(yīng)用性能監(jiān)控和采集應(yīng)用性能監(jiān)控和采集系統(tǒng)系統(tǒng)級(jí)性級(jí)性能數(shù)能數(shù)據(jù)據(jù)微架微架構(gòu)級(jí)構(gòu)級(jí)性能性能數(shù)據(jù)數(shù)據(jù)機(jī)群機(jī)群并行并行管理管理機(jī)群機(jī)群事件事件報(bào)警報(bào)警Hadoop大數(shù)據(jù)大數(shù)據(jù)作業(yè)作業(yè)能耗能耗性能性能管理管理GPU/

4、MIC性能性能數(shù)據(jù)數(shù)據(jù)航天航天航空航空汽車(chē)汽車(chē)船舶船舶氣象氣象石油石油教育教育科研科研動(dòng)漫動(dòng)漫生命生命科學(xué)科學(xué)進(jìn)程進(jìn)程管理管理License使用使用統(tǒng)計(jì)統(tǒng)計(jì)單機(jī)版單機(jī)版V0.1.0V1.0.0V1.2.3V2.0.0V2.3.0V3.0.0V4.0.0里程碑里程碑里程碑內(nèi)容里程碑內(nèi)容階段階段單機(jī)版單機(jī)版時(shí)代時(shí)代2008.02V0.1.0時(shí)代時(shí)代2008.05V1.0.0時(shí)代時(shí)代2009.04V2.0.0時(shí)代時(shí)代2011.09V4.0.0時(shí)代時(shí)代2013.10V3.0.0時(shí)代時(shí)代2012.09單機(jī)版基本數(shù)據(jù)單機(jī)版基本數(shù)據(jù)采集和分析采集和分析機(jī)群版基本數(shù)據(jù)機(jī)群版基本數(shù)據(jù)采集和分析采集和分析支持支持

5、IB網(wǎng)絡(luò)網(wǎng)絡(luò)支持網(wǎng)絡(luò)支持網(wǎng)絡(luò)文件系統(tǒng)文件系統(tǒng)機(jī)群遠(yuǎn)程機(jī)群遠(yuǎn)程命令管理命令管理Parasoft軟件發(fā)展歷程軟件發(fā)展歷程機(jī)群故障報(bào)警機(jī)群故障報(bào)警優(yōu)化軟件性能優(yōu)化軟件性能支持支持Gflops等等微架構(gòu)數(shù)據(jù)微架構(gòu)數(shù)據(jù)支持支持GPU數(shù)據(jù)數(shù)據(jù)機(jī)群并行命令機(jī)群并行命令優(yōu)化軟件性能優(yōu)化軟件性能提供應(yīng)用進(jìn)程分析提供應(yīng)用進(jìn)程分析IO擴(kuò)展包擴(kuò)展包集成作業(yè)集成作業(yè)調(diào)度系統(tǒng)調(diào)度系統(tǒng)后臺(tái)數(shù)據(jù)采集后臺(tái)數(shù)據(jù)采集簡(jiǎn)化軟件安裝簡(jiǎn)化軟件安裝優(yōu)化優(yōu)化GPU數(shù)據(jù)采集數(shù)據(jù)采集提供整體統(tǒng)計(jì)分析報(bào)表，為整提供整體統(tǒng)計(jì)分析報(bào)表，為整體規(guī)劃決策提供數(shù)據(jù)支持體規(guī)劃決策提供數(shù)據(jù)支持基于基于IPMI的數(shù)據(jù)能耗分析管理的數(shù)據(jù)能耗分析管理基于基于Inte

6、l DCM的數(shù)據(jù)能耗分的數(shù)據(jù)能耗分析管理析管理支持支持Intel MIC卡系統(tǒng)級(jí)數(shù)據(jù)卡系統(tǒng)級(jí)數(shù)據(jù)支持支持Intel MIC卡微架構(gòu)數(shù)據(jù)卡微架構(gòu)數(shù)據(jù)支持支持root權(quán)限安裝權(quán)限安裝支持普通用戶(hù)安裝支持普通用戶(hù)安裝任意規(guī)模無(wú)人值守自動(dòng)安裝任意規(guī)模無(wú)人值守自動(dòng)安裝Hadoop作業(yè)可視化作業(yè)可視化Map/Reduce進(jìn)度實(shí)時(shí)顯示進(jìn)度實(shí)時(shí)顯示Parasoft v4.0.0軟件特點(diǎn)軟件特點(diǎn)增強(qiáng)的增強(qiáng)的Parafile切割功能，支切割功能，支持按時(shí)間和節(jié)點(diǎn)進(jìn)行切割持按時(shí)間和節(jié)點(diǎn)進(jìn)行切割支持支持Parafile導(dǎo)出導(dǎo)出Excel文件文件ParasoftV4.0.0新功能新功能Parafile的的切割轉(zhuǎn)換切割轉(zhuǎn)

7、換支持支持Intel Xeon Phi數(shù)據(jù)中心數(shù)據(jù)中心能耗管理能耗管理Hadoop數(shù)據(jù)分析數(shù)據(jù)分析提供統(tǒng)計(jì)提供統(tǒng)計(jì)分析報(bào)表分析報(bào)表任意用戶(hù)任意用戶(hù)快速安裝快速安裝不同階段用戶(hù)需求不同階段用戶(hù)需求初級(jí)初級(jí)硬件導(dǎo)向硬件導(dǎo)向ParaPlus系統(tǒng)實(shí)施系統(tǒng)實(shí)施Paramon性能評(píng)測(cè)性能評(píng)測(cè)工具工具用戶(hù)數(shù)據(jù)中心建設(shè)發(fā)展歷程用戶(hù)數(shù)據(jù)中心建設(shè)發(fā)展歷程中級(jí)中級(jí)高級(jí)高級(jí)中高級(jí)中高級(jí)硬件硬件+應(yīng)用軟件導(dǎo)向應(yīng)用軟件導(dǎo)向ParaPlus運(yùn)維服務(wù)運(yùn)維服務(wù)Paramon運(yùn)維工具運(yùn)維工具基于應(yīng)用運(yùn)行特征設(shè)計(jì)基于應(yīng)用運(yùn)行特征設(shè)計(jì)硬件方案硬件方案+應(yīng)用軟件支應(yīng)用軟件支持導(dǎo)向持導(dǎo)向ParaPlus應(yīng)用特征分應(yīng)用特征分析服務(wù)析服務(wù)P

8、aramon機(jī)群版機(jī)群版全面細(xì)致優(yōu)化自主開(kāi)發(fā)軟全面細(xì)致優(yōu)化自主開(kāi)發(fā)軟件及商業(yè)軟件件及商業(yè)軟件ParaPlus調(diào)優(yōu)服務(wù)調(diào)優(yōu)服務(wù)Paramon專(zhuān)業(yè)版專(zhuān)業(yè)版典型應(yīng)用場(chǎng)景典型應(yīng)用場(chǎng)景7.基于現(xiàn)有架基于現(xiàn)有架構(gòu)的功能定制構(gòu)的功能定制3.數(shù)據(jù)中心運(yùn)數(shù)據(jù)中心運(yùn)維及數(shù)據(jù)統(tǒng)計(jì)維及數(shù)據(jù)統(tǒng)計(jì)1.數(shù)據(jù)中心狀數(shù)據(jù)中心狀態(tài)實(shí)時(shí)報(bào)告態(tài)實(shí)時(shí)報(bào)告5.應(yīng)用運(yùn)行應(yīng)用運(yùn)行性能優(yōu)化性能優(yōu)化4.非計(jì)劃任務(wù)非計(jì)劃任務(wù)的快速識(shí)別的快速識(shí)別6.基于應(yīng)用特基于應(yīng)用特點(diǎn)的設(shè)備選型點(diǎn)的設(shè)備選型2.數(shù)據(jù)中心機(jī)群性數(shù)據(jù)中心機(jī)群性能故障快速診斷能故障快速診斷8.數(shù)據(jù)中心海數(shù)據(jù)中心海量應(yīng)用特征庫(kù)量應(yīng)用特征庫(kù)典型典型場(chǎng)景場(chǎng)景同一屏幕內(nèi)機(jī)群及應(yīng)用狀態(tài)實(shí)時(shí)報(bào)告同

9、一屏幕內(nèi)機(jī)群及應(yīng)用狀態(tài)實(shí)時(shí)報(bào)告數(shù)據(jù)中心狀態(tài)實(shí)時(shí)報(bào)告數(shù)據(jù)中心狀態(tài)實(shí)時(shí)報(bào)告l 6套機(jī)群1350節(jié)點(diǎn)實(shí)時(shí)監(jiān)控一目了然一目了然數(shù)據(jù)中心機(jī)群性能故障快速診斷數(shù)據(jù)中心機(jī)群性能故障快速診斷數(shù)據(jù)中心機(jī)群性能故障快速診斷數(shù)據(jù)中心機(jī)群性能故障快速診斷診斷流程文件系統(tǒng)是GPFS，所以IO節(jié)點(diǎn)的網(wǎng)絡(luò)流量是與計(jì)算節(jié)點(diǎn)進(jìn)行數(shù)據(jù)交互產(chǎn)生的；在計(jì)算節(jié)點(diǎn)的網(wǎng)絡(luò)流量監(jiān)控區(qū)域中，以太網(wǎng)流量的產(chǎn)生是計(jì)算節(jié)點(diǎn)與IO節(jié)點(diǎn)數(shù)據(jù)通信所致；在計(jì)算節(jié)點(diǎn)的網(wǎng)絡(luò)流量監(jiān)控區(qū)域中，InfiniBand網(wǎng)絡(luò)流量的產(chǎn)生是計(jì)算節(jié)點(diǎn)間計(jì)算通信所致。數(shù)據(jù)中心運(yùn)維數(shù)據(jù)統(tǒng)計(jì)數(shù)據(jù)中心運(yùn)維數(shù)據(jù)統(tǒng)計(jì)天分隔線(xiàn)天分隔線(xiàn)數(shù)據(jù)中心運(yùn)維及數(shù)據(jù)統(tǒng)計(jì)數(shù)據(jù)中心運(yùn)維及數(shù)據(jù)統(tǒng)計(jì)非計(jì)劃任務(wù)的快

10、速識(shí)別非計(jì)劃任務(wù)的快速識(shí)別非計(jì)劃任務(wù)的快速識(shí)別非計(jì)劃任務(wù)的快速識(shí)別該程序把計(jì)算資源完全耗盡該程序把計(jì)算資源完全耗盡應(yīng)用運(yùn)行性能優(yōu)化應(yīng)用運(yùn)行性能優(yōu)化某負(fù)載環(huán)境下的VASP應(yīng)用應(yīng)用運(yùn)行性能優(yōu)化應(yīng)用運(yùn)行性能優(yōu)化某負(fù)載環(huán)境下的VASP應(yīng)用blade110節(jié)點(diǎn)內(nèi)存略高節(jié)點(diǎn)內(nèi)存略高該區(qū)域只有該區(qū)域只有blade110有有Gflops%和和MemBW值值應(yīng)用運(yùn)行性能優(yōu)化應(yīng)用運(yùn)行性能優(yōu)化某負(fù)載環(huán)境下的VASP應(yīng)用進(jìn)入瞬時(shí)值模式進(jìn)入瞬時(shí)值模式應(yīng)用運(yùn)行性能優(yōu)化應(yīng)用運(yùn)行性能優(yōu)化某負(fù)載環(huán)境下的VASP應(yīng)用基于應(yīng)用特點(diǎn)的設(shè)備選型基于應(yīng)用特點(diǎn)的設(shè)備選型Web服務(wù)器支持服務(wù)器支持10000個(gè)并發(fā)連接個(gè)并發(fā)連接性能測(cè)試環(huán)境性

11、能測(cè)試環(huán)境CPU2 sockets 2 cores 2.66GHz XeonMemory8GB，1333MHzOSRed Hat Enterprise Linux 5.3Applicationapache, mysql, phpSoftwareWebbench服務(wù)器選型的指導(dǎo)方針?lè)?wù)器選型的指導(dǎo)方針第一階段：網(wǎng)站服務(wù)啟動(dòng)時(shí)，建第一階段：網(wǎng)站服務(wù)啟動(dòng)時(shí)，建立默認(rèn)連接，內(nèi)存利用率上升。立默認(rèn)連接，內(nèi)存利用率上升。第二階段：客戶(hù)端開(kāi)第二階段：客戶(hù)端開(kāi)始模擬連接，內(nèi)存利始模擬連接，內(nèi)存利用率上升。用率上升。第三階段：內(nèi)存利用率緩慢第三階段：內(nèi)存利用率緩慢上升，上升至上升，上升至97.9%時(shí)，時(shí)，htt

12、p連接數(shù)到連接數(shù)到2075次。次。基于現(xiàn)有架構(gòu)的功能定制基于現(xiàn)有架構(gòu)的功能定制性能數(shù)據(jù)文件性能數(shù)據(jù)文件（.para文件）文件）ClientClientClientClientServer數(shù)據(jù)數(shù)據(jù)存儲(chǔ)存儲(chǔ)數(shù)據(jù)顯示數(shù)據(jù)顯示前臺(tái)系統(tǒng)前臺(tái)系統(tǒng)后臺(tái)后臺(tái)系統(tǒng)系統(tǒng)數(shù)據(jù)數(shù)據(jù)分析分析數(shù)據(jù)中心海量應(yīng)用特征庫(kù)數(shù)據(jù)中心海量應(yīng)用特征庫(kù)數(shù)據(jù)中心海量應(yīng)用特征庫(kù)數(shù)據(jù)中心海量應(yīng)用特征庫(kù)HDFS分布式文件系統(tǒng)分布式文件系統(tǒng)Parafile數(shù)據(jù)挖掘平臺(tái)數(shù)據(jù)挖掘平臺(tái)ParafileParafileParafileParafileParafileMap/ReduceHive Query Language (HQL)Parafile S

13、earch Engine搜索搜索條件條件搜索搜索條件條件搜索搜索條件條件搜索搜索條件條件搜索搜索條件條件Parafile數(shù)據(jù)挖掘平臺(tái)數(shù)據(jù)挖掘平臺(tái)用戶(hù)的收益用戶(hù)的收益對(duì)管理層：對(duì)管理層：直觀了解數(shù)據(jù)中心運(yùn)營(yíng)狀態(tài)直觀了解數(shù)據(jù)中心運(yùn)營(yíng)狀態(tài)快速識(shí)別計(jì)劃外任務(wù)快速識(shí)別計(jì)劃外任務(wù)對(duì)數(shù)據(jù)中心的發(fā)展進(jìn)行預(yù)測(cè)對(duì)數(shù)據(jù)中心的發(fā)展進(jìn)行預(yù)測(cè)為采購(gòu)提供決策依據(jù)為采購(gòu)提供決策依據(jù)對(duì)應(yīng)用人員：對(duì)應(yīng)用人員：快速的建立應(yīng)用運(yùn)行特征快速的建立應(yīng)用運(yùn)行特征快速找到應(yīng)用運(yùn)行瓶頸快速找到應(yīng)用運(yùn)行瓶頸直觀、準(zhǔn)確的進(jìn)行應(yīng)用對(duì)比分析直觀、準(zhǔn)確的進(jìn)行應(yīng)用對(duì)比分析快速找到應(yīng)用優(yōu)化空間快速找到應(yīng)用優(yōu)化空間用用20%時(shí)間挖掘大到時(shí)間挖掘大到80%的優(yōu)

14、化空間的優(yōu)化空間對(duì)系統(tǒng)管理員：對(duì)系統(tǒng)管理員：大規(guī)模機(jī)群運(yùn)行狀態(tài)可視化大規(guī)模機(jī)群運(yùn)行狀態(tài)可視化快速進(jìn)行機(jī)群管理操作快速進(jìn)行機(jī)群管理操作掌握機(jī)群作業(yè)運(yùn)行情況掌握機(jī)群作業(yè)運(yùn)行情況快速對(duì)機(jī)群進(jìn)行故障診斷快速對(duì)機(jī)群進(jìn)行故障診斷對(duì)硬件管理員：對(duì)硬件管理員：快速定位硬件故障快速定位硬件故障預(yù)防硬件故障發(fā)生預(yù)防硬件故障發(fā)生用戶(hù)收益用戶(hù)收益“Paramon軟件直觀的反映出機(jī)群整體及節(jié)點(diǎn)服務(wù)器部件的運(yùn)行情況，使我們能夠軟件直觀的反映出機(jī)群整體及節(jié)點(diǎn)服務(wù)器部件的運(yùn)行情況，使我們能夠快速的衡量出軟件對(duì)硬件的實(shí)際需求，能夠準(zhǔn)確、高效的建立了軟件與硬件之間的對(duì)應(yīng)關(guān)快速的衡量出軟件對(duì)硬件的實(shí)際需求，能夠準(zhǔn)確、高效的建立了軟

15、件與硬件之間的對(duì)應(yīng)關(guān)系，尤其在系，尤其在GPU方面，方面，Paramon軟件通過(guò)準(zhǔn)確、高效的監(jiān)控管理手段為我中心解決了軟件通過(guò)準(zhǔn)確、高效的監(jiān)控管理手段為我中心解決了一系列管理、運(yùn)維問(wèn)題，讓機(jī)群監(jiān)控、管理更便捷，更高效，提高了我中心的整體工作效一系列管理、運(yùn)維問(wèn)題，讓機(jī)群監(jiān)控、管理更便捷，更高效，提高了我中心的整體工作效率。率。”中國(guó)石化石油物探技術(shù)研究院信息中心副主任王永波用戶(hù)體驗(yàn)用戶(hù)體驗(yàn)“BGP采購(gòu)了北京并行科技有限公司采購(gòu)了北京并行科技有限公司Paramon/Paratune應(yīng)用運(yùn)行特征分析軟應(yīng)用運(yùn)行特征分析軟件。憑借該系列工具，依據(jù)科學(xué)的數(shù)據(jù)統(tǒng)計(jì)和分析，其為件。憑借該系列工具，依據(jù)科學(xué)的數(shù)據(jù)統(tǒng)計(jì)和分析，其為GeoEast軟件系統(tǒng)優(yōu)化提供了軟件系統(tǒng)優(yōu)化提供了客觀、準(zhǔn)確的基礎(chǔ)數(shù)據(jù)，其中包括并行科技擁有專(zhuān)利技術(shù)的系統(tǒng)微架構(gòu)級(jí)和應(yīng)用指令級(jí)數(shù)客觀、準(zhǔn)確的基礎(chǔ)數(shù)據(jù)，其中包括并行科技擁有專(zhuān)利技術(shù)的系統(tǒng)微架構(gòu)級(jí)和應(yīng)用指令級(jí)數(shù)據(jù)，保證了據(jù)，保證了GeoEast系統(tǒng)優(yōu)化的正確性和高效性。后續(xù)，系統(tǒng)優(yōu)化的正確性和高效性。后續(xù)，BGP通過(guò)通過(guò)Paramon軟件對(duì)軟件對(duì)GeoEast系統(tǒng)幾十種典型的常規(guī)處理、解釋模塊，并行處理模塊，偏移模塊