分布式集群系統(tǒng)——調(diào)研分析

By吳文泰分布式系統(tǒng)/平臺proActiveParallelSuiteClusterVirtualMachineforJava（cJVM)ParallelVirtualMachine(PVM)ApacheHadoop(這里不做介紹）ApacheMesos2ProActiveParallelSuite1ProActiveParallelSuite3ProActiveParallelSuiteBriefIntro:通過ProActive平臺,用戶可以立刻對（企業(yè)級）應(yīng)用進(jìn)行業(yè)務(wù)優(yōu)化和加速，同時可以對企業(yè)云進(jìn)行管理。Keys:可并行、分布式、業(yè)務(wù)流程優(yōu)化加速、可以集成高效的云管理。平臺關(guān)鍵組成：3個：

Workflow&Parallelization---各種業(yè)務(wù)的并行化

Orchestration&Scheduling---多應(yīng)用、多接口支持

Clouds&GridsIaaS---設(shè)施上的異構(gòu)資源管理4ProActiveParallelSuiteWorkflow&Parallelization◎支持多種技術(shù)來優(yōu)化業(yè)務(wù)性能：方便應(yīng)用編程本地并行化：

支持消息傳遞接口（MPI），OpenMP編程，多線程技術(shù)等分布式+并行：

支持用于并行分布式編程的JavaAPI，REST，以及MapReduce等核心技術(shù)：JAVAActiveObjects,IC2D5ProActiveParallelSuiteOrchestration&Scheduling◎支持多種平臺上的應(yīng)用：作為調(diào)度者◎區(qū)別于Workflow&Parallelization：

Workflow&Parallelization為客戶端提供一系列接口

Orchestration&Scheduling為管理員管理不同業(yè)務(wù)提供特殊的服務(wù)器和工具支持核心：Orchestration&Scheduling

Server

6ProActiveParallelSuiteClouds&GridsIaaS◎管理異構(gòu)資源（基礎(chǔ)設(shè)施）核心：Clouds&GridsIaaSServer譬如：跑Linux的VM和Windows的VM7ProActiveParallelSuite可用狀況:Open-sourced組件：Studio1.4

JavaActiveObjects5.4

Scheduler3.4

SchedulerWebPortal1.4

ResourceManager3.4

Cloud&GridIaaSWebPortal1.4

MatlabConnector1.2

ScilabConnector1.2

8ProActiveParallelSuite組件下載：支持windows32+64,linux32+64以及MacOS注冊信息壓縮包包含項目文件和exe，是一個IDE，對應(yīng)Workflow&Parallelization對應(yīng)Orchestration&Schedulingserver對應(yīng)Clouds&GridsIaaS中的計算單元9支持的編程方法：在proActivestudio中，采用圖形化方式設(shè)計workflows來定義并行化調(diào)度。集群搭建的難易程度：一般，除了安裝IDE外，還要配置好另外兩個組件(server和agent)；但網(wǎng)站資料很完整。支持的語言：JAVA,REST,CLI(命令行）ProActiveParallelSuiteOrchestration&Scheduling和Cloud&GridIaas也可以在這一IDE中進(jìn)行管理10ClusterVirtualMachineforJava2ClusterVirtualMachineforJava(cJVM)11BriefIntro:通過對一個集群進(jìn)行虛擬化使得對應(yīng)用可見的僅是單個系統(tǒng)；而實(shí)際上對象和線程是存在和運(yùn)行于多臺虛擬機(jī)上的。優(yōu)點(diǎn)：應(yīng)用編程方便，高可擴(kuò)展性

Transparent對App透明ClusterVirtualMachineforJava12核心：JavaServerApplications(JSAs)ClusterVirtualMachineforJavaJSAs的運(yùn)行環(huán)境——ClusterVM(forjava)擴(kuò)展性："throwingmorehardwareattheproblem."

——要擴(kuò)展服務(wù)器上App的性能，就投入更多的硬件（VM）到中間這層13支持編程語言:Java可用情況：“NOTE:Thisprojectisnolongeractivesince2000!”……還沒有找到可用資源ClusterVirtualMachineforJava14ParallelVirtualMachine3ParallelVirtualMachine(PVM)15BriefIntro:使用網(wǎng)絡(luò)連接各種異構(gòu)系統(tǒng)（如Windows,Unix），使之看起來就像一個大型“并行計算機(jī)”。ParallelVirtualMachineKeys:模擬并行計算機(jī)，從而App可以使用并行編程技術(shù)SupportedLanguage:C,C++,Fortran16代碼示例：ParallelVirtualMachinePvm3.h庫并行編程的風(fēng)格17可用情況：Open-Sourced，提供lib還有PVM安裝程序，還有詳細(xì)安裝/配置的說明文檔；ParallelVirtualMachine里面是exe文件Lib18ParallelVirtualMachine——安裝PVM最好先裝installshield（微軟開發(fā)的一個軟件），否則就要按如下步驟人工配置1999年編寫的文檔，所以只提到了WindowsNT和95/98系統(tǒng)；要試一下才知道是否支持2000以上的系統(tǒng)。。。（PVM項目到2011年都有更新）19支持語言：C,C++,Fortran算法接口:基本上是并行編程用到的基本算法，主要包含在pvm3.h中支持環(huán)境：Windows(onlyNT,95/98???)搭建難易程度：難，因為說明文檔比較舊；使用方式：安裝installshield版本的PVM，使用源碼庫ParallelVirtualMachine20ApacheMesos4ApacheMesos21MesosMesos計算框架一個集群管理器，提供了有效的、跨分布式應(yīng)用或框架的資源隔離和共享，可以運(yùn)行Hadoop、MPI、Hypertable、Spark結(jié)構(gòu)：Master/Slave結(jié)構(gòu)資源申請，內(nèi)部調(diào)度單例，管理整個集群，負(fù)責(zé)資源分配+調(diào)度運(yùn)行于Slave服務(wù)器上，負(fù)責(zé)執(zhí)行tasks22可用性：開源（代碼也可在github上下載）

Mesos官方最新版本：0.19.023支持環(huán)境：Linux(64Bit)andMacOSX(64Bit)（可能因為是一個很新的項目）配置難易程度：一般（官網(wǎng)配置介紹是以Ubuntu12.0464位為例，詳見：/gettingstarted/

支持語言：C++,Java,Python執(zhí)行task前要運(yùn)行對應(yīng)的框架：MesosC++JavaPython24總結(jié)25ComparisonproActivecJVMPVMHadoopMesos運(yùn)行環(huán)境Windows,linux,MacWindowsNTWindowsUnix(linux)Linux(64Bit)andMacOSX(64Bit)支持語言Java,REST,CLIJavaC,C++,FortranC++,C,JavaJava,Python,C++搭建難易一般N/A難一般一般并行調(diào)度算法/方法Map-Reduce等Pvm3.h中包含的算法Map