分布式大規模企業計算互聯網應用的特殊性I/O操作強于計算操作復雜異構的機器環境變化的業務邏輯3/30分布式大規模企業計算并行化的嘗試在硬件工藝/技術不變的前提下，提升計算能力更強大的硬件對稱多處理器SMP分布式共享內存DSM分布式系統Share

diskSharenothing4/30分布式大規模企業計算？？？應用場景？？？解決方案？？？效率。。。5/30IBM

Platform

HPC6/30IBM

Platform

HPC7/30IBM

Platform

HPC計算功能真正運行計算任務占Cluster的大部分節點執行整個方案一部分的一個或多個任務控制功能幫助各節點協同工作的服務：DHCP，DNS，NTP，和其他保證節點間通訊的類似服務決定哪些任務由哪些節點來完成由于一個錯誤可以影響整個Cluster

的可用性，所以對硬件， 數據要求冗余8/30IBM

Platform

HPC功能負責

大量數據提供并控制對

子系統的

，直接附加在節點上；也可以由一個或多個網絡共享設備組成特別提供對數據的高性能，并行/并發

。9/3010/30IBM

Platform

HPC安裝功能提供Images和快速，簡易安裝及重裝Cluster

節點的方法通常向計算節點提供包含操作系統，庫文件和其他軟件的文件系統也可以配制為計算節點管理功能管理和控制Cluster及其組件（LANs/Nodes)處理SNMP問題可以是

節點或與其他功能共用節點一個Cluster中可以有一個以上的管理節點12/30IBM

Platform

HPC

節點節點類型計算節點

I/O節點管理節點?

2010IBM

Corporation22提供一整套完善的的系統管理工具IBM

TivoliIBM

Systems

DirectorPlatform

management

that

is

easy

and

efficientManagement

of

physical

andvirtual

resourcesacross

heterogeneous

systemsToolsCenterConsolidated,

integrated

suite

of

management

toolsPowerful

bootable

media

creatorIntegrated

Management

Module

(IMM)Standards-based

hardware

which

combinesdiagnostic

and

remote

controlUEFI—next

generation

BIOSRicher

management

experience

and

future-readyUpward

integration

into

TivoliService

ManagementIBM

Systems

platform

solution

forSystem

x,

BladeCenter,

PowerSystems,

System

z

andstorageRedesignedsystem

toolportfolio

for

single-systemmanagement

and

scriptingHardware

and

firmwareadvances

whicharestandard

across

allnew

systemsRemoteDeployment

&ManagementIn

ligentworkloadmanagementIBM

Platform

HPC小結21/30MapReduce分布式編程模型互聯網應用的大規模數據計算解決方案22/30MapReduce語義Map：，空間變換Reduce：匯總，規約23/30MapReduce<key,value>數據結構map

(in_key,

in_value)

->

list(out_key,intermediate_value)reduce

(out_key,

list(intermediate_value))->list(out_value)分布式算法的

內容24/30系統視圖系統考量容災

擴展性并行能力…Master-slave結構25/30系統視圖26/30計算消耗網絡I/O磁盤I/O排序Map/Reduce計算行系統視圖并行能力子任務間并行M/R任務間并作業間并行A

systematic

view27/30范例28/30web點擊日志統計：PV/UV詞頻統計海量數據排序表JoinDiscussMapReduce能做？日志分析商業智能分析客戶大規模索引