第1章分布式系統(tǒng)概述

分布式系統(tǒng)定義分布式系統(tǒng)目標(biāo)分布式系統(tǒng)硬件概念分布式系統(tǒng)軟件概念設(shè)計(jì)中的問(wèn)題1.1分布式系統(tǒng)定義分布式系統(tǒng)的產(chǎn)生

功能更強(qiáng)的微處理器的開(kāi)發(fā)PC機(jī)主頻可達(dá)GHZ高速計(jì)算機(jī)網(wǎng)絡(luò)(LAN、WAN)的出現(xiàn)

將由大量計(jì)算機(jī)組成的系統(tǒng)通過(guò)高速網(wǎng)絡(luò)（百兆、千兆、最快可達(dá)100多GB）連接起來(lái)，數(shù)據(jù)傳輸可以在短時(shí)間內(nèi)完成。分布式系統(tǒng)的定義

“一個(gè)分布式系統(tǒng)是一些獨(dú)立的計(jì)算機(jī)的集合，但是對(duì)這個(gè)系統(tǒng)的用戶來(lái)說(shuō)，系統(tǒng)就像一臺(tái)計(jì)算機(jī)一樣?！眱蓚€(gè)方面：每臺(tái)計(jì)算機(jī)都是自治的。對(duì)用戶來(lái)說(shuō)就像與單個(gè)系統(tǒng)打交道。1.1分布式系統(tǒng)定義應(yīng)用舉例銀行系統(tǒng)移動(dòng)通信系統(tǒng)超市管理信息系統(tǒng)傳感器網(wǎng)絡(luò)（SensorNetwork）系統(tǒng)ERP系統(tǒng)基于Web的信息系統(tǒng)1.1分布式系統(tǒng)定義Howtoorganizeadistributedsystem?Distributedsystemlayer(middleware)Appl.AApplicationBAppl.CComputer1LocalOS1LocalOS2LocalOS3LocalOS4Computer2Computer3Computer4Network1、經(jīng)濟(jì)性：高的性能/價(jià)格比系統(tǒng)傾向于分布式發(fā)展的真正驅(qū)動(dòng)力是經(jīng)濟(jì)。最節(jié)約成本的辦法是在一個(gè)系統(tǒng)中使用集中在一起的大量的廉價(jià)的CPU。1.2分布式系統(tǒng)的特點(diǎn)1.2.1

分布式系統(tǒng)相對(duì)于集中式系統(tǒng)的優(yōu)點(diǎn)

分布式系統(tǒng)通過(guò)較低廉的價(jià)格獲得單個(gè)大型集中式系統(tǒng)相似的性能！2、性能：

10,000臺(tái)PC、50MIPS

500,000MIPS（5千億次/秒）

0.002ns/指令，這在理論上和工程上考慮都是不可能的。（光速:360000km/s

0.002ns傳播0.6mm）1.2.1

分布式系統(tǒng)相對(duì)于集中式系統(tǒng)的優(yōu)點(diǎn)

2014年6月23日公布的全球超級(jí)計(jì)算機(jī)500強(qiáng)榜單中，中國(guó)“天河二號(hào)”以比第二名美國(guó)“泰坦”快近一倍的速度連續(xù)第三次獲得冠軍。峰值計(jì)算速度每秒5.49億億次1.2分布式系統(tǒng)的特點(diǎn)inthebroadestsensetodenoteanysysteminwhichmultipleinterconnectedCPUsworktogether3、應(yīng)用的固有的分布性,例如：一些應(yīng)用本身是分布的（超級(jí)市場(chǎng)連鎖店）

CSCW、CSCG4、可靠性高通過(guò)把負(fù)載分散到眾多的機(jī)器上，單個(gè)芯片故障最多只會(huì)使一臺(tái)機(jī)器停機(jī)，其他機(jī)器不會(huì)受到影響。（多工系統(tǒng)的容錯(cuò)能力）5、可擴(kuò)充性強(qiáng)（漸增式的增長(zhǎng)方式）系統(tǒng)演進(jìn)能力（evolution），在需求增長(zhǎng)的時(shí)候逐漸進(jìn)行擴(kuò)充。1.2.1

分布式系統(tǒng)相對(duì)于集中式系統(tǒng)的優(yōu)點(diǎn)1.2分布式系統(tǒng)的特點(diǎn)1.2分布式系統(tǒng)特點(diǎn)1.2.1

分布式系統(tǒng)相對(duì)于集中式系統(tǒng)的優(yōu)點(diǎn)

項(xiàng)目

描述

經(jīng)濟(jì)性

微處理機(jī)提供了比大型主機(jī)更好的性能價(jià)格比

速度

分布式系統(tǒng)中的計(jì)算能力比單個(gè)大型主機(jī)更強(qiáng)

固有的分布性

一些應(yīng)用涉及到空間上分散的機(jī)器

可靠性

如果一個(gè)機(jī)器崩潰，整個(gè)系統(tǒng)還可以運(yùn)轉(zhuǎn)

漸增式的增長(zhǎng)方式

計(jì)算能力可以逐漸有所增加1、支持?jǐn)?shù)據(jù)共享文件數(shù)據(jù)庫(kù)2、支持設(shè)備共享高檔打印機(jī)海量磁盤(pán)1.2.2分布式系統(tǒng)與獨(dú)立PC機(jī)比較的優(yōu)點(diǎn)1.2分布式系統(tǒng)特點(diǎn)3、增強(qiáng)人與人之間的溝通

emailBBS4、靈活性負(fù)載分配（在其它的機(jī)器上執(zhí)行任務(wù)）1.2分布式系統(tǒng)特點(diǎn)1.2.2分布式系統(tǒng)與獨(dú)立PC機(jī)比較的優(yōu)點(diǎn)1.2分布式系統(tǒng)特點(diǎn)1.2.2

分布式系統(tǒng)相對(duì)于獨(dú)立PC機(jī)的優(yōu)點(diǎn)

項(xiàng)目

描述數(shù)據(jù)共享

允許多個(gè)用戶訪問(wèn)一個(gè)公共的數(shù)據(jù)庫(kù)設(shè)備共享

允許多個(gè)用戶共享昂貴的外圍設(shè)備（如彩色打印機(jī)）通信

使得人們之間的通信更加容易，如通過(guò)電子郵件靈活性

用最有效的方式將工作負(fù)荷分配到可用的機(jī)器上1、缺乏充分的軟件產(chǎn)品和應(yīng)用經(jīng)驗(yàn)操作系統(tǒng)、中間件、編程語(yǔ)言、工具2、網(wǎng)絡(luò)性能的限制

QoS(帶寬、速度)一旦系統(tǒng)依賴于網(wǎng)絡(luò)，那么網(wǎng)絡(luò)的信息丟失或飽和將會(huì)抵消我們通過(guò)建立分布式系統(tǒng)所獲得的大部分優(yōu)勢(shì)。3、安全性黑客、泄密、盜用、破壞1.2.3

分布式系統(tǒng)的缺點(diǎn)

1.2分布式系統(tǒng)特點(diǎn)1.2分布式系統(tǒng)特點(diǎn)1.2.3

分布式系統(tǒng)的缺點(diǎn)

項(xiàng)目

描述軟件

目前為分布式系統(tǒng)開(kāi)發(fā)的軟件還很少網(wǎng)絡(luò)

網(wǎng)絡(luò)可能飽和和引起其他的問(wèn)題安全

容易造成對(duì)保密數(shù)據(jù)的訪問(wèn)1.3硬件概念分布式系統(tǒng)硬件計(jì)算機(jī)系統(tǒng)按指令流和數(shù)據(jù)流分類

SISD單處理機(jī)系統(tǒng)（如PC機(jī)）。

SIMD并行計(jì)算機(jī)。（如陣列式）

MISD已知的計(jì)算機(jī)沒(méi)有屬于這一類的。

MIMD所有的分布式系統(tǒng)都是MIMD型。CPU指令流個(gè)數(shù)數(shù)據(jù)流個(gè)數(shù)Flynn分類：（1972）1.3硬件概念分布式系統(tǒng)硬件

MIMD計(jì)算機(jī)系統(tǒng)分成兩類：具有共享存儲(chǔ)器的多處理機(jī)和不具有共享存儲(chǔ)器的多計(jì)算機(jī)。在多處理機(jī)中，所有的CPU共享統(tǒng)一的虛擬地址空間。在多計(jì)算機(jī)中，每個(gè)計(jì)算機(jī)有它自己的存儲(chǔ)器。PPMPPPMPMM多處理機(jī)系統(tǒng)多計(jì)算機(jī)系統(tǒng)存儲(chǔ)器使用：共享式私有式1.3硬件概念分布式系統(tǒng)硬件

多處理機(jī)和多計(jì)算機(jī)又可根據(jù)互聯(lián)網(wǎng)的體系結(jié)構(gòu)分為總線型和交換型。總線型：只通過(guò)單個(gè)網(wǎng)絡(luò)、底板、總線、電纜或其他介質(zhì)將所有計(jì)算機(jī)連接起來(lái)。如有線電視。交換型：機(jī)器和機(jī)器之間有獨(dú)立的線路。如世界范圍內(nèi)的公共電話系統(tǒng)。MIMD系統(tǒng)分類多處理機(jī)系統(tǒng)多計(jì)算機(jī)系統(tǒng)總線式交換式共享內(nèi)存私有內(nèi)存1.3硬件概念1.3硬件概念分布式系統(tǒng)硬件

緊耦合和松耦合系統(tǒng)緊耦合型：一臺(tái)計(jì)算機(jī)向另一臺(tái)計(jì)算機(jī)發(fā)送信息的時(shí)延很短、數(shù)據(jù)傳輸速率很高；多用于并行系統(tǒng)（共同處理一個(gè)問(wèn)題）松耦合型：機(jī)器間信息傳送延遲大，數(shù)據(jù)傳輸速率也低。多用于分布式系統(tǒng)（處理一些不相關(guān)的問(wèn)題）一般來(lái)說(shuō)，多處理機(jī)的耦合程度通常比多計(jì)算機(jī)要高。因?yàn)樗軌蛞源鎯?chǔ)速率交換數(shù)據(jù)。1.3硬件概念分布式系統(tǒng)硬件并行及分布式計(jì)算機(jī)系統(tǒng)分類

并行分布式計(jì)算機(jī)多處理機(jī)（共享存儲(chǔ)器）多計(jì)算機(jī)（私有存儲(chǔ)器）總線型總線型交換型交換型MIMD松耦合緊耦合SequentEncore超級(jí)計(jì)算機(jī)RP3LAN工作站

超立方體Transputer1.3硬件概念1.3.1

基于總線的多處理機(jī)

基于總線的多處理機(jī)由若干個(gè)CPU組成，它們都連接到一個(gè)公共的總線上，并且共享一個(gè)存儲(chǔ)器模塊。為了避免總線過(guò)載，需要高速緩存，但帶來(lái)了不一致問(wèn)題。連接的CPU數(shù)量有限。CacheCPUBusCacheCPUCacheCPUMemory1.3硬件概念1.3.2交換型多處理機(jī)將存儲(chǔ)器分成許多存儲(chǔ)器模塊，用十字交叉開(kāi)關(guān)將它們與CPU相連。優(yōu)點(diǎn)：多個(gè)CPU能夠同時(shí)訪問(wèn)存儲(chǔ)器。缺點(diǎn)：n個(gè)CPU和n個(gè)存儲(chǔ)器模塊，需要n2個(gè)交叉開(kāi)關(guān)。1.3硬件概念1.3.2交換型多處理機(jī)Omega網(wǎng)絡(luò)結(jié)論

需要的交叉開(kāi)關(guān)數(shù)量多，需要解決交換延遲，價(jià)格昂貴。建立一個(gè)大的、緊密偶合的、共享存儲(chǔ)器的多處理機(jī)系統(tǒng)是可能的，但是困難的。Omega開(kāi)關(guān)網(wǎng)：

(log2n)?n/2個(gè)2?2開(kāi)關(guān)點(diǎn)，延遲=log2n1.3硬件概念1.3.3

基于總線的多計(jì)算機(jī)每個(gè)CPU都與它自身的存儲(chǔ)器直接相連。由于僅是CPU和CPU之間的通信，通信量比當(dāng)互連網(wǎng)絡(luò)用于CPU和存儲(chǔ)器之間的通信量低幾個(gè)數(shù)量級(jí)。CPULocalmemory網(wǎng)絡(luò)CPULocalmemoryCPULocalmemory圖1-4局域網(wǎng)上由多臺(tái)工作站組成的計(jì)算機(jī)系統(tǒng)工作站工作站工作站1.3硬件概念1.3.4

交換型多計(jì)算機(jī)

兩種流行的拓?fù)浣Y(jié)構(gòu)：網(wǎng)格和超立方體柵格（grid）：二維平面(n2個(gè)節(jié)點(diǎn))。超立方（hypercube）：n維立方（2n個(gè)節(jié)點(diǎn)）造價(jià)高1.4軟件概念1.4.1

網(wǎng)絡(luò)操作系統(tǒng)按耦合程度分為兩種不同的操作系統(tǒng)：松耦合系統(tǒng)和緊耦合系統(tǒng)。運(yùn)行在松耦合硬件上的松耦合軟件

遠(yuǎn)程登陸目錄服務(wù)文件服務(wù)客戶局域網(wǎng)請(qǐng)求響應(yīng)磁盤(pán)上存儲(chǔ)有共享的文件系統(tǒng)文件服務(wù)器圖1-6在網(wǎng)絡(luò)操作系統(tǒng)環(huán)境下的兩個(gè)客戶和一個(gè)服務(wù)器1.4軟件概念Client1Client2gamesworkClient1pacmanpacwomanpacchildmailnewsotherpacmanpacwomanpacchildmailnewsotherServer1gamesServer2workgamesClient2pacmanpacwomanpacchildworkmailnewsother1.4軟件概念1.4.2真正的分布式系統(tǒng)

松耦合硬件上的緊耦合軟件，根本思想是：用戶不必意識(shí)到系統(tǒng)中有多個(gè)CPU存在，虛擬的單一處理機(jī)分時(shí)系統(tǒng)。例如在程序中訪問(wèn)一個(gè)文件，執(zhí)行一個(gè)任務(wù)。分布式系統(tǒng)的特點(diǎn)必須有一個(gè)單一的、全局的進(jìn)程間通信機(jī)制進(jìn)程管理必須處處相同文件系統(tǒng)相同使用相同的系統(tǒng)調(diào)用接口

1.4軟件概念1.4.3

多處理機(jī)分時(shí)系統(tǒng)運(yùn)行在緊耦合硬件上的緊耦合軟件。

關(guān)鍵特點(diǎn)：存在一個(gè)唯一的運(yùn)行隊(duì)列Cache過(guò)程A在運(yùn)行總線CacheCache操作系統(tǒng)過(guò)程B在運(yùn)行過(guò)程C在運(yùn)行運(yùn)行隊(duì)D,EA(運(yùn)行)B(運(yùn)行)C(運(yùn)行)D(就緒)E(就緒)磁盤(pán)CPU1CPU2CPU3圖1-8具有一個(gè)運(yùn)行隊(duì)列的多處理機(jī)系統(tǒng)1.4軟件概念三種操作系統(tǒng)比較

項(xiàng)目網(wǎng)絡(luò)操作系統(tǒng)分布式操作系統(tǒng)多處理機(jī)操作系統(tǒng)看起來(lái)是否像一個(gè)虛擬的單處理機(jī)系統(tǒng)？否是是所有的機(jī)器只運(yùn)行相同的操作系統(tǒng)？否是是有多少操作系統(tǒng)的拷貝？nn1怎樣通信？共享文件消息共享存儲(chǔ)器需要共同一致的網(wǎng)絡(luò)協(xié)議？是是否是否只有一個(gè)運(yùn)行隊(duì)列？否否是文件共享是否有良好的語(yǔ)義定義？通常沒(méi)有是是1.5設(shè)計(jì)中的問(wèn)題1.5.1

透明性透明度可分兩個(gè)級(jí)別

對(duì)用戶隱藏系統(tǒng)的分布性

對(duì)程序透明種類含義位置透明用戶不知道資源位于何處遷移透明資源可以不改名地隨意移動(dòng)復(fù)制透明用戶不知道有多少個(gè)拷貝存在并發(fā)透明多個(gè)用戶可以自動(dòng)的共享資源并行透明系統(tǒng)并行活動(dòng)可以在用戶沒(méi)有感覺(jué)的情況下并行發(fā)生1.5設(shè)計(jì)中的問(wèn)題1.5.2

靈活性兩種學(xué)術(shù)觀點(diǎn)

單內(nèi)核每臺(tái)機(jī)器都運(yùn)行一個(gè)傳統(tǒng)的內(nèi)核，內(nèi)核自身提供了大多數(shù)的服務(wù)。單內(nèi)核：集中式操作系統(tǒng)+網(wǎng)絡(luò)服務(wù)和遠(yuǎn)程服務(wù)。單內(nèi)核系統(tǒng)唯一潛在的優(yōu)點(diǎn)是性能。

用戶單內(nèi)核包括文件、目錄和過(guò)程管理1.5設(shè)計(jì)中的問(wèn)題1.5.2靈活性兩種學(xué)術(shù)觀點(diǎn)

微內(nèi)核內(nèi)