第九章并行組織與結(jié)構(gòu)返回2021/7/221第九章并行組織與結(jié)構(gòu)9.1體系結(jié)構(gòu)中的并行性9.2多線程與超線程處理機9.3多處理機9.4多核處理機9.5多核處理機實例2021/7/2229.1體系結(jié)構(gòu)中的并行性9.1.1摩爾定律與處理機性能9.1.2并行性的概念9.1.3提高并行性的技術(shù)途徑9.1.4單處理機系統(tǒng)中并行性9.1.5多處理機系統(tǒng)中并行性9.1.6并行處理機的體系結(jié)構(gòu)類型9.1.7并行處理機的組織和結(jié)構(gòu)

2021/7/223

9.1.1摩爾定律與處理機性能時至今日，集成電路的集成度還在按照摩爾定律的速度增長，但是計算機系統(tǒng)性能的增長遇到了物理規(guī)律的限制。

·功耗墻

·芯片內(nèi)部互聯(lián)線的延遲

·存儲墻

·設(shè)計復(fù)雜度

計算機系統(tǒng)硬件設(shè)計者不得不放棄簡單地提高處理機主頻的傳統(tǒng)方法，轉(zhuǎn)向盡可能多地實現(xiàn)并行處理。

2021/7/2249.1.2并行性的概念

所謂并行性，是指計算機系統(tǒng)具有可以同時進行運算或操作的特性，它包括同時性與并發(fā)性兩種含義。

·同時性——兩個或兩個以上的事件在同一時刻發(fā)生。

·并發(fā)性——兩個或兩個以上的事件在同一時間間隔發(fā)生。

2021/7/2259.1.2并行性的概念

并行性等級——從處理數(shù)據(jù)的角度分

計算機系統(tǒng)中的并行性有不同的等級。

從處理數(shù)據(jù)的角度看，并行性等級從低到高可分為：

·字串位串同時只對一個字的一位進行處理。這是最基本的串行處理方式，不存在并行性。

·字串位并同時對一個字的全部位進行處理，不同字之間是串行的。這里已開始出現(xiàn)并行性。

·字并位串同時對許多字的同一位進行處理。這種方式有較高的并行性。

·全并行同時對許多字的全部位進行處理。這是最高一級的并行。

2021/7/2269.1.2并行性的概念

并行性等級——從執(zhí)行程序的角度分

·指令內(nèi)部并行一條指令執(zhí)行時各微操作之間的并行。

·指令級并行并行執(zhí)行兩條或多條指令。

·任務(wù)級或過程級并行并行執(zhí)行兩個以上過程或任務(wù)（程序段）。

·作業(yè)或程序級并行并行執(zhí)行兩個以上作業(yè)或程序。

2021/7/2279.1.3提高并行性的技術(shù)途徑·時間重疊——即時間并行多個處理過程在時間上相互錯開，輪流重疊地使用同一套硬件設(shè)備的各個部分。

·資源重復(fù)——即空間并行

通過重復(fù)設(shè)置硬件資源，大幅度提高計算機系統(tǒng)的性能。

·時間重疊＋資源重復(fù)——主流技術(shù)

·資源共享

用軟件方法實現(xiàn)多個任務(wù)按一定時間順序輪流使用同一套硬件設(shè)備。

2021/7/2289.1.4單處理機系統(tǒng)中并行性·在發(fā)展高性能單處理機過程中，起著主導(dǎo)作用的是時間并行（流水線）技術(shù)

·空間并行技術(shù)的運用也已經(jīng)十分普遍

·資源共享的概念即所謂虛擬機的概念

·單處理機并行性發(fā)展的代表作有：

奔騰系列機

安騰系列機

2021/7/2299.1.5多處理機系統(tǒng)中并行性耦合度

反映多處理機系統(tǒng)各機器之間物理連接的緊密程度與交互作用能力的強弱。

多處理機系統(tǒng)分為：

·緊耦合系統(tǒng)（又稱直接耦合系統(tǒng)）

處理機之間物理連接具有相對較高的信息傳輸率

·松耦合系統(tǒng)（又稱間接耦合系統(tǒng)）

2021/7/22109.1.5多處理機系統(tǒng)中并行性

技術(shù)路線

·異構(gòu)型多處理機系統(tǒng)

許多主要功能交由專用處理機完成

·同構(gòu)型多處理機系統(tǒng)

為了使并行處理的任務(wù)能在處理機之間隨機地進行調(diào)度，就必須使各處理機具有同等的功能

2021/7/22119.1.5多處理機系統(tǒng)中并行性發(fā)展?fàn)顩r

·20世紀(jì)70年代以來，各類并行計算機系統(tǒng)問世

·20世紀(jì)80年代，我國研制了向量處理機YH-1/2和757

CAI表9.120世紀(jì)90年代以來我國自行研制的幾種并行機2021/7/22129.1.5多處理機系統(tǒng)中并行性2010年11月全球超級計算機TOP500·第一名：天河一號，中國國防科技大學(xué)·第二名：美洲虎，美國Cray公司·第三名：星云，中國曙光公司·第七名：走鵑，美國IBM公司

2021/7/22139.1.6并行處理機的體系結(jié)構(gòu)類型指令流和數(shù)據(jù)流的不同組織方式：

·單指令流單數(shù)據(jù)流(SISD)代表機型是單處理機。

·單指令流多數(shù)據(jù)流(SIMD)代表機型是向量處理機。

·多指令流單數(shù)據(jù)流(MISD)這種結(jié)構(gòu)從未實現(xiàn)過。

·多指令流多數(shù)據(jù)流(MIMD)代表機型是多處理機和機群系統(tǒng)。前者為緊耦合系統(tǒng)，后者為松耦合系統(tǒng)。2021/7/22149.1.6并行處理機的體系結(jié)構(gòu)類型圖（a）表示一個SISD的結(jié)構(gòu)圖（b）表示SIMD的結(jié)構(gòu)圖（c）和圖（d）表示MIMD的結(jié)構(gòu)，兩者均有多個控制單元（CU1~CUn）CAI圖9.1并行多處理機體系結(jié)構(gòu)圖9.2并行處理機的組成CAI2021/7/22159.1.7并行處理機的組織和結(jié)構(gòu)計算機系統(tǒng)可以在不同的層次引入并行機制。

·超標(biāo)量處理機和超長指令字處理機：多發(fā)射、超標(biāo)量、超長指令字·多處理機和多計算機：多處理機、多計算機、機群·多線程處理機·多核處理機（片上多處理機）

2021/7/22169.1.7并行處理機的組織和結(jié)構(gòu)圖9.3多處理并行處理機結(jié)構(gòu)2021/7/22179.2多線程與超線程處理機9.2.1指令級并行與線程級并行9.2.2同時多線程結(jié)構(gòu)9.2.3超線程處理機結(jié)構(gòu)

2021/7/22189.2.1指令級并行與線程級并行2002年秋，英特爾公司推出一款采用超線程（HyperThreading,HT）技術(shù)的Pentium4處理機，原有的單個物理內(nèi)核經(jīng)過簡單擴展后被模擬成兩個邏輯內(nèi)核

·垂直浪費

如：資源沖突會導(dǎo)致不能繼續(xù)執(zhí)行新指令·水平浪費

如：指令相關(guān)導(dǎo)致多條流水線中部分流水線被閑置

CAI圖9.4超標(biāo)量處理機的水平浪費和垂直浪費2021/7/22199.2.1指令級并行與線程級并行多線程處理機·在處理機設(shè)計中引入硬件線程的概念·并行的概念就從指令級并行擴展至線程級并行多線程處理機的具體的實現(xiàn)方法又可分為：·細(xì)粒度多線程（交錯多線程）處理機·粗粒度多線程（阻塞多線程）處理機CAI圖9.5多線程處理機的指令執(zhí)行實例2021/7/22209.2.2同時多線程結(jié)構(gòu)同時多線程（SimultaneousMultithreading,SMT）結(jié)合了超標(biāo)量技術(shù)和細(xì)粒度多線程技術(shù)的優(yōu)點CAI圖9.6同時多線程處理機的指令執(zhí)行實例2021/7/22219.2.3超線程處理機結(jié)構(gòu)為了支持兩個硬件線程同時運行，讓每級流水線中的資源通過三種方式之一復(fù)用于兩個線程：

復(fù)制、分區(qū)或共享。CAI圖9.7支持超線程技術(shù)的NetBurst微體系結(jié)構(gòu)的流水線結(jié)構(gòu)2021/7/22229.3多處理機9.3.1多處理機系統(tǒng)的分類9.3.2SMP的基本概念9.3.3SMP的結(jié)構(gòu)

2021/7/22239.3.1多處理機系統(tǒng)的分類多處理機系統(tǒng)由多個獨立的處理機組成，每個處理機能夠獨立執(zhí)行自己的程序

·并行向量處理機（PVP）

·對稱多處理機（SMP）

·大規(guī)模并行處理機（MPP）

·分布共享存儲器多處理機（DSM）

CAI圖9.8多處理機四種類型2021/7/22249.3.2SMP的基本概念SMP定義為具有如下特征的獨立計算機系統(tǒng)：(1)有兩個以上功能相似的處理機。(2)這些處理機共享同一主存和I/O設(shè)施，以總線或其他內(nèi)部連接機制互連在一起；這樣，存儲器存取時間對每個處理機都是大致相同的。(3)所有處理機共享對I/O設(shè)備的訪問，或通過一通道，或通過提供到同一設(shè)備路徑的不同通道。(4)所有處理機能完成同樣的功能。(5)系統(tǒng)被一個集中式操作系統(tǒng)（OS）控制。

2021/7/22259.3.3SMP的結(jié)構(gòu)

SMP的一般結(jié)構(gòu)為便利來自I/O處理器的DMA傳送，應(yīng)提供如下特征

(1)尋址

(2)仲裁

(3)分時共享

一般來說，工作站和個人機SMP都有兩級Cache；現(xiàn)在，某些處理機還使用了L3Cache。CAI圖9.9對稱多處理機（SMP）的一般結(jié)構(gòu)2021/7/22269.4多核處理機9.4.1多核處理機的優(yōu)勢9.4.2多核處理機的組織結(jié)構(gòu)9.4.3多核處理機的關(guān)鍵技術(shù)

2021/7/22279.4.1多核處理機的優(yōu)勢三高三低：

·高并行性：可同時執(zhí)行的線程數(shù)或任務(wù)數(shù)是單處理機的數(shù)倍。

·高通信效率：各個處理機核只需要在核內(nèi)部的相對較小的區(qū)域內(nèi)交換數(shù)據(jù)。

·高資源利用率：多核結(jié)構(gòu)可有效支持片內(nèi)資源共享。

·低功耗：不再依靠提高主頻改善性能。

·低設(shè)計復(fù)雜度：每個核的結(jié)構(gòu)相對簡單。

·較低的成本：各個核共享器件芯片封裝和芯片I/O資源。

2021/7/22289.4.2多核處理機的組織結(jié)構(gòu)

同構(gòu)多核處理機與異構(gòu)多核處理機：

·同構(gòu)多核（homogenousmulti-core）處理機

所有計算內(nèi)核結(jié)構(gòu)相同，地位對等。

·異構(gòu)多核（heterogeneousmulti-core）處理機

各個計算內(nèi)核結(jié)構(gòu)不同，地位不對等。

一般多采用“主處理核+協(xié)處理核”的主從架構(gòu)。2021/7/22299.4.2多核處理機的組織結(jié)構(gòu)多核處理機的對稱性：

·對稱(SymmetricMultiProcessing，SMP)多核

處理機片內(nèi)包含相同結(jié)構(gòu)的核，多個核緊密耦合，并運行一個統(tǒng)一的操作系統(tǒng)。

·非對稱(AsymmetricMulitiProcessing，AMP)多核

若是同構(gòu)多核，但每個核運行一個獨立的操作系統(tǒng)或同一操作系統(tǒng)獨立實例，就變成非對稱多核。

AMP多核系統(tǒng)也可采用異構(gòu)多核和共享存儲器構(gòu)成。

2021/7/22309.4.2多核處理機的組織結(jié)構(gòu)圖9.10多核處理機的cache組織2021/7/22319.4.3多核處理機的關(guān)鍵技術(shù)多核處理機架構(gòu)：

·每個核自身的結(jié)構(gòu)

每個核是否應(yīng)該采用超標(biāo)量技術(shù)或超線程技術(shù)

·多核之間的對等性，核的數(shù)目

同構(gòu)多核，阿姆達(dá)爾定律（Amdahl‘slaw）

異構(gòu)多核，集成圖形處理機（GraphicProcessingUnit，

GPU）

2021/7/22329.4.3多核處理機的關(guān)鍵技術(shù)多核系統(tǒng)存儲結(jié)構(gòu)設(shè)計：

處理機內(nèi)核心數(shù)目增多，各核心采用共享存儲器結(jié)構(gòu)進行信息交互，對主存的訪問需求進一步增加。

目前仍然采用存儲器分級的方式解決存儲速度問題：

·采用二級甚至三級cache提高等效訪問速度

·片內(nèi)cache容量盡可能增大

·共享cache和私有cache

2021/7/22339.4.3多核處理機的關(guān)鍵技術(shù)多核處理機的cache一致性：

多核cache內(nèi)容不一致的原因：

·可寫數(shù)據(jù)的共享

·I/O活動

·核間線程遷移

cache一致性的維護：

·軟件方法：預(yù)防

·硬件方法：發(fā)現(xiàn)和解決——目錄協(xié)議、監(jiān)聽協(xié)議

2021/7/22349.4.3多核處理機的關(guān)鍵技術(shù)多核處理機的核間通信與同步技術(shù)：

三種互聯(lián)結(jié)構(gòu)：

·總線共享cache結(jié)構(gòu)

·交叉開關(guān)互連結(jié)構(gòu)

·片上網(wǎng)絡(luò)結(jié)構(gòu)

三種互聯(lián)結(jié)構(gòu)的相互融合

多核之間的同步和互斥2021/7/22359.4.3多核處理機的關(guān)鍵技術(shù)圖9.11連接8個處理機核和8個內(nèi)存模塊的交叉開關(guān)結(jié)構(gòu)2021/7/22369.4.3多核處理機的關(guān)鍵技術(shù)圖9.12二維網(wǎng)狀網(wǎng)絡(luò)片上網(wǎng)絡(luò)結(jié)構(gòu)2021/7/22379.4.3多核處理機的關(guān)鍵技術(shù)低功耗設(shè)計：

低功耗設(shè)計是一個多層次的問題，需要同時在操作系統(tǒng)級、算法級、結(jié)構(gòu)級、電路級等多個層次上綜合考慮。

·單處理機：降低半導(dǎo)體電路的動態(tài)和靜態(tài)電能消耗。

·多核處理機：異構(gòu)結(jié)構(gòu)設(shè)計、動態(tài)線程分派與轉(zhuǎn)移技術(shù)等。2021/7/22389.4.3多核處理機的關(guān)鍵技術(shù)多核軟件設(shè)計：

多核技術(shù)與多處理機的差別：多核系統(tǒng)中，資源的共享