計算機組成與設計硬件/軟件接口第7章多核、多處理器和集群ComputerOrganizationandDesignTheHardware/SoftwareInterfaceDavidA.PattersonJohnL.Hennessy7.1引言目標：將多臺計算機連接起以期獲得更高的性能。

計算機集群多處理器多核處理器作業(Job)/進程(Process)級的并行并行性高，因為作業相對獨立并行處理程序單個程序運行在多個處理器上多核處理器在一個芯片上有多個處理器（核）7.1引言串行/并行程序都可以在串行/并行處理器上運行挑戰：如何更加有效地使用并行處理器并行編程應顯著提高程序的執行性（否則還不如用一個快一點的單處理器，因為這樣更容易）面臨的困難：調度、負載均衡、同步和通信開銷7.2創建并行處理程序的難點程序執行的串行部分限制了加速比的提升。Amdahl定理Example:要在100個處理器上獲得加速比90，試計算順序執行部分應是多少？Amdahl定理Fp

=0.999∴順序執行部分不能超過0.1%。問題規模工作負載：單處理器：

10個標量求和10×10二維矩陣求和10個處理器：

達到潛能的55%問題規模100個處理器：

達到潛能的10%工作負載：10個標量求和100×100二維矩陣求和問題規模單處理器：

10個處理器：

達到潛能的99%100個處理器：

達到潛能的91%強比例與弱比例縮放強比例縮放：問題規模不變。如前面的例子所示

弱比例縮放：問題規模隨處理器數量比例變化。10個處理器，10×10二維矩陣求和

T=20tadd100個處理器，32×32二維矩陣求和T=10tadd+(32×32/100)tadd=20tadd思考題：排隊5分鐘1分鐘7.3共享存儲多處理器共享存儲多處理器

SMP-SharedMemoryMultiprocessor由硬件為所有的處理器提供單一的物理地址空間以塊為單位同步共享變量存儲器訪問時間統一存儲訪問(UMA)：訪存時間大致相同非統一存儲訪問(NUMA)：某些存儲訪問更快共享存儲多處理器的典型組成互連網絡存儲器I/O處理器Cache處理器Cache處理器Cache……處理器間的消息傳遞機制每個處理器都有自己的私有物理地址空間由硬件負責在處理器間的通信互連網絡……處理器Cache處理器處理器Cache處理器…處理器Cache處理器affordable松散耦合獨立的計算機通過網絡連接每個計算機都有自己的內存和OS通過I/O系統連接(域局網、交換機、互聯網)適合具有獨立任務的應用Web服務器、數據庫、仿真具有高適應性、擴展性、成本低松散耦合主要問題管理開銷(主要是虛擬機)連接帶寬低指令和數據流分類方式數據流一個多個指令流一個SISD:IntelPentium4SIMD:SSEinstr.ofx86多個MISD:目前無實例MIMD:IntelXeone5345SPMD：單程序多數據一個并行程序運行在MIMD計算機上條件語句控制在不同處理器執行不同代碼SIMD–單指令流多數據流所有的處理器在同一時間執行相同指令每個處理器訪問的數據不同同步機制簡單簡化指令控制硬件最適于高數據并行應用向量處理器高度流水線的功能單元數據流←→向量寄存器→處理單元數據←寄存器←存儲器結果→寄存器→存儲器例如：MIPS指令集體系結構向量擴展增加向量指令和向量寄存器可減少取指帶寬的要求向量與標量的對比向量體系結構和編譯器簡單的數據并行編程明確的無循環間相關減少了硬件的檢測通過避免循環，從而控制上的冒險比自媒體擴展(如：MMX、SSE)更通用與編譯技術配合更好GPU的歷史早期的視頻卡以幀為單位的顯示緩存3D圖形處理最初用在高端計算機上摩爾定律

低費用、高密度3D圖形卡用于普通PC機和游戲終端GPU的歷史圖形處理單元面向3D圖形處理的處理器頂點/像素的處理、渲染、紋理映射、光柵化處理等計算機中的圖形系統計算機中的圖形系統計算機中的圖形系統GPU的體系結構高度數據并行處理GPU是高度多線程結構使用線程開關來隱藏存儲器的延時顯示緩存數據寬度大、傳輸速率高發展趨勢：通用GPU多種型式的CPU/GPU系統CPU于用于順序代碼的執行，GPU用于并行代碼的執行GPU的體系結構編程語言/APIDirectX、OpenGLCForGraphics(Cg)、HLSLCUDA(ComputeUnifiedDeviceArchitecture)NVIDIATesla8×流處理器NVIDIATesla流處理器SP單精度浮點運算和整數運算每個SP都是細粒度多線程Warp：32個線程一組以SIMD型式并行