1、內存系統對性能的影響第1頁，共16頁，2022年，5月20日，7點44分，星期一內存系統對性能的影響 對于很多應用而言，瓶頸在于內存系統，而不是CPU內存系統的性能包括兩個方面：延遲和帶寬Latency is the time from the issue of a memory request to the time the data is available at the processor. Bandwidth is the rate at which data can be pumped to the processor by the memory system. 第2頁，共16頁，2

2、022年，5月20日，7點44分，星期一延遲和帶寬的區別 理解延遲與帶寬的區別非常重要。 考慮消防龍頭的情形。如果打開消防龍頭后2秒水才從消防水管的盡頭流出，那么這個系統的延遲就是2秒。當水開始流出后，如果水管1秒鐘能流出5加侖的水，那么這個水管的“帶寬”就是5加侖/秒。如果想立刻撲滅火災，那么更重要是減少延遲的時間。如果是希望撲滅更大的火，那么需要更高的帶寬。第3頁，共16頁，2022年，5月20日，7點44分，星期一內存延遲示例考慮某一處理器以1GHz（1納秒時鐘）運行，與之相連的DRAM有100納秒的延遲（沒有高速緩存）。假設處理器有兩個multiply-add部件，在每1納秒的周期內能

3、執行4條指令。處理器的峰值是4GFLOPS。由于內存延遲是100個周期，并且塊大小為一個字（word），每次處理內存訪問請求時，處理器必須要等待100個周期，才能夠獲得數據。第4頁，共16頁，2022年，5月20日，7點44分，星期一內存延遲示例在以上平臺上，考慮計算兩個向量點積的問題。計算點積對每對向量元素進行一次乘法-加法運算，即每一次浮點運算需要取一次數據。此計算的峰值速度的限制是，每100納秒才能夠進行一次浮點計算，速度為10MFLOPS，只是處理器峰值速度的每小一部分。第5頁，共16頁，2022年，5月20日，7點44分，星期一使用高速緩存改善延遲 高速緩存是處理器與DRAM之間的更

4、小但更快的內存單元。這種內存是低延遲高帶寬的存儲器。如果某塊數據被重復使用，高速緩存就能減少內存系統的有效延遲由高速緩存提供的數據份額稱為高速緩存命中率(hit ratio )高速緩存命中率嚴重影響內存受限程序的性能。第6頁，共16頁，2022年，5月20日，7點44分，星期一高速緩存第7頁，共16頁，2022年，5月20日，7點44分，星期一緩存效果示例 繼續考慮前一示例。在其中加入一個大小為32KB，延遲時間為1納秒(或1個周期)的高速緩存。使用此系統來計算矩陣乘法，兩個矩陣A和B的維數為32 32。之所以選擇這個大小，是為了能夠將A、B兩個矩陣以及結果矩陣都放入高速緩存中。第8頁，共16

5、頁，2022年，5月20日，7點44分，星期一緩存效果示例結果如下將兩個矩陣取到高速緩存中等同于取2K個字，需要大約200 s。兩個n n 的矩陣乘需要2n3 步計算。在本例中，需要64K步計算，如果每個周期執行4條指令，則需要16K個周期，即 16 s。總計算時間大約是加載存儲時間以及計算時間之和，即200 + 16 s。峰值計算速度為64K/216 =303 MFLOPS。第9頁，共16頁，2022年，5月20日，7點44分，星期一緩存的效果對相同數據項的重復引用相當于“時間本地性(temporal locality)”對于高速緩存的性能來說，數據的重復使用至關重要。第10頁，共16頁，2

6、022年，5月20日，7點44分，星期一內存帶寬的影響內存帶寬由內存總線的帶寬和內存部件決定。 可以通過增加內存塊的大小來提高帶寬。底層系統在 L時間單位內(L為系統的延遲)存取B單位的數據(B為塊大小)第11頁，共16頁，2022年，5月20日，7點44分，星期一內存帶寬的影響示例繼續上一示例，將塊大小由1個字改為4個字。同樣考慮點積計算：假定向量數據在內存中線性排列，則在200個周期內能夠執行8FLOPs(4次乘法-加法)這是因為每一次內存訪問取出向量中4個連續的字因此，兩次連續訪問能夠取出每個向量中的4個元素。這就相當于每25ns執行一次FLOP，即峰值速度為40MFLOPS。第12頁，

7、共16頁，2022年，5月20日，7點44分，星期一內存帶寬的影響需要注意的是，增加塊的大小，并不能改變系統的延遲。物理上講，本例中的情形可以認為是與多個存儲區相連接的寬的數據總線(4個字，或者128位) 實際上，構建這樣的寬總線的代價是昂貴的。在更切實可行的系統中，得到第一個字后，連續的字在緊接著的總線周期里被送到內存總線。第13頁，共16頁，2022年，5月20日，7點44分，星期一內存帶寬的影響示例以上示例清楚地說明了增加帶寬對于提高峰值計算速度的影響。對數據布局的假設是，連續的數據字被連續的指令所使用(空間本地性，spatial locality ) 如果以數據布局為中心，那么計算的步驟應該確保連接的計算使用連接的數據第14頁，共16頁，2022年，5月20日，7點44分，星期一小結 以上示例說闡述了如下概念：利用應用程序的空間本地性與時間本地性對于減少內存延遲及提高有效內存帶寬非常重要。計算次數與內存訪問次數的比是一個很好的預測內存帶寬的承受程序的指標。內存的布局以及合理組織計算次序能對空間本地性和