1、黃 亞 玲 湯文兵老師 Cache性能分析及改進方法 1 2 3 4 關于Cache的基本知識 Cache的性能分析 Cache的性能改進方法 致謝 1Cache的基本知識 1 2 3 4 對Cache的認識 Cache的工作原理 Cache的地址映射方式 替換算法 什么是Cache？ Cache系統 Cache的作用 1 2 3 對Cache的認識 Cache又稱高速緩沖存儲器，位于CPU和內 存之間，是一種特殊的子存儲系統 Cache系統通常由一級高速緩存L1 Cache 和二級高速緩存L2 Cache組成。L1 Cache 通常分別用來存放數據和指令。 Cache的產生就是為了提高CPU

2、對存儲器 的訪問速度。 Cache的工作原理 u程序訪問的局部性：程序訪問的局部性： 對大量典型程序運行情況的分析結果表明，在一個 較短的時間間隔內，由程序產生的地址往往集中在存 儲器邏輯地址空間的很小范圍內。指令地址的分布本 來就是連續的，再加上循環程序段和子程序段要重復 執行多次。因此，對這些地址的訪問就自然地具有時 間上集中分布的傾向。 數據分布的這種集中傾向不如指令明顯，但對數 組的存儲和訪問以及工作單元的選擇都可以使存儲器 地址相對集中。這種對局部范圍的存儲器地址頻繁訪 問，而對此范圍以外的地址則訪問甚少的現象，就稱 為程序訪問的局部性。 CacheCache的工作原理的工作原理 C

3、ache的工作原 理是基于程序的訪 問局部性。在主存 和CPU通用寄存器 之間設置一個高速 的容量相對較小的 存儲器，把正在執 行的指令地址附近 的一部分指令或數 據從主存調入這個 存儲器，供CPU在 一段時間內使用。 Cache結構和工作原理圖結構和工作原理圖 Cache的地址映射方式 v 全相聯映射方式：全相聯映射方式：主存的任意一塊可以映射到Cache 中的任意一塊 優點：優點：命中率比較高， Cache存儲空間利用率高 缺點：缺點：訪問相關存儲器時， 每次都要與全部內容比較， 速度低，成本高，因而應 用少 Cache的地址映射方式 v 直接相聯映射方式：直接相聯映射方式：主存儲器中的一

4、塊只可以映射到 Cache特定的一個塊中 優點：優點：地址映射方式簡單， 數據訪問時只需檢查區號 是否相等，因而可以得到 比較快的訪問速度，硬件 設備簡單 缺點：缺點：替換操作頻繁，命 中率較低 Cache的地址映射方式 v 組相聯映射方式：組相聯映射方式：主存儲器中的每一塊可以被放置到 Cache唯一的一個組中的任何一個位置 優點：優點：塊的沖突概率比較 低，塊的利用率大幅提高， 塊失效率明顯降低 缺點：缺點：實現難度和造價要 比直接相聯映射方式高 替換算法替換算法 Cache可以采用的替換算法主要有以下幾種： l隨機替換（隨機替換（RAND）算法）算法 隨機確定替換的塊，方法簡單易于實現，

5、但命中率低 l先入先出（先入先出（FIFO）算法）算法 替換最先調入的塊，不符合局部性規律 l近期最少使用（近期最少使用（LRU）算法）算法 選擇替換最近最少使用的塊，命中率高，符合程序局 部性原理 Cache性能分析 1 2 CPU執行時間執行時間 平均訪問存儲器時間（平均訪問存儲器時間（AMAT） CPU執行時間 時鐘周期時間存儲器停頓周期數時鐘周期數執行時間)CPU(CPU 缺失代價缺失率 指令 存儲器訪問次數 指令數 缺失代價 指令 缺失次數 指令數 缺失代價缺失次數存儲器停頓周期數 例子 假定有一臺計算機，當所有存儲器訪問操作都能在 Cache中命中時，CPI為1.0；數據訪問只有l

6、oad和store 指令，這些指令占全部指令的50%；缺失代價為25個 時鐘周期，缺失率為2%。問當所有指令都在Cache中 命中時，計算機性能能提高多少？ Cache始終命中時的計算機性能為： 時鐘周期指令數 時鐘周期指令數 時鐘周期存儲器停頓周期數時鐘周期數執行時間理想 0 . 1 )0CPI( )CPU(CPU 例子 實際Cache的計算機性能為： 兩者的性能比為： 不發生Cache缺失時計算機性能是原來的1.75倍 75. 1 0 . 1 75. 1 CPU CPU 時鐘周期指令數 時鐘周期指令數 執行時間 執行時間 理想 實際 時鐘周期指令數 時鐘周期指令數指令數 時鐘周期存儲器停頓

7、周期數時鐘周期數執行時間實際 75. 1 )2502. 0)5 . 01 (CPI( )CPU(CPU 平均訪存時間 l設H為命中率，平均訪存時間（AMAT）可定義為： l在多級存儲系統中，平均訪存時間（AMAT）可定義為： ）缺失代價缺失率（命中時間缺失率命中時間 缺失代價缺失率命中時間 2L2L2L1L1L 1L1L1L AMAT 缺失代價缺失率命中時間 主存 T)H1 (THAMAT Cache Cache性能改進方法 通過對cache的性能分析，可知失效開銷，命中時間和失 效率是衡量cache的重要指標。 減少失效開銷減少失效開銷 減少命中時間減少命中時間 降低失效率降低失效率 減少失

8、效開銷 l使讀失效優于寫使讀失效優于寫 寫緩沖器導致對存儲器的訪問復雜化，而且寫緩沖器是 滯后的，所以推遲對讀失效的處理。 l寫緩沖合并寫緩沖合并 如果寫緩沖器中已經有了待寫入的數據，則進行地址匹 配，若存在匹配的地址并且緩沖器中位置空閑，就進行寫緩 沖合并。 l請求字處理技術請求字處理技術 盡早將請求字發送到CPU l非阻塞非阻塞cachecache技術技術 Cache失效時仍允許CPU對其進行其他命中訪問 l采用兩級采用兩級cachecache 第一級Cache（L1）小而快，第二級Cache（L2）容量大 減少命中時間 命中時間直接影響著處理器的時鐘頻率。目前的計算 機Cache的訪問時間限制了處理器的時鐘頻率。 l采用容量小，結構簡單的采用容量小，結構簡單的Cache 硬件越簡單，速度越快；便于與CPU放在一塊芯片上 l虛擬虛擬Cache 訪問Cache的索引以及Cache中的標識都使用虛擬地 址 lCache訪問流水化訪問流水化 對第一級Cache的訪問按流水方式訪問 lTraceCache 存放CPU所執行的動態指令 降低失效率 l強制性失效強制性失效：當第一次訪問一個塊時，該塊不在Cache 中，需從下一級存儲器中調入Cache。 方法：增加塊的大小，預取Cache l容量