1、華為 OceanStor 5300F, 5500F,5600F, 5800F, 6800F, 18000F V5全閃存存儲系統技術白皮書目錄 HYPERLINK l _bookmark0 閃存的演進及挑戰1 HYPERLINK l _bookmark1 SSD 的產生與優勢1 HYPERLINK l _bookmark2 SSD 的架構與現狀2 HYPERLINK l _bookmark3 當前 SSD 在企業級存儲陣列使用中存在的問題3 HYPERLINK l _bookmark4 針對 HDD 設計的存儲陣列軟件無法發揮 SSD 的性能優勢3 HYPERLINK l _bookmark7

2、針對 HDD 設計的存儲陣列軟件無法保證 SSD 的可靠性5 HYPERLINK l _bookmark8 1.4 華為對 SSD 在存儲產品中應用的構想6 HYPERLINK l _bookmark9 華為 OceanStor F V5 全閃存存儲系統7 HYPERLINK l _bookmark10 OceanStor F V5 全閃存存儲技術原理8 HYPERLINK l _bookmark11 華為在閃存領域的技術儲備8 HYPERLINK l _bookmark12 面對未來全閃存數據中心的存儲架構設計9 HYPERLINK l _bookmark13 華為 SSD9 HYPERLI

3、NK l _bookmark14 全新的 Smartmatix2.0 架構10 HYPERLINK l _bookmark15 SAS 3.0 后端全互連10 HYPERLINK l _bookmark16 緩存持續鏡像11 HYPERLINK l _bookmark17 4S 彈性擴展12 HYPERLINK l _bookmark18 華為針對 SSD 優化的 RAID2.0 技術13 HYPERLINK l _bookmark19 數據動態負載均衡14 HYPERLINK l _bookmark20 快速精簡重構，改善雙盤失效率15 HYPERLINK l _bookmark21 3.3

4、 深度優化的全閃存陣列15 HYPERLINK l _bookmark22 3.3.1 優化 IO 流程降低存儲陣列的處理時延15 HYPERLINK l _bookmark23 針對閃存架構的增值業務優化20 HYPERLINK l _bookmark24 服務質量分級（QoS）20 HYPERLINK l _bookmark25 虛擬機優化，提升華為全閃存存儲效率21 HYPERLINK l _bookmark26 OceanStor F V5 豐富的企業級特性23 HYPERLINK l _bookmark27 平滑的遷移到 OceanStor F V5 全閃存陣列24 HYPERLIN

5、K l _bookmark28 老存儲性能優化遷移（SmartMigration）24 HYPERLINK l _bookmark29 LUN 遷移24 HYPERLINK l _bookmark30 異構遷移26 HYPERLINK l _bookmark31 存儲異構虛擬化26 HYPERLINK l _bookmark32 從異構存儲在線遷移到華為 OceanStor F V5 全閃存存儲系統27 HYPERLINK l _bookmark33 縮略語表291 閃存的演進及挑戰1.1 SSD 的產生與優勢計算、網絡、存儲是現代 IT 系統的基本組成單元。看計算能力，摩爾定律規范著處理器性

6、能的上升節奏，每 18 個月性能翻倍。看網絡能力，網絡速度以 5 年為周期進行著10 倍速率（10M/100M/1G/10G/40G/100G）的技術更迭。看存儲能力，機械硬盤（HDD）的速度卻止步不前，企業級 SAS HDD 僅從 7200 rpm 增長到 15,000 rpm。計算、網絡、存儲三種基本資源的性能增速不均衡，造成需要通過大量的 HDD 以 RAID 組方式累加，以求得存儲性能相對于計算、網絡資源的匹配，進而造成了大量存儲容量的浪費、能源的消耗。固態盤（Solid State Drives），簡稱 SSD。由半導體晶體管（閃存顆粒）替代磁介質構成基本存儲單元，由電子讀寫操作替代

7、傳統硬盤的馬達驅動和機械臂尋道，極大降低了訪問的延遲，提高了單位時間內的 IO 訪問效率。尤其在隨機小 IO 的讀寫上，時延由 ms 量級下降至 100us 量級。下面兩個圖為不同層次存儲介質的訪問時延差別，以及HDD 與 SSD 的性能對比。L1L2L3 代表 CPU 內部緩存層級，DRAM 為內存。相較于HDD，SSD 的訪問時延至少降低兩個數量級。圖1-1 不同層級存儲介質訪問時延(volatile：易失介質 non-volatile：非易失介質)SSD 的架構與現狀固態盤（SSD）由控制單元和存儲單元（主要是 FLASH 閃存顆粒）組成，主機側接口與傳統硬盤一致。內部單元分為，主機接口

8、（host Interface）、控制器（Processor）、內存（RAM），閃存顆粒（Flash Package），如下圖所示：圖1-2 SSD 架構圖現狀：容量在幾百 GB 到幾個 TB，16TB 以上的大容量規格逐漸出現單盤 IOPS 在 100K 以上，高性能盤片可達 200K300K硬盤價格逐漸降低，$/GB 成本目前已經與 2.5 寸 15K SAS 持平當前 SSD 在企業級存儲陣列使用中存在的問題雖然 SSD 的引入、應用切實提升了傳統存儲陣列的性能，支持更高的 IOPS 和更低的時延，但是，大部分廠商支持 SSD 的融合存儲產品，依然是面向 HDD 而設計的系統， 只是將

9、SSD 作為一種高轉速的 HDD 進行使用，并未結合 SSD 本身的特性進行系統的重構與優化。由于系統面向 HDD 的軟件設計，SSD 的性能優勢無法最大限度發揮，SSD 的壽命也沒有得到有效的管理。設計和創造使用大量 SSD 的存儲系統，需要首先理解 SSD 和傳統 HDD 的不同點，以及這些不同點對存儲架構設計造成的沖擊。針對 HDD 設計的存儲陣列軟件無法發揮 SSD 的性能優勢SSD 100us 量級時延，使得存儲陣列系統處理時延的影響無形中放大IOPS、I/O 并發、I/O 時延之間的關系是：。一塊高性能企業級 SAS HDD，4KB I/O 隨機訪問時延約為 5ms。一塊 SAS

10、接口 SSD， 4KB I/O 隨機訪問時延約為 0.2ms。 HYPERLINK l _bookmark5 如圖 1-3 所示，假設將一塊 HDD 和一塊 SSD 分別接入兩臺相同配置的主機，然后這兩臺主機分別以單并發的壓力下發 I/O。圖1-3 HDD、SSD 直接與主機相連 HYPERLINK l _bookmark5 圖 1-3 左側為 HDD，其 IOPS 為 1 / 5ms = 200 IOPS。 HYPERLINK l _bookmark5 圖 1-3 右側為 SSD，其 IOPS 為 1 / 0.2ms = 5000 IOPS。現在，將 HYPERLINK l _bookmar

11、k5 圖 1-3 中的 HDD 和 SSD 分別插入兩臺相同配置的存儲陣列控制器，再通過陣列接入到服務器，如 HYPERLINK l _bookmark6 圖 1-4 所示。圖1-4 HDD、SSD 通過陣列與主機相連存儲陣列控制器會引入處理時延，一般而言，控制器引入的時延隨壓力的不同而變化， 在單并發這種小壓力情況下，引入的時延一般在 0.2ms 左右。此時，主機看到的 IOPS 會發生變化： HYPERLINK l _bookmark6 圖 1-4 左側的控制器加上 HDD，其 IOPS 為 1 / (0.2ms + 5ms) = 192 IOPS。 HYPERLINK l _bookma

12、rk6 圖 1-4 右側的控制器加上 SSD，其 IOPS 為 1 / (0.2ms + 0.2ms) = 2500 IOPS。通過上述計算可以看到，HDD 插入存儲陣列后，控制器引入的時延占總時延的比例很小，IOPS 性能幾乎無降低。而將 SSD 插入存儲陣列后，因為控制器引入的時延占總時延的比例較大，SSD 的性能僅發揮了一半。因此，將存儲陣列中的 HDD 簡單更換為 SSD，這樣所構建出來的存儲系統，不能充分發揮 SSD 的高性能優勢。SSD 高 IOPS 使得存儲陣列系統瓶頸點發生遷移對于傳統存儲陣列，HDD 是顯而易見的性能瓶頸，這也正是為什么通過增加 HDD 就可以增加整個陣列的

13、IOPS 和帶寬。傳統存儲陣列的系統軟件，都是圍繞著如何消除HDD 的性能瓶頸來設計和開發的。而對于 SSD 來說，單塊 SSD 的 IOPS 就已經達到數萬，一個常見的 25 盤位硬盤框的潛在最高 IOPS 就已經達到了一百萬以上。所以這時候存儲陣列的性能瓶頸，一般位于陣列控制器，包括 CPU 處理能力、系統帶寬能力、系統軟件的設計和算法等等。因此在軟硬件設計上就應該有所不同，否則無法充分發揮 SSD 的高性能優勢。基于 HDD 設計的 cache 算法不適用于 SSDHDD 的隨機訪問 IOPS 約為數百，折算成帶寬約為 1MB/s；順序訪問帶寬約為200MB/s。SSD 的隨機訪問 IO

14、PS 約為數萬，折算成帶寬約為幾十上百 MB/s；順序訪問帶寬約為 300MB/s。對于 HDD，隨機訪問和順序訪問，二者數據吞吐率差異超過 100 倍。對于 SSD，隨機訪問和順序訪問，二者數據吞吐率差異只有 24 倍。因為 HDD 的順序訪問和隨機訪問之間存在巨大的數據吞吐率差異，因此傳統存儲陣列中的各種各樣 cache 算法，都是圍繞如何盡量順序訪問 HDD 來設計的。而 SSD 的順序訪問和隨機訪問之間，數據吞吐率差異沒有那么大，情況發生了巨大的變化。適用于HDD 的 cache 淘汰算法，不一定適用于 SSD。針對 HDD 設計的存儲陣列軟件無法保證 SSD 的可靠性HDD 主要由磁

15、盤、磁頭、機械臂、馬達等機械部件和控制電路等電氣部件組成；而SSD 消除了機械部件，主要由控制器、閃存顆粒等電氣部件組成。閃存顆粒的數據寫入原理又決定了 SSD 的使用壽命與閃存顆粒的擦寫次數緊密相關。因此，HDD 和 SSD 在原理上的不同就決定了二者的故障模式也有很大區別。傳統的企業級存儲陣列軟件針對 HDD 的故障模式做了大量的可靠性設計，但是并未針對閃存顆粒的特征進行可靠性設計，缺少針對 SSD 壽命管理的設計。因此，針對 HDD 設計的存儲系統軟件無法保證 SSD 的可靠性。1.4 華為對 SSD 在存儲產品中應用的構想1、 繼承傳統企業存儲陣列的精華。傳統企業存儲陣列在功能、可靠性

16、、可維護性等方面，已經積累了多年的經驗，例如所有有源器件均冗余且可在線更換、具有豐富的數據保護軟件等，類似于這樣的特性，全部予以繼承。2、 充分考慮 SSD 與 HDD 的巨大性能差異。SSD 的性能高出 HDD 兩個數量級，這直接導致系統的瓶頸點發生了遷移，因此以前針對 HDD 的各種性能設計必須被重新審視。3、 充分考慮 SSD 使用壽命限制。針對 SSD 使用壽命特性進行設計和開發，有效管理使用壽命，延長使用時間，保證 SSD 在企業級存儲陣列中應用的可靠性。華為 OceanStor 5300F, 5500F, 5600F, 5800F, 6800F, 18000F V5全閃存存儲系統技

17、術白皮書2 華為 OceanStor F V5 全閃存存儲系統 華為 OceanStor F V5 全閃存存儲系統如何更好的在存儲陣列中使用 SSD 介質來面對新的挑戰，業界的主流產品大致分為混合陣列以及全閃存陣列。華為 OceanStor F V5 全閃存陣列在提供高性能的同時，還可以提供完備的數據保護以及業務連續性保障。基于華為存儲完整的解決方案能力，提供 6 個 9 的可靠性保障。1、 繼承傳統企業存儲陣列的精華。傳統企業存儲陣列在功能、可靠性、可維護性等方面，已經積累了多年的經驗，例如所有有源器件均冗余且可在線更換、具有豐富的數據保護軟件等，類似于這樣的特性，全部予以繼承。2、 充分考

18、慮 SSD 與 HDD 的巨大性能差異。SSD 的性能高出 HDD 兩個數量級，這直接導致系統的瓶頸點發生了遷移，因此以前針對 HDD 的各種性能設計必須被重新審視。3、 充分考慮 SSD 使用壽命限制。針對 SSD 使用壽命特性進行設計和開發，有效管理使用壽命，延長使用時間，保證 SSD 在企業級存儲陣列中應用的可靠性。從客戶角度出發，為滿足不同需要的應用場景，華為存儲將發展 SSD 在存儲系統中的應用提升到戰略地位，實現了企業級存儲的穩定可靠以及全閃存陣列的高性能表現。OceanStor F V5 系列全閃存存儲，從存儲的產品硬件設計、基本 IO 流程、增值特性軟件、SSD 盤片等多個維度

19、基于 SSD 自身特性進行了優化、重構工作，構建產品差異化， 并最大化 SSD 盤片與存儲操作系統 OceanStor OS 的深度融合，發揮出 SSD 的優勢，提供高性能、高可靠、豐富數據特性的全閃存存儲系統。 OceanStor F V5 全閃存存儲技術原理華為 OceanStor F V5 通過全局虛擬化技術 RAID 2.0+，將 SSD 和 OceanStor OS 存儲軟件完美融合，而且 OceanStor F V5 針對 SSD 硬盤進行了多維度的深度優化：達到穩定時延小于 1ms 的性能指標、對 SSD 的壽命進行了有效管理，同時集成傳統存儲功能豐富、經過市場檢驗的可靠性能力，

20、充分滿足用戶在性能、可靠性、成本和容量方面的需要。華為在閃存領域的技術儲備華為是業界唯一一家同時具備 SSD 和存儲系統研發能力的存儲廠商，掌握 SSD 控制器芯片的核心技術，具有自研 SSD 的自主知識產權，目前華為自研 SSD 已申請專利 150 件，已授權專利 130 多件。面對未來全閃存數據中心的存儲架構設計華為 SSDSSD 控制器作為盤片的核心部件，直接決定了盤片的性能、可靠性等關鍵參數。當前HSSD 使用華為自研的第二代控制器，該控制器是一款面向企業級應用，提供目前業界標準 PCIe3.04，SAS3.02 接口，該控制器具備高性能、低功耗特點，同時具備高附加值存儲業務特性。針對

21、介質磨損壽命下降的趨勢，通過增強 ECC/數字信號處理、內置 RAID 等技術延長 SSD 壽命，滿足企業級可靠性應用要求；該控制器支持最新的DDR4、SAS 12Gb 接口速率以及硬件加速 FTL 等技術，為企業級應用提供穩定、低時延的性能。華為自研 HSSD 采用以下手段提升 SSD 盤的整體壽命和數據可靠性：1、 更高的 ECC 處理能力：隨著 flash 顆粒制程從 2Xnm 向 1Xnm 演進，顆粒的擦寫帶來的錯誤比例逐漸增高，傳統業界普遍使用的 BCH 糾錯引擎開始變得不能滿足flash 的糾錯要求。為了保證一貫的數據可靠性，華為 SSD 內嵌了與企業級 SSD 控制器匹配的 LD

22、PC+DSP 算法引擎。該引擎融合硬判決、軟判決、DSP 等手段，同時和顆粒廠商深度合作，進行深度調優，使 flash 壽命提升最大 3 到 4 倍。2、 NAND Flash 的內部處理：通過實時監控 NAND Flash 的狀態，采用后臺巡檢、基于介質特性的壞頁管理、分類分級管理和 Die 失效冗余的方法來提高 SSD 的可靠性；3、 優化的 SSD 管理調度算法：通過優化的垃圾回收算法(GC)、磨損均衡算法(WearLeveling)、壞塊管理算法等，降低 SSD 的寫放大系數，直接減少或變相增加對SSD 的磨損次數；4、 系統級針對 SSD 的數據保護：通過電壓監控模塊以及備電電路保護

23、系統降低異常掉電時可能造成的數據丟失風險。全新的 Smartmatix2.0 架構華為 OceanStor F V5 全閃存存儲系統擁有 PCIE3.0 背板全互聯、后端 SAS3.0 技術和Intel 新一代 Skylake CPU 所帶來的高速通道和強勁的計算能力，靈活滿足客戶越來越高的性能需求。華為 OceanStor F V5 全閃存存儲系統的 6800F V5、18000F V5 每個存儲引擎包含 4 個控制器，4 控以內的系統配置，不再需要配置外置交換機和交換線纜，部署更簡單，可靠性更好。引擎中 4 個控制器直接通過機框背板的 PCIe 3.0 高速通道全互聯。SAS 3.0 后端

24、全互連華為 OceanStor 6800F V5, 18000F V5 全閃存存儲系統創新推出 SAS 3.0 后端全互連接口卡。該接口卡由引擎內 4 個控制器共享，與 4 個控制器都有高速 PCIe 連接。DCBASAS ExpanderSAS ExpanderSASControllerSASControllerSASControllerSASController通過后端全互連接口卡，引擎內控制器與硬盤/硬盤框可以實現全連接，引擎內任意兩個控制器故障，剩余控制器到硬盤/硬盤框的路徑仍然可。01234567891011圖 1SAS 3.0 后端全互連接口卡控制控制控制控制器A器B器C器DSAS

25、接口卡SAS接口卡控制控制控制控制器A器B器C器DSAS接口卡SAS接口卡由于每個控制器到每張 SAS 接口卡都有連接，任意接口卡或任意 13 個控制器故障， 剩余控制器仍然有到硬盤的連接。硬盤框硬盤框硬盤SAS接口卡SAS接口卡控制器D控制器C控制器B控制器A硬盤框硬盤框硬盤SAS接口卡SAS接口卡控制器D控制器C控制器B控制器A硬盤 硬盤框硬盤框硬盤 硬盤框硬盤框緩存持續鏡像圖 2 后端全互連示意圖為了達到更高性能，存儲系統都設計有數據緩存；為了保證在控制器故障時，保存在控制器緩存中的數據不丟失，數據緩存都會在控制器之間做鏡像。在傳統設計中，存儲系統中的兩個控制器相互鏡像，當其中一個控制器

26、故障時，另外一個控制器緩存中的數據將失去鏡像，為了保證故障時數據不丟失，另外一個控制器只能轉為透寫，從而導致性能急劇下降。在以高性能低時延為目標的全閃存存儲系統中，控制器故障帶來的性能沖擊是不可接受的，華為 OceanStor 6800F V5, 18000F V5 全閃存存儲系統推出的緩存持續鏡像技術（Persistent Cache），以創新的思路，徹底解決了這一問題。如圖所示，當 A 控故障，控制器 B 的 Cache 數據會選擇控制器 C 或者 D 做緩存鏡像， 當控制器 D 再故障，控制器 B 和 C 做緩存鏡像。當一個控制器故障時，其承載的業務快速切換到鏡像控制器，剩余的控制器重新

27、建立鏡像關系，確保所有的控制器的緩存仍然有鏡像。業務請求可以保持回寫而不是透寫， 保障了控制器故障后的性能，同時寫入 Cache 的數據有鏡像冗余保障了系統的可靠性。4S 彈性擴展基于 Smart Matrix 智能矩陣架構，OceanStor F V5 全閃存存儲系統能進行 4S 彈性擴展， 并大幅提升系統資源的利用效率。圖 5-1 4S 彈性擴展Scale-Up：通過增加內存、硬盤、業務端口，縱向擴展系統性能、容量和連接能力。Scale-Out：通過系統引擎的在線擴展，Smart Matrix 技術將相關資源耦合在一起， 按需增加存儲資源，實現了容量和性能的在線線性增長，滿足業務對容量和性

28、能的持續增長需求。控的擴展采用背板互聯（高端存儲）或直連組網（中端存儲）；超過 4 控的擴展，采用兩個冗余的數據交換機 DSW（Data Switch），在 DSW 中實現數據交換，此種 集群最大支持到 4 個引擎；由于交換鏈路采用雙鏈路設計，保證集群數據交換網絡的冗余性。Scale-Deep：通過整合異構存儲系統，將其納入 OceanStor F V5 全閃存存儲系統統一管理，消除信息孤島，保護客戶既有投資。Scale-In：智能卷根據業務需要，在不增加任何新存儲資源的前提下，通過系統內部自動均衡完成數據智能分布，提升整體資源利用率，實現自動擴展。當需要擴容存儲池，只需插入新的硬盤，系統會自

29、動的調整數據分布，讓數據均衡的分布到各個硬盤上；當需要擴容卷時，只需輸入想要擴容的卷大小，系統會自動從存儲池中劃分所需的空間，并自動調整卷的數據分布，使得卷數據更加均衡的分布到所有的硬盤上；華為針對 SSD 優化的 RAID2.0 技術RAID（Redundant Array of Independent Disk，獨立冗余硬盤陣列）技術誕生于 1987 年， 最初由美國加州大學的伯克利分校提出，其基本思想是把多個獨立的物理硬盤通過相關的算法組合成一個虛擬的邏輯硬盤，從而提供更大容量、更高性能，或更高的數據容錯功能。作為一種成熟、可靠的硬盤系統數據保護標準，RAID 技術自誕生以來一直作為存儲

30、系統的基礎技術而存在，但是近年來隨著數據存儲需求的快速增長，高性能應用的不斷涌現，傳統 RAID 逐漸暴露出越來越多的問題。在高性能存儲需求場景，大量 SSD 硬盤應用于存儲陣列，傳統 RAID 受限于硬盤數量， 在數據容量劇增的年代無法滿足企業對資源統一靈活調配的需求，同時，隨著硬盤容量的增大，以硬盤為單位對數據進行管理也顯得越來越力不從心。SSD 硬盤的容量也在逐步增大，以 3.84TB 的 SSD 硬盤來說，在傳統的 RAID5（8D+1P）中，其重構時間在 20 個小時左右。重構的進程會占用系統的資源，導致應用系統整體性能下降，當用戶為了保證應用的及時響應而限制重構的優先級時，重構的時

31、間還將進一步延長。此外，在漫長的數據重構過程中，繁重的讀寫操作可能引起RAID 組中其他硬盤也出現故障或錯誤，導致故障概率大幅提升，極大地增加數據丟失的風險。為了解決傳統 RAID 針對 SSD 的上述問題，同時順應虛擬化技術的發展趨勢，眾多存儲廠商紛紛提出了傳統 RAID 技術的替代方案。LUN 虛擬化：以 EMC 和 HDS 為代表的存儲廠商，在傳統 RAID 基礎之上將RAID 組進行更細粒度地切分，再將切分的單元進行組合，構建主機可訪問的空間。塊虛擬化：以華為和 HP 3PAR 為代表的存儲廠商，將存儲池中的硬盤劃分成一個個小粒度的數據塊，基于數據塊來構建 RAID 組，使得數據均勻地

32、分布到存儲池的所有硬盤上，然后以數據塊為單元來進行資源管理。圖 1-1 RAID 技術發展數據動態負載均衡傳統 RAID 存儲系統中一般會有多個 RAID 組，每個 RAID 組中包含幾塊到十幾塊硬盤。由于每個 RAID 組的業務繁忙程度不同，導致硬盤的工作壓力不均，部分硬盤存在熱點，根據 SNIA 的統計數據，熱點盤的故障率會明顯增高。如下圖所示，其中Duty-Cycle 即忙閑度，指的是硬盤工作時間占總上電時間的比例，AFR 為硬盤年故障率，不難看出，Duty-Cycle 高時的硬盤年故障率幾乎是低時的 1.52 倍。RAID2.0+技術通過塊虛擬化實現了數據在存儲池中硬盤上的自動均衡分布

33、，避免了硬盤的冷熱不均，從而降低了存儲系統整體的故障率。快速精簡重構，改善雙盤失效率縱觀近幾年 SSD 硬盤的發展，其容量的增長遠遠快于性能的進步，現在 15TB 的大容量 SSD 硬盤在當前的企業市場已經非常普遍，而未來 32TB 大高容量 SSD 硬盤也將在未來應用到存儲系統。容量的增長使得傳統 RAID 不得不面臨一個嚴重的問題：10 年前重構一塊硬盤可能只需要幾十分鐘，而如今重構一塊硬盤需要十幾甚至幾十個小時。越來越長的重構時間使得企業的存儲系統在出現硬盤故障時長時間處于非容錯的降級狀態，存在極大的數據丟失風險，存儲系統在重構過程中由于業務和重構的雙重壓力導致數據丟失的案例也屢見不鮮。

34、基于底層塊級虛擬化的 RAID2.0+技術由于克服了傳統 RAID 重構的目標盤（熱備盤） 性能瓶頸，使得重構數據流的寫帶寬不再成為重構速度的瓶頸，從而大大提升了重構速度，降低了雙盤失效的概率，提升了存儲系統的可靠性。深度優化的全閃存陣列優化 IO 流程降低存儲陣列的處理時延IO 流程基于傳統 HDD 硬盤設計理念，主要是考慮 IO 的合并和順序度，盡量減少HDD 磁頭的移動。SSD 不存在磁頭移動的問題，關鍵要均衡發揮出各個部件的能力，SSD 盤高 IOPS 性能，使得存儲陣列的 CPU 處理能力成為性能瓶頸點。OceanStor F V5全閃存存儲采用多種技術來提升 CPU 的效率。1CP

35、U 智能分區算法：存儲陣列內 I/O 處理時延是由很多因素決定的，高效的調度框架可解決高速介質 I/O 優先調度執行問題，I/O 在執行過程中需要避免鎖沖突、CPU 核間干擾、硬中斷的干擾，確保每個 I/O 處理時延是固定的，從而保證系統對外提供穩定的 I/O 處理時延。華為OceanStor F V5 全閃存存儲的 CPU 智能分區算法能很好的解決這些問題，其實現原理如下：基于不同業務要求對 CPU 計算資源進行分區，隔離 OS、控制平面、計算平面、以及硬件中斷任務對業務 I/O 的干擾；基于業務 IO 的特征，再對 IO 處理分區的 CPU 進行分組，并能根據業務壓力在各CPU 分組間調度

36、，實現分組內 IO 免鎖處理；基于 CPU 核數對內存進行分核預留，確保每個 CPU 核都有自己的內存資源池， 并且提供一個公共的內存資源池確保單個 CPU 核內存資源耗盡的情況下，能夠申請到內存。2鏡像 I/O 動態聚合算法：華為 OceanStor F V5 全閃存存儲采用鏡像 I/O 動態聚合技術，保證穩定鏡像時延同時， 降低鏡像流程的 CPU 消耗，提升隨機寫 IOPS 性能。鏡像流程使用兩個對列：接收隊列和聚合下發隊列；在聚合時只對接收隊列中先到達的部分鏡像 I/O 進行排序聚合， 降低排序聚合過程對鏡像時延的影響，提升鏡像通道的利用率。3Cache 自適應算法：存儲陣列面臨種類繁多

37、的業務模型，例如常見的 OLTP 和 OLAP 的業務模型就完全不一致，如何確保陣列在不同業務模型下都保持優異的性能？華為 OceanStor F V5 全閃存存儲通過對 Cache 預取算法、淘汰算法進行深度優化，提供與前端業務匹配的預取、淘汰機制，確保陣列持續保持較高命中率，其實現原理如下：對 Cache 前端 I/O 進行業務模型識別，對 I/O 進行分流管理，對每一流 I/O 提供對應的預取策略，實現 I/O 的精確預取，提升 I/O 命中率；淘汰算法中引入訪問頻度，有助于保存熱點數據，同時能夠降低預取數據尚未被訪問就被淘汰的概率，進一步提升預取效率。4I/O 下盤技術：主機數據寫入華

38、為 OceanStor F V5 全閃存存儲拆分為兩個階段：第一步先寫入保電的Cache，第二步再將保電 Cache 的數據寫入到硬盤。寫入 Cache 的過程，華為 OceanStor F V5 全閃存存儲采用了事務方式（Transaction）的寫入技術。寫入 Cache 的主機離散數據，會通過事務做聚合，最終整合為一個邏輯大IO（從幾 MB 到上百 MB 不等，邏輯上稱之為一個事務）。后續刷盤時，事務內的數據可作為一個邏輯單位，進行集中刷盤，達到了合并離散數據塊的目的，減少寫入 SSD 時的寫放大。華為 OceanStor F V5 全閃存存儲采用了 ROW（Redirect On Wr

39、ite）刷盤技術。在將事 務內的數據下盤時，華為 OceanStor F V5 全閃存存儲會使用新的物理空間來保存更新的數據，而不是在原位置進行覆蓋更新。因此，在將事務內的數據下盤時，就可以分 配物理上連續的空間來保存數據。綜上，事務方式寫入 Cache，再加上 ROW 寫硬盤的策略，就可以有效地將主機的隨機數據，在下盤時變成連續 IO，降低 SSD 盤的寫放大。ROW 刷盤技術決定了在空間分配的時候，華為 OceanStor F V5 全閃存存儲可以靈活地根據硬盤情況，調整空間分配策略。除了前述將主機離散 IO 變成盤上的連續 IO 之外，ROW 策略還可以在 SSD 盤上數據分布不均的時候

40、，選擇進行“插空寫”，讓數據分布更均勻。5I/O 智能調度：對了降低主機 IO 時延，華為 OceanStor F V5 全閃存存儲的 I/O 智能調度系統對陣列內不同類型的 I/O 提供不同優先級的調度策略，對數據讀寫類的 IO 提供最高優先級，確保主機業務的低時延響應；對 Smart/Hyper 系列高級特性產生的 I/O 提供次優先級，確保特性性能滿足要求；硬盤重構、Pool 格式化、空間回收等后臺任務產生的 I/O 擁有最低優先級，保障數據讀寫 I/O 時延最低。針對閃存架構的增值業務優化服務質量分級（QoS）隨著各行業數字化進程的推進，數據逐漸成為企事業單位的運營核心，用戶對承載數據

41、的存儲系統的性能和穩定性要求也越來越高。雖然不少存儲廠商能夠向用戶提供性能越來越高的存儲設備，但由于存儲系統承載的業務種類越來越多，應用場景越來越復雜，如何滿足不同業務在存儲系統上的服務質量要求成為一個挑戰，存儲系統 QoS 技術作為一種通過智能調節存儲系統中各種資源在不同業務之間進行分配以滿足不同業務服務質量的技術便應運而生了。在大量使用 SSD 硬盤后，存儲陣列的資源瓶頸從硬盤本身遷移到了存儲陣列控制器的資源，比如 CPU 資源、內存資源、網絡并發資源等。華為 OceanStor F V5 全閃存存儲 SmartQoS 特性可以選擇從以下三個方面來保證數據業務的服務質量：IO 優先級調度技

42、術：通過區分不同業務的重要性來劃分業務響應的優先級。在存儲系統為不同業務分配系統資源的時候，優先保證高優先級業務的資源分配請求。在資源緊張的情況下，為高優先級的資源分配較多的資源，以此盡可能保證高優先級業務的服務質量。當前用戶可以配置的優先級分為高、中、低三個等級；IO 流量控制技術：基于傳統的令牌桶機制，針對用戶設置的性能控制目標（IOPS或者帶寬）進行流量限制，通過 IO 流控機制，限制某些業務由于流量過大而影響其它業務；IO 性能保證技術：基于流量扼制的方式，允許用戶為高優先級業務指定最低性能目標（最小 IOPS/帶寬或最大時延），當該業務的最低性能無法保障時，系統內部通過對其他低優先級

43、業務的 IO 逐級增加時延的方式來限制其流量，從而盡力保障該業務的最低性能目標。虛擬機優化，提升華為全閃存存儲效率隨著服務器虛擬化技術不斷的發展，越來越多的客戶在部署業務系統時紛紛選擇虛擬機替代原有的傳統服務器，此舉不僅大大降低了客戶前期投資成本，也為后續業務系統的整合，業務數據的遷移、備份等工作打下良好的基礎。而相比傳統服務器，虛擬機也有其不可忽視的缺點，即：虛擬機絕大部分的 I/O 操作均由軟件完成，這就要求系統必須投入大量的 CPU、內存及網絡帶寬資源用于處理 I/O 操作，隨著虛擬機的應用越來越廣泛，這一缺點日益突出。針對這一問題，VMware 提出硬件加速概念，通過特殊的 VAAI（

44、VMware vStorage APIs for ArrayIntegration）插件與陣列進行交互，將原本虛擬機完成的操作交付于已通過兼容性認證的硬盤陣列完成，以此來提高系統整體性能。主要完成以下功能：陣列與 VMware 聯動，完成清零功能：虛擬機最常見的操作是虛擬盤清零，這項工作占用了大量的 CPU 周期及 DMA 緩沖區，消耗了虛擬機的共享資源。華為OceanStor F V5 全閃存存儲與 VMware 聯動，將原本屬于虛擬機的塊清零操作轉移至硬盤陣列上，依賴于陣列強大的 CPU 性能，快速完成初始化工作。該功能可使硬盤陣列與 ESX Server 之間的 I/O 數量減少 10

45、倍以上，并加快虛擬盤初始化進程，進而提升業務系統的整體性能。陣列與 VMware 聯動，完成復制功能：遷移或克隆虛擬盤時，虛擬機會進行文件塊的大量拷貝；當克隆的文件達到幾個 G 時，復制的時間可能達到小時級別，將會大幅消耗應用服務器資源并長時間占用網絡帶寬，影響系統整體性能。OceanStor F V5 全閃存存儲與 VMware 聯動，將原來屬于虛擬機的文件塊復制操作轉移至硬盤陣列上，通過陣列的硬件系統來優化復制操作，將原本小時級的復制工作控制在秒級，同時減少 ESX 服務器的 CPU 負載，使虛擬機資源充分應用在應用服務器軟件層面。該功能可使硬盤陣列與 ESX Server 之間的 I/O

46、 數量減少10 倍以上，提升了 Storage vMotion 等操作的速度，同時也降低了虛擬機的部署難度。陣列與 VMware 聯動，完成共享鎖功能：集群環境下，為保證虛擬機數據的一致性，通常采用鎖機制來保證并發訪問時的資源占用問題。傳統的做法是在一個ESX Server 訪問 LUN 時，系統會將整個 LUN 鎖住，從而導致其他 ESX Server 的寫 I/O 被暫停，大大降低了寫性能；另外，系統鎖 LUN 的過程需要執行一系列的命令來獲取鎖和釋放鎖，整個過程也會增加 I/O 的延遲。全閃存存儲與 VMware聯動，將多虛擬機主機的寫鎖粒度由 LUN 級別縮減到塊級別，提高并行寫效率，

47、同時減少寫延遲，大幅提升單 LUN 可容納的虛擬機數量，進而提升業務系統的整體性能；陣列與 VMware 聯動，完成 Thin LUN 空間回收； OceanStor F V5 豐富的企業級特性當前業界的主流閃存陣列，主要分為企業級陣列優化以及聚焦于硬件架構革新的全閃存陣列，而全閃存陣列由于缺乏在企業市場的積累，大多無法提供完備的企業級高級特性支持。比如本地數據保護、跨數據中心的數據保護以及業務連續性保障。華為 OceanStor F V5 全閃存存儲既提供了高性能服務還提供全面的存儲企業級特性支持。不改變用戶的任何使用習慣，可以輕松實現從傳統陣列到全閃存陣列的轉化。為了防止災難發生、病毒入侵

48、，或者開發調測的需要，華為 OceanStor F V5 全閃存存儲系統提供了完備的 Hyper 和 Smart 系列數據保護軟件，以應對各種需求，為數據又增加一道可靠性防線，確保核心業務穩定在線。 平滑的遷移到 OceanStor F V5 全閃存陣列由于SSD介質價格不斷下降，全閃存存儲系統的使用也越來越多，如果將現有的如何將種類各異的存儲設備納入到統一管理？當使用全閃存存儲系統替換舊的存儲系統 時，如何在對業務影響最小的情況下，將業務數據完整安全地遷移到新存儲上來？在 新舊存儲替換以后，如何合理利用舊存儲，提升業務的可靠性？這些問題將是每個IT 系統管理員必須面對的難題，也是IT 系統管理員必備的功課。老存儲性能優化遷移（SmartMigration）LUN 遷移華為 LUN 遷移功能可以在不中斷原有業務的情況下實現將源 LUN 上的業務完整地遷移到目標 LUN 上，使目標 LUN 可以完全替代源 LUN 來承載業務，實現了業務無感知的情況