1、 DOCPROPERTY Product&Project Name DOCPROPERTY DocumentName 華為FusionCube虛擬化一體機 技術白皮書華為專有和保密信息 版權所有 華為技術有限公司文檔版本 DOCPROPERTY DocumentVersion V1.1 ( DOCPROPERTY ReleaseDate 2013-05-08)FusionCube數據庫超融合平臺技術白皮書 STYLEREF Contents 目 錄 DOCPROPERTY Product&Project Name DOCPROPERTY DocumentName 華為FusionCube虛擬化

2、一體機 技術白皮書目 錄 TOC h z t 標題 1,1,標題 2,2,標題 3,3,標題 7,1,標題 8,2,標題 9,3,Heading1 No Number,1 HYPERLINK l _Toc508737538 2.1 系統架構 錯誤！文檔中沒有指定樣式的文字。 STYLEREF 7 錯誤！文檔中沒有指定樣式的文字。 DOCPROPERTY Product&Project Name DOCPROPERTY DocumentName 華為FusionCube虛擬化一體機 技術白皮書FusionCube數據庫超融合基礎設施系統架構如下是FusionCube數據庫超融合基礎設施的總體架構

3、圖：華為FusionCube數據庫基礎設施是華為公司IT產品線的旗艦產品。FusionCube遵循開放架構標準，于12U機框中融合刀片服務器、分布式存儲及網絡交換機為一體，無需外置存儲、交換機等設備，并集成了分布式存儲引擎和管理軟件，資源可線性擴展、平滑擴容。FusionCube Center：負責FusionCube的資源管理及操作維護等綜合管理功能，提供Web方式的統一維護界面；整個系統的業務集中呈現，提供用戶管理、統一硬件監控、告警，存儲資源配置等功能。FusionStorage：使用分布式云存儲技術，將多個刀片服務器的本地硬盤虛擬成共享存儲池，Scale-Out架構水平擴展，提供高性能

4、高可靠的塊存儲業務。硬件平臺：使用E9000硬件平臺，支持計算、存儲、交換、電源模塊化設計，都在E9000框內部署完成，計算和存儲節點按需混配，支持SAS硬盤和PCIe SSD卡，支持10GE和InfiniBand交換網絡。 華為FusionCube基于華為自研的硬件平臺，自研的分布式存儲軟件，并進行了深度的集成和優化，具有如下特點：高性能硬件平臺：提供高密度計算節點與框內高速交換板，12U支持32CPU/8T內存計算能力，背板交換能力達15.6Tbps，單框出口帶寬可達160Gbps。高速InfiniBand網絡：計算和存儲節點之間可通過56 Gbps 高速InfiniBand網絡交互，保證

5、了數據庫節點之間的高速Cache同步和存儲面網絡的高速IO訪問。高性能SSD存儲：存儲節點支持使用SSD卡替代傳統的機械硬盤做為存儲設備，獲得比硬盤高30倍以上的IOPS能力。分布式存儲：華為自研FusionStorage分布式存儲軟件，Scale-Out架構水平擴展，采用NVDIMM或SSD Cache加速，消除系統磁盤IO瓶頸。高可靠計算可靠性：數據庫應用組成集群，單個計算節點故障不影響業務的正常使用。存儲可靠性：數據支持兩副本或三副本，任意節點故障都不影響系統中存儲數據的訪問。節點或存儲磁盤故障后后系統會進行數據重構，恢復成多副本，1T數據重構時間30分鐘。強一致性協議，確保副本數據完全

6、相同，支持數據掉電保護。網絡可靠性：10GE網絡和IB網絡均采用雙平面冗余架構。統一管理計算、存儲、網絡資源統一管理，單一用戶界面。自動監控IT資源和系統運行狀態，告警統一呈現，支持告警轉Email。支持計算和存儲節點按需擴容，支持擴盤，擴刀片，擴框。統一管理FusionCube數據庫基礎設施的統一運維管理系統是通過FusionCube Center實現。FusionCube Center提供硬件管理、用戶管理等功能。作為數據庫基礎設施的統一Portal，完成全系統各種資源的生命周期維護。FusionCube Center提供了如下主要功能：統一資源管理：通過將不同系統的資源對象采集到一起，建

7、立統一的資源管理模型對使用者提供統一的、一體化的資源管理體驗，包括各種資源的監控和告警。告警統一監控：有別于傳統的參考架構，服務器，存儲，交換機的告警是各自廠家的監控系統分別呈現，FusionCube統一監控所有部件的狀態和告警，簡化運維，并且告警支持轉郵件。基于角色的訪問控制：基于角色的訪問控制（RBAC）是實施面向企業安全策略的一種有效的訪問控制方式。其基本思想是，對系統操作的各種權限不是直接授予具體的用戶，而是在用戶集合與權限集合之間建立一個角色集合。每一種角色對應一組相應的權限。一旦用戶被分配了適當的角色后，該用戶就擁有此角色的所有操作權限。這樣做的好處是，不必在每次創建用戶時都進行分

8、配權限的操作，只要分配用戶相應的角色即可，而且角色的權限變更比用戶的權限變更要少得多，這樣將簡化用戶的權限管理，減少系統的開銷。硬件自動發現與擴容：系統會自動發現一體機內部的所有硬件并掃描硬件的規格信息。用戶可以在創建資源池的時候直接選擇系統發現的硬件，系統自動完成這些硬件的軟件安裝、網絡配置并將硬件加入資源池。系統擴容的時候也可以自動發現新加入的硬件，并且用戶將硬件加入資源池的時候自動化完成所有的配置工作。深度融合以下示例說明了FusionCube數據庫基礎設施的融合硬件形態：華為FusionCube數據庫基礎設施采用業界一流的模塊化設計的組件，提供多種產品規模的組合，并提供單一廠家服務，滿

9、足各種業務范圍的需求。華為FusionCube使用的計算/存儲/網絡都是華為自身的設備，使用計算，存儲，網絡垂直整合的融合架構硬件平臺，高帶寬低時延多協議交換能力，NoSAN，內置分布式存儲軟件，提升應用性能。華為FusionCube實現軟硬件深度的整合，是真正的一體化的數據庫基礎設施。彈性擴容FusionCubes數據庫基礎設施可按全網容量設計一次性方案規劃，在局點交付上線后可根據業務需要實現彈性擴容、按需擴容，不影響已有業務的連續性。當服務器資源不足時，可增加集群內計算刀片。當存儲資源不足時，可以增加計算存儲刀片或單獨增加存儲硬盤。當一框資源不夠時，簡單疊加機框和布線即可。FusionCu

10、be集群的擴展是線性擴展，在線擴容，各個集群計算、存儲資源獨立，運維管理仍然通過同一套管理系統來實現。預集成華為FusionCube依托華為高效的端對端交付能力，能從用戶報價開始，根據用戶業務需求，直接交付給用戶預集成的產品，極大地簡化了用戶的安裝、調測時間，從幾周甚至數月的調測時間縮減到幾天之內。預集成包括的內容：硬件預安裝：設備上柜、線纜預綁 帶柜運輸：立柜運輸 自動化配置部署：上電硬件自動發現，快速初始化，存儲集群自動創建以及自動配置基礎網絡等。分布式存儲軟件高性能是企業級存儲系統需要滿足的關鍵需求。但是，在最近幾年，持續為所有的應用長期提供高性能支持變成了尤其艱巨的挑戰。這是因為屢經證

11、實，傳統的存儲系統架構無法通過成功擴展性能來跟上前所未有的存儲數據增長步伐。另外高端存儲作為獨立網元，不但需要專門管理和維護，而且價格昂貴，讓一般企業望而卻步。分布式存儲FusionStorage作為一種與計算融合的存儲軟件，通過在FusionCube上部署該軟件，可以將所有服務器或刀片的本機磁盤組織成一個虛擬存儲資源池，在某些使用場景下完全替換外置SAN。FusionStorage使計算和存儲高度融合，達到高性能、高可靠、高性價比。領先的分布式架構：FusionStorage存儲軟件的創新設計采用全分布式的架構：分布式管理集群，分布式哈希數據路由算法，分布式無狀態機頭、分布式智能Cache等

12、，這種架構使得整個存儲系統沒有單點故障。 高性能和高可靠性：FusionStorage存儲軟件在所有磁盤中實現負載的均衡，數據打散存放，不會出現熱點，高效的路由算法和分布式Cache技術（可以將服務器內存用作讀寫Cache）保證了高性能。FusionStorage支持多個數據副本，每個副本分配在不同服務器/不同磁盤上，單個硬件設備的故障不影響業務，3副本情況下數據可用性達到11個9。同時FusionStorage的強一致性復制協議確保各個數據副本的一致性，一個副本寫入，多個副本讀取，寫數據采用掉電保護Cache。并行快速故障重建：數據分片在資源池內打散，硬盤故障后，可在全資源池范圍內自動并行重

13、建，1TB數據重建 30分鐘，CPU占用率小于10。易擴展和超大容量：FusionStorage的分布式無狀態機頭可橫向擴展，存儲與計算同步平滑擴容，支持非煙囪式超大容量擴展。計算存儲深度融合：FusionStorage存儲軟件部署在掛載本地硬盤的服務器上，把各服務器的本地硬盤組織成一個虛擬的資源池，替代外置的存儲設備，天然支持計算和存儲設備的高度融合，節省外置存儲的購置成本并且統一維護。分布式機頭FusionStorage采用無狀態的分布式軟件機頭，機頭程序部署在各個服務器上，無集中式機頭的性能瓶頸。單個服務器上軟件機頭只占用較少的CPU資源，提供比集中式機頭更高的IO處理能力，當擴充存儲刀

14、片資源時，機頭隨之也擴充，徹底消除IO瓶頸。分布式緩存FusionStorage實現了計算和存儲的融合，緩存和帶寬都均勻分布到各個服務器節點上。FusionStorage集群內各服務器節點的硬盤使用獨立的I/O帶寬，不存在獨立存儲系統中大量磁盤共享計算設備和存儲設備之間有限帶寬的問題。FusionStorage將服務器部分內存用作讀緩存，NVDIMM或SSD用作寫緩存，數據緩存均勻分布到各個節點上，所有服務器的緩存總容量遠大于采用外置獨立存儲的方案。即使采用大容量低成本的機械硬盤，FusionStorage仍然可以發揮很高的IO性能，整體性能提升13倍，同時提供更大的有效容量。與外置SAN存儲

15、基本性能對比如下：帶寬和時延 計算存儲融合 外置存儲體系 帶寬：（Disk Cache/FlashApp） 每盤100MB(本地化帶寬吞吐量) 每盤20MB (后端SAS 6GB，80%利用率) IO時延 本地數據：本機訪問 本端數據：1次TCP/IP交換遠端數據：1次TCP/IP交換遠端數據：1次TCP/IP交換；1次PCIE交換（多控制器情況下）大容量分布式Cache 每盤250M Cache，隨刀片擴展所有盤共用 Cache 精簡配置FusionStorage提供了精簡配置機制，為用戶提供比實際物理存儲更多的虛擬存儲資源，當在多用戶數據中心場景使用時該特性可以節省更多的初始存儲投資，因為

16、用戶開始并不會完全占滿所分配的存儲空間。相比直接分配物理存儲資源，可以顯著提高存儲空間利用率。采用分布式Hash技術，天然支持分布式自動精簡配置(Thin Provisioning)， 且無任何性能下降（IPSAN擴展空間時需要耗費額外的性能）。精簡配置如圖示意，虛線框代表卷還未被分配的空間。高性能SSD存儲用戶和應用的幾何級增長，處理器與存儲性能的極度不平衡發展，導致I/O失衡現象越發明顯，只有加速數據讀寫性能才能維持業務穩定運行，提升用戶體驗效果。特別是在數據倉庫應用中，海量數據分析的應用對存儲吞吐量提出了極高的要求。PCIe SSD直接與CPU通信，縮短存儲訪問路徑，結合Flash高速的

17、讀寫性能，極大的提升存儲性能，解決存儲IO瓶頸。華為FuisonCube支持為高性能應用設計的分布式SSD存儲系統，擁有比傳統的機械硬盤（SATA/SAS）更高的讀寫性能。華為SSD卡的性能特點如下：Device-based架構：減小對主機資源的消耗，降低對主機的依賴。多級多通道并發處理技術：最大限度的發揮Flash顆粒性能，提供高帶寬。智能的自適應回收算法：有效地減小性能波動，使產品更適合于數據庫等業務應用。可調節超供因子架構：用戶可以靈活設置設備的可見容量，增加冗余空間來提高小數據塊隨機寫性能，以滿足不同的應用場景。異步命令隊列技術：可同時處理256條讀寫命令，提高Flash操作的并發性，

18、提供高IOPS。DMA地址散聚技術：提高單次讀寫請求的數據量，從而獲得高IO帶寬。原生PCIe接口：提供更大的帶寬，有效降低IO延時。華為SSD卡的可靠性特點如下：增強的ECC糾錯算法：提供比Flash顆粒要求更高的糾錯能力，為設備的可靠性帶來有效的保證。內置類RAID5算法：基于通道進行糾錯，在單通道發生錯誤后，可以恢復數據。專利的Flexible RAID算法：能在發生通道失效后，將恢復后的數據繼續進行RAID保護。智能磨損平衡技術：智能均衡Flash顆粒磨損壓力，有效延長設備的使用壽命。高級Flash訪問技術：組合應用Flash顆粒的Read retry和Adaptive read技術，

19、有效保證數據的有效性。數據巡檢技術：周期性的巡檢數據，提前預防錯誤的發生。支持掉電保護：當服務器異常下電時，確保SSD 卡內的數據不丟失。高速IB交換網絡FusionCube采用業界先進基于RDMA技術的InfiniBand網絡，提高了數據庫的吞吐量和響應速度，提升了客戶的用戶性能體驗。在數據庫一體機采用InfiniBand組網，用于存儲節點和數據庫節點（計算節點）間通信，同時實現雙鏈路的可靠性冗余。FusionCube采用的高速InfiniBand網絡具有以下特點：56Gbps FDR InfiniBand，超高速互聯標準成熟多級胖樹組網，平滑容量擴容近似無阻塞通信網絡，數據交換無瓶頸微妙級

20、通信時延，計算存儲信息及時傳遞無損網絡QOS，數據傳送無丟失主備端口多路徑通信，冗余通信無憂可靠網絡設計服務器邏輯上分為三個平面：業務平面、存儲平面和管理平面，且三個平面之間是隔離的，保證最終用戶不能破壞基礎平臺。存儲平面：服務器上存儲間通過存儲網絡二層直接互通。存儲設備為數據庫應用提供存儲資源。業務平面：為用戶提供業務通道，為數據庫物理計算刀片的通信平面，對外提供業務應用連接，可針對不同業務網段細分VLAN進行訪問隔離。管理平面：負責整個系統的管理、業務部署、系統加載等的通信。FusionCube數據庫基礎設施業務平面和管理平面采用10GE以太網進行組網。而存儲面采用56Gb InfiniB

21、and網絡進行通信。每個平面實現雙鏈路的可靠性冗余，保證系統可靠性。計算存儲網絡融合硬件E9000機框E9000刀片服務器（以下簡稱：E9000）是華為公司研發的一款刀片服務器產品，提供12U空間，可安裝華為E9000系列計算節點、存儲節點以及相應的資源擴展節點。E9000的主要特性與功能如下所示。可橫插8個全寬計算節點或者16個半寬計算節點，支持槽位拆分。可安裝6個電源模塊，支持N+N冗余，支持熱插拔。可安裝14個風扇模塊，支持N+1冗余，支持熱插拔。4個（2對）交換槽位，支持Eth/FC/FCoE/IB等多種交換協議類型，支持直出I/O接口。機箱中配置兩個管理模塊，以主、備方式運行，并支持

22、主備倒換和熱插拔，主要用于對機箱內設備的管理。在機箱前面板的下方配置一塊液晶顯示屏，主要用于對機箱基本信息進行設置，和機箱部件的運行狀態的監控。E9000機框外觀如圖所示：E9000刀片FusionCube數據庫一體機主要使用如下類型的刀片：CH121 V3 2S計算刀片、CH220 V3 2S IO擴展存儲刀片、CH222 V3 2S存儲刀片、CH242 V3 4S計算刀片。其它類型的刀片不在本文列舉。CH121 V3刀片外觀：CH121 V3為半寬的2S計算刀片，可用做MCNA(管理節點)和DBN(數據庫計算節點)，規格如下表：形態 半寬單槽2P刀片服務器 處理器 1/2 個Intel X

23、eon E5-2600 v3處理器 內存插槽 24個DDR4 DIMM插槽，最大內存容量1.5TB 硬盤數量 2個2.5英寸SAS或SATA硬盤，支持2 x PCIe SSD盤 RAID支持 支持RAID0、1內置Flash 支持2 x Micro SD / 2 x SATA DOM / 1 x U-disk(USB 3.0) PCIe擴展 支持擴展2個PCIe x16 MEZZ扣卡 支持擴展1個PCIe x16全高半長的標準卡操作系統支持 Microsoft Windows Sever 2008/2012Red Hat Enterprise LinuxSUSE Linux Enterpris

24、e ServerCitrix XenServer VMware ESX 工作溫度 5-40 尺寸（WDH） 210mm537.2mm60.46mm CH220 V3 IO擴展存儲刀片外觀：CH220 V3為全寬2S的IP擴展性刀片，最大可配置6張SSD卡，一般作為高性能數據庫場景存儲節點使用。規格如下表：形態 全寬單槽2P刀片服務器 處理器 1/2 個Intel Xeon E5-2600 v3處理器 內存插槽 16個DDR4 DIMM插槽，最大內存容量1TB 硬盤數量 2個2.5英寸SAS或SATA硬盤，支持2 x PCIe SSD硬盤 RAID支持 支持RAID0、1內置Flash 支持2

25、x Micro SD / 2 x SATA DOM / 1 x U-disk(USB 3.0)PCIe擴展 支持擴展4個MEZZ扣卡（x16和x8各2個）支持擴展6個PCIe3.0 x16標準卡，可以支持 3種組合模式：6個FHHL單槽位 /1個FHFL雙槽位+4個FHHL單槽位 /2個FHFL雙槽位 操作系統支持 Microsoft Windows Sever 2008/2012Red Hat Enterprise LinuxSUSE Linux Enterprise ServerCitrix XenServer VMware ESX 工作溫度 5-40 尺寸（WDH） 423mm537.2

26、mm60.46mmCH222 V3刀片外觀：CH222 V3為全寬2S存儲刀片，最大可配置15個2.5” SAS盤，一般用于較大容量數據庫場景的存儲節點，規格如下表：形態 全寬單槽2P刀片服務器 處理器 1/2 個Intel Xeon E5-2600 v3處理器 內存插槽 24個DDR4 DIMM插槽，最大內存容量1.5TB 硬盤數量 15個2.5英寸SSD、SAS或SATA硬盤 RAID支持 支持RAID 0、1、10、5、50、6、60, 512MB/1GB RAID Cache LSI Raid 2208,2308,3008等 內置Flash 支持2 x Micro SD / 2 x S

27、ATA DOM / 1 x U-disk(USB 3.0)PCIe擴展 支持擴展2個MEZZ扣卡(PCIe x16) 支持擴展1個PCIe x16 FHHL標準卡 操作系統支持 Microsoft Windows Sever 2008/2012Red Hat Enterprise LinuxSUSE Linux Enterprise ServerCitrix XenServer VMware ESX 工作溫度 5-40 尺寸（WDH） 423mm537.2mm60.46mmCH242 V3刀片外觀：CH242 V3為全寬4S計算刀片，一般用作高計算能力需求或HANA數據庫的計算節點，規格如下表

28、：形態 全寬單槽4S刀片服務器 處理器 2/4 個 Intel Xeon E7 v2/E7 v3全系列處理器，最大支持18核，165W內存插槽 配置E7 V2 處理器時，支持32個DDR3 DIMM插槽，最大帶寬1600MHZ配置E7 V3 處理器時，支持32個DDR4 DIMM插槽，最大帶寬1866MHZ硬盤數量 支持8個SSD、SAS或SATA硬盤 RAID支持 支持RAID 0/1/10/5/50/6/60, 512MB/1GB RAID Cache 內置Flash 支持2 x Micro SD / 1 x U-disk(USB 3.0)PCIe擴展 支持擴展4個PCIe x16 MEZ

29、Z扣卡 支持擴展2個PCIe x16FHHL標準卡 操作系統支持 Microsoft Windows Sever 2008/2012Red Hat Enterprise Linex SUSE Linux Enterprise ServerCitrix XenServer VMware ESX 工作溫度 5-40 尺寸（WDH） 423mm x 537.2mm x 60.46mm10GE交換FusionCube對外業務平面和管理平面采用CX310交換機，支持10GE網絡，每框配置2個交換機，其支持的規格指標如下表所示：項目說明外觀面板接口數量提供1個BMC串口和1個SYS串口。提供16個上行10

30、GE以太網光口。交換容量1.28 Tbit/s包轉發率960Mpps 數據中心關鍵特性支持TRILL支持FCoE支持DCBX、PFC、ETSVLAN支持Access、Trunk、Hybrid方式支持default VLAN支持QinQ、增強型靈活QinQ支持MUX VLANQoS支持基于Layer2協議、Layer3協議、Layer4協議、802.1p優先級等的組合流分類支持ACL、CAR、Remark、Schedule等動作支持PQ、WRR、DRR、PQ+WRR、PQ+DRR等隊列調度方式支持WRED、尾丟棄等擁塞避免機制支持流量整形安全和管理命令行分級保護，未授權用戶無法侵入支持防止DOS

31、、ARP攻擊功能、ICMP防攻擊支持端口隔離、端口安全、Sticky MAC支持IP、MAC、端口、VLAN的組合綁定支持AAA、Radius、HWTACACS等多種認證方式支持RMONInfiniBand交換FusionCube數據面采用CX611 InfiniBand交換機，支持56Gb高速交換，每框配置2個交換機，其支持的規格指標如下表所示：項目說明外觀面板接口數量提供1個BMC串口和1個SYS串口上行18個QDR/FDR InfiniBand QSFP+接口數據中心關鍵特性支持TRILLFusionCube數據庫基礎設施配置華為FusionCube數據庫一體機提供靈活的配置方案，以滿足

32、企業中小型數據中心到大型數據中心的業務負載及存儲需求。數據庫軟件方面，支持OracleRAC/SybaseIQ/DB2/HANA/GBase等數據庫，其中OracleRAC和HANA數據庫已經有較為成熟的應用。FusionCube數據庫基礎設施涉及如下幾種節點類型的配置。這些節點的配置可根據實際項目需求進行配置，也可直接使用華為的推薦配置（請參見配置規格指標的說明）。節點類型說明管理節點采用CH121 V3或CH222 V3刀片，其上部署FusionCube Center和FusionStorage Manager。DB節點1采用CH121 V3刀片，其上部署數據庫軟件和FusionStora

33、ge機頭。DB節點2采用CH242 V3刀片，其上部署數據庫軟件和FusionStorage機頭存儲節點-類型1采用CH220 V3刀片，每塊刀片上可以安裝4塊或者6塊3.2 TB的SSD卡。存儲刀片一起組成存儲資源池。這種類型的存儲刀片適合高性能場景。存儲節點-類型2采用CH222 V3刀片，每塊刀片上可以安裝12塊900 GB或1.2T的SAS盤，以及選配一塊SSD卡做Cache。存儲刀片一起組成存儲資源池。這種類型的存儲刀片適合大容量場景。數據庫基礎設施配置規格指標參數典型配置規格定制化配置規格數據庫Oracle RAC 11g R2（或Sybase IQ，DB2等FusionCube兼

34、容數據庫版本，軟件許可另購）Oracle RAC / DB2 / Sybase IQ / 達夢等（軟件許可另購）操作系統Oracle Linux 6.5, RHEL 6.6（軟件許可另購）Oracle Linux 6.5, RHEL 6.6（軟件許可另購）計算節點2節點CH121 V3( 2* E5-2699 V3, 16*16G, 2*600G SAS, 4*10 GE, 2*56G IB)2S刀片推薦配置如下：CH121 V3( 2* E5-2697 V3, 16*16G, 2*600G SAS, 4*10 GE, 2*56G IB) 或者CH121 V3( 2* E5-2699 V3,

35、16*16G, 2*600G SAS, 4*10 GE, 2*56G IB) 或者CH121 V3( 2* E5-2660 V3, 16*16G, 2*600G SAS, 4*10 GE, 2*56G IB) 4S刀片推薦配置如下：CH242 V3( 4* E7-4870 V2, 32*16G, 2*600G SAS, 4*10 GE, 4*56G IB) 或者CH242 V3( 4* E7-4830 V2, 32*16G, 2*600G SAS, 4*10 GE, 4*56G IB)除以上配置還可以根據項目實際需求靈活定制。存儲節點3節點CH220 V3( 2* E5-2630 V3, 8*

36、16G, 2*600G SAS, 6* 3.2T SSD，2*10 GE, 4*56G IB)SAS盤存儲節點推薦配置如下CH222 V3( 2* E5-2620 V3, 4*16G, 2*600G SAS, 12*900G SAS, 1.2T SSD, 2*10 GE, 2*56G IB) 或者CH222 V3( 2* E5-2620 V3, 4*16G, 2*600G SAS, 12*1.2T SAS, 3.2T SSD, 2*10 GE, 2*56G IB) 或者CH222 V3( 2* E5-2620 V3, 4*16G, 2*600G SAS, 12*1.8T SAS, 3.2T S

37、SD, 2*10 GE, 2*56G IB)SSD存儲節點推薦配置如下：CH220 V3( 2* E5-2630 V3, 8*16G, 2*600G SAS, 6* 3.2T SSD，2*10 GE, 4*56G IB) 或者CH220 V3( 2* E5-2630 V3, 8*16G, 2*600G SAS, 6* 3.2T SSD，2*10 GE, 4*56G IB)除以上配置還可以根據項目實際需求靈活定制。管理節點1節點CH121 V3（2* E5-2620 V3, 8*16G, 2*600G SAS, 2*10GE）12節點，節點的推薦配置如下：CH121 V3（2* E5-2620 V3, 8*16G, 2*600G SAS, 2*10GE）CH222 V3（2* E5-2620 V3, 8*16G, 2*600G SAS, 2*10GE）除以上配置還可以根據項目實際需求靈