1、云環境下的分布式存儲技術內容1軟件定義存儲技術的發展2分布式存儲技術 VSAN 介紹 存儲形態的變化3服務器直連存儲25年之前服務器直連外部存儲5年以前現在服務器直連外部存儲云存儲變化的驅動力：變化的驅動力： 服務器閃存服務器閃存 多核多核CPU 虛擬化普及虛擬化普及 云經濟云經濟 數據增長數據增長IT 基礎架構邁向Server SAN和超融合架構Source: IDC Hyperconverged Systems 2015-2019 Forecast$.8B$1.6B$2.4B$3.2B$3.9B20152016201720182019全球超融合系統市場狀況全球超融合系統市場狀況Tradit

2、ional SAN/NAS CAGR1: - 17.8%1 Wikibon Server SAN Research Project 2014Enterprise Server SAN CAGR1: 44.2%60% CAGR 軟件定義的存儲 Server SAN 計算與存儲的融合5當今未來未來一切以計算為核心與CPU/Memory 捆綁低延時通過虛擬化層訪問虛擬化存儲閃存主宰性能以提供容量為核心白牌設備彈性，跨地域同時提供文件/對象訪問擴展到云CloudObject Storage什么是軟件定義存儲？軟件定義的存儲：是將工業標準服務器的存儲提供出來并通過軟件控制層面實現存儲的自動化和池化。它將

3、存儲的置備和管理的方法簡化到了極致，并利用工業標準服務器的存儲大大降低了成本。軟件定義的存儲產品：是一個將硬件抽象化的解決方案，它使你可以輕松地將所有資源池化并通過一個友好的用戶界面（UI）或API來提供給消費者。一個軟件定義的存儲的解決方案使得你可以在不增加任何工作量的情況下進行縱向擴展（Scale-Up）或橫向擴展（Scale-Out）軟件定義存儲是云數據中心的重要組成部分軟件定義的存儲 特點8目前的方式 軟件定義的存儲Object-based PoolSAN/NAS PoolHypervisor Converged PoolLUNArray ALUNLUNArray BLUNLUN抽象抽

4、象與池化與池化以虛擬機為核心的以虛擬機為核心的自動化自動化SLASLA設定設定以虛擬機為粒以虛擬機為粒度的數據服務度的數據服務SAN / NASx86 ServersCloud Object Storage虛擬化層虛擬化層ReplicationSnapshots虛擬 SAN虛擬存儲卷軟件定義存儲的分布式擴展性9縱向擴展縱向擴展添加更多磁盤添加更多磁盤IOPS容量 XX TBXXX TBXX PB橫向擴展橫向擴展添加更多節點添加更多節點 分布式分布式可擴展性：可擴展性：彈性彈性 按需伸縮粒度粒度 添加單個節點或磁盤無干擾無干擾 無應用程序停機簡單簡單且全自動自動可預測可預測避免復雜預測以及前期大

5、量投資軟件定義存儲分類： 控制平面 + 數據平面 控制平面是關鍵根據不同的工作負載來動態分配存儲資源。Hypervisor/OS ，或者云管理軟件具有優勢。軟件定義存儲的分類(存儲資源由軟件來自動控制，即存儲策略驅動)Data Plane (數據平面) 1）基于商用的硬件包括了IDC分類中VirtualStorage Appliance（簡稱VSA）和PhysicalStorage Appliance （簡稱PSA）兩類。 Server SAN/HCI里有： VMware VSAN或 EVO:RAIL、 EMCScaleIO、 DELL Fluid Cache、HPStorVirtual、Re

6、dHatInktankCeph、MicrosoftStorage Spaces 、Nutanix、Maxta、SimpliVity、ScaleComputing、Pivot3等；國內有：華為FusionStorage、華云網際、達沃時代、XSKY(Ceph)、大道云行SSAN、志凌海納SmartX、BigTera、深信服aSAN；開源的有OpenvStorage（類似Nutanix架構）；在ServerSAN里，非超融合架構（也即不提供計算資源）的有：主要是分布式文件系統，如GPFS、Lustre、Panasas等；其他SDS有：飛康、DataCore、Nexenta、國內的InfoCore(

7、信核)等，還有其他支持SolarisZFS的存儲；另外還有開源的FreeNAS、NAS4Free等11軟件定義存儲的分類(存儲資源由軟件來自動控制，也即存儲策略驅動)DataPlane (數據平面) （續）2）傳統的 SAN/NAS（ExternalStorage）支持SPBM(如Virtual Volumes)，或者OpenStack Cinder的傳統外置磁盤陣列3）Cloud/Object Storage做為DataPlane的組成部分，實際上是以后端存儲的身份為VM/App提供存儲資源的。私有云和公有云之間，能在存儲級別，實現存儲的備份、歸檔和容災。運行在公有云之上的VSA，即可與本地

8、存儲建立數據交換。 如：NetApp的CloudONTAP、SoftNAS、Zadara等ControlPlane (控制平面)1）VMware SPBM；2）OpenStack Cinder ；3）EMC ViPR；4）ProphetStor （希智）的Federator；未來幾年內，會有越來越多的數據平面未來幾年內，會有越來越多的數據平面(Data Plane)的存儲的存儲產品，向，向控制平面開放開放API，支持存儲策略驅動，支持存儲策略驅動。12傳統共享存儲陣列的時代傳統共享存儲陣列的時代SSD出現之前，出現之前，CPU發展速度是磁盤的幾十萬倍發展速度是磁盤的幾十萬倍軟件定義存儲的發展：

9、 過去、現在和未來SSD和高速網絡的出現，改變了存儲的游戲規則未來的主流是分布式分布式存儲，分布式存儲，數據靠近計算，數據靠近計算，延時更短！性能更高！延時更短！性能更高！傳統外置磁盤陣列一個I/O落到盤上，要經歷多個環節，延時在毫秒以上；而SSD內置在服務器里，延時在亞毫秒(也即0.1ms)級別2014年04月30日, SanDisk發布世界上第一款4TB SSD；2015年3月，SanDisk推出的InfiniFlash，單卡容量達8TB的閃存卡（64個）；2015年08月11日, 三星在閃存峰會上公布世界容量最大的2.5英寸硬盤： 16TB SSD PM1633a。相比之下，希捷或西部數

10、據制造的容量最大的機械硬盤只有8TB或10TB軟件定義存儲的現在軟件定義存儲的未來： Server SAN (軟件定義存儲中最大組成部分)預計預計5年左右年左右，Server SAN(SDS中主要的種類中主要的種類)，將占據整個全球存儲將占據整個全球存儲市場份額的半壁江山市場份額的半壁江山！2. The Rise of Server SAN, Jul 16, 2015Source: /wiki/v/The_Rise_of_Server_SAN企業級Server SAN預計達44.2的年復合增長率；2021年 企業級Server SAN 將是傳統外置磁盤陣列的1

11、.24倍。分布式存儲 VSAN 技術介紹VSAN是：內嵌在vSphere內核的分布式的對象存儲聚合了虛擬化管理程序的極其簡單的虛擬機存儲 vSphere + Virtual SAN.軟件定義的存儲針對虛擬機進行了優化超融合體系架構（分布式，橫向和縱向擴展） 可在任何標準可在任何標準 x86 服務服務器上運行器上運行將 HDD/SSD 池化為共享數據存儲提供企業級的可擴展性和性能基于策略的自動化，滿足SLA，可按虛機甚至vmdk級別的顆粒度設置存儲策略與VMware產品體系深度集成概述概述硬盤硬盤SSD硬盤硬盤SSD硬盤硬盤SSDVSAN 數數據存儲據存儲用來取代用來取代vSphere后端的傳統

12、外置磁盤陣列后端的傳統外置磁盤陣列存儲策略向導存儲策略向導SPBMVSAN 對象VSAN 對象對象管理器管理器虛擬磁盤(vmdk)VSAN 對象可能(1) 跨主機進行鏡像，以及(2) 跨磁盤磁盤/磁盤組/主機進行條帶以符合虛擬機存儲配置文件策略數據存儲配置文件數據存儲配置文件存儲策略決定服務級別（包括確定數據如何布局）從上至下，圍繞著業務從上至下，圍繞著業務/虛機為中心虛機為中心每個虛機甚至每個vmdk在置備時都可配置各自的個性化QoS的屬性。用戶以策略的形式指定所需設置，然后VSAN會自動決定如何在集群中為每個vmdk分配存儲資源，以滿足用戶的QoS需求共享存儲生產集群冗余交換機管理集群傳統

13、方式虛擬化資源池環境傳統方式虛擬化資源池環境存儲單點故障風險容量和性能無法同步擴展存儲維護配置復雜傳統存儲的局限性NAS VSAN相對于傳統存儲方案的優勢更簡單更簡單內嵌于vSphere,無需安裝虛擬機存儲策略驅動，不再需要存儲設備上的操作和虛擬化單一界面管理，維護更方便更快速更快速通過SSD緩存加速技術，IO性能大幅提升分布式彈性擴展，節點內垂直擴展，容量和性能線性擴展更可靠更可靠分布式存儲架構，節點冗余技術，消除存儲單點故障風險更更高效高效融合部署，提升資源利用率最短存儲路徑，虛擬機感知的虛擬化存儲池適合投適合投資保護與未來發展資保護與未來發展降低外部存儲的配置成本互聯網存儲模式，符合未來

14、數據中心虛擬化 的發展方向需要操作需要操作傳統傳統存儲存儲VSANRaid組創建LUN劃分ZoningLUN Masking/Mapping多路徑軟件安裝配置Disk Group創建存儲策略創建VM存儲策略選擇虛擬機存儲配置方式比較虛擬機存儲配置方式比較人工操作人工操作 VS 自動化策略自動化策略Virtual SAN 數據數據存儲集群存儲集群Virtual SAN- 從根本上簡化存儲Virtual SAN-利用緩存提升性能 所有虛擬機 I/O 均指向 SSD。寫入內容稍后會轉儲到 HDD。 如果請求的讀取數據塊不在緩存中，會將該請求定向到 HDD硬盤SSDvSphereVSANVSAN 數據

15、存儲12寫入(30%)硬盤SSDvSphereVSANVSAN 數據存儲12讀取(70%)Virtual SAN - 可用性與性能虛擬機存儲對象(主目錄、VMDK、增量、交換)可以分布在 VSAN 集群中的多個主機和磁盤內。虛擬機可以使用復制副本提供可用性，或使用條帶提供 HDD 性能硬盤硬盤SSDSSD硬盤SSD虛擬機 1 的副本與條帶虛擬機 2 的副本與條帶vSphereVSAN264Virtual SAN 數據數據存儲存儲集群集群Virtual SAN - 恢復能力極強通過虛擬機的存儲策略實現存儲自動分配 按照存儲策略為虛擬機調配存儲資源。 策略在創建后便向下發送到VSAN，然后按照策略

16、中的功能實例化虛擬機對象。 借助VSAN，單個數據存儲現在可以針對各個虛擬機或各個虛擬磁盤強制實施不同的服務質量 (QoS) 級別。VSAN數據存儲白銀級白銀級可用性 = x性能 = y容量 = z虛擬機存儲策略白銀級黃金級青銅級青銅級按需定制存儲策略每個對象的磁盤條帶數 Number of disk stripes per object存儲對象的各個副本所跨的HDD數量。用于改善性能，缺省為1，最大12。允許的故障次數 Number of failures to tolerate 定義存儲對象能夠允許的主機、網絡和/或磁盤的故障次數。可用性保障，缺省為1，最大為3。對象空間預留 Object

17、 space reservation 應預留的存儲對象(包括快照)邏輯大小百分比(厚配置)。閃存讀取緩存預留 Flash read cache reservation預留閃存容量，作為存儲對象的讀取緩存。用于提升性能，缺省為0，最大100%。強制調配 Force provisioning在數據存儲不能滿足資源時是否進行調配。白銀級白銀級可用性 = x性能 = y容量 = z虛擬機存儲策略簡化存儲變更操作，提升效率傳統方式1.將虛擬機從數據存儲遷移走；2.卸載LUN/卷；3.創建新的LUN/卷以滿足虛擬機對存儲需求的變化 ；4.如果是塊設備，使用VMFS格式化LUN；5.將虛擬機遷移到新的數據存

18、儲。VSAN1.編輯或創建新的存儲策略；2.將存儲策略應用到虛擬機。vs.Scale UPAdd more DisksIOPSCapacity40 TB400 TB4.4 PBScale OUTAdd more nodes 彈性彈性 按需增減 顆粒顆粒度度 單節點或磁盤 非破壞性非破壞性 業務不中斷VSAN可以根據性能和容量需求進行線性擴展28分布式存儲 SAN 6.0 性能參數29Hosts / Cluster326464VMs / Cluster320064006400VMs / Host100200200IOPS / Host20K40K100KSnapshot depths23232V

19、MDK Size2TB62TB62TBVirtual SAN5.5Virtual SAN6.0 混合混合Virtual SAN6.0 全閃存全閃存分布式存儲VSAN其它特性30第 4 代 Virtual SAN 具有重要的新功能特性企業就緒支持IPv6網絡軟件校驗和（Software Checksum）增強的Horizon集成已經過SAP測試且已就緒適用于VMware Photon的VSAN技術預覽版極其簡單極其簡單QoS（IOPS限制值）性能監控和容量監控Health Check集成到vSphere Web Client內最低成本最低成本去重 壓縮 糾刪碼Client Cache和Spars

20、e Swap特性一和特性二：去重和壓縮（提高空間效率）支持全閃存按照磁盤組的級別，實現近線的去重和壓縮 叫做 “提高空間效率” 磁盤組越大，去重比率越高去重和壓縮在集群級別激活當數據從緩存層De-staging（刷新）到持久化層時實現去重，在去重后實現壓縮 去重在緩存寫確認后執行 固定大小的塊去重 (4KB 數據塊)在VSAN Stretched Cluster和ROBO方式下也支持去重和壓縮31Betaesxi-01esxi-02esxi-03vmdkvmdkvSphere & Virtual SANvmdkAll Flash Only特性三 糾刪碼： RAID-5 Erasure Coding “FTT=1” 高可用性 RAID-5 3+1 (最少4臺主機，并非4的倍數，而是4臺或更多即可) 1.33倍的開銷，以往的開銷是兩倍倍的開銷，以往的開銷是兩倍 以往20GB數據消耗40GB空間, 現在約為27GB 可以實現在vmdk的顆粒度上，在VMware SPBM（基于存儲策略的管理）里設置 不支持VSAN Stretched ClusterRAID-5ESXi HostparitydatadatadataAll Flash OnlyESXi HostdataparitydatadataESXi HostdatadataparitydataESXi H