1、曙光ParaStor云存儲系統1234市場地位產品規格產品特性應用場景5競爭分析存儲市場變化2015年，全球存儲市場緩慢增長（2.2%）2015年中國大陸增長率14.8%，全球市場份額7.8%國有廠商市場增長率為43.3%，目前市場份額達56.9%集群NAS市場蓬勃發展全球市場Scale-out NAS穩步增長(19.9%)中國市場Scale-out集群架構存儲市場份額已達45.8%存儲市場發展趨勢49%20%3%4%9%15%12%26%16%11%11%25%2010年單一系統16PB2013年中國區NAS IDC排名第32014年中國區NASIDC排名第2015年中國區 NASIDC排名

2、第1截至2015年1100+用戶成功應用累計銷售容量260+PBParaStor存儲系統市場地位LustreLoongStorStornextParastorN9000GlusterFSMPFSMooseFSHDFSIsilonBWStorCephFastDFSPanaFS商業系統開源系統常見分布式文件系統GPFSDASNASSAN傳統存儲架構分布式存儲分布式文件系統分布式存儲分布式塊存儲提供文件系統服務，通常支持 POSIX接口和NAS提供服務兼具分布式系統的并行化、可伸縮等特點Parastor、CephFS、Lustre、 OceanStor9000、GPFS、藍鯨 BWFS. 提供比塊存

3、儲更豐富的接口，考 慮目錄、文件屬性的支持、非結 構化數據海量存儲需求通常以QEMU driver或kernelModule的形式存在Ceph RBD、AWS EBS、 Sheepdog、阿里云盤古、華為 FusionStorage 延遲要求高，提供通用需求，能應 付大/小文件讀寫，提供VM、數據 庫服務對儲鍵值存儲，非樹形結構，通過REST（get/put/delete）接口實現文件訪問，支持上傳下載、不支持文件的打開/修改swift、S3、以及各種網盤，通常用于大文件高帶寬應用分布式文件系統產品分類后端存儲訪問層協作管理層前端數據訪問層 串行訪問：串行地從一個節點讀寫數據 并行訪問：并行地

4、從多個節點同時讀取數據 對稱性：集群內所有節點均能處理元數據和數據 非對稱性：元數據節點、數據節點相互獨立 共享式：集群中的每個節點都能訪問到相同的底層存儲介質 分布式：每個節點只能訪問到連接至本地的存儲介質，并獨占該介質的 訪問；訪問其他節點數據需要通過網絡傳輸集群文件系統架構中，關注和討論的主要焦點在于對稱性/非對稱性、共享式/分布式的區別常見產品分類產品名稱后端數據訪問方式協作管理角色曙光ParaStor分布式非對稱性EMC Isilon分布式對稱性華為OceanStor9000分布式對稱性Intel LustreSAN共享式非對稱性Ceph分布式對稱性AS13000（Ceph）分布式對

5、稱性LoongStore分布式非對稱性聯想LeoStor（LoogStore）分布式非對稱性IBM SONAS（GPFS）SAN共享式對稱性DDNSAN共享式非對稱性藍鯨BWFSSAN共享式非對稱性云創科技分布式非對稱性Panasas ActiveStor分布式非對稱性Gluster分布式對稱性Moosefs分布式非對稱性昆騰StorNext SNFSSAN共享式非對稱性HDS HNAS（BlueArc）SAN共享式對稱性架構區別-分布式vs.SAN共享式SAN共享式系統基于對象的分布式系統優勢1. 客戶端直接訪問后端塊設備，IO延遲較低2. 單客戶端性能較高1. 擴展性好，受硬件限制較小。2

6、. 并發IO支持能力高，高聚合IO帶寬劣勢1. 容量擴展性受SAN系統擴展能力的影響2. 所有客戶端都必須在SAN環境中，特別是在FC-SAN環境中，客戶端 數量受限架構區別-全對稱式vs.非對稱式全對稱式非對稱式優勢1.所有節點功能對等，元數據服務、數據服務 能力同等擴展2.容量要求較小時，節點配置數量較少，成本 更有優勢1.元數據和數據節點互相不受影響，各自服務能 力較高2.部分非對稱存儲支持元數據節點的橫向擴展3.故障相互隔離，系統健壯性更好劣勢1.同一節點元數據和數據進程容易爭搶資源， 影響彼此性能，尤其數據重構時，節點間的數據交互壓力很大，更容易 影響系統的整體 性能2.單臺節點故障

7、，同時影響元數據和數據服務3.節點數據不易太多，隨著節點數量增加，信 息同步復雜度呈幾何指數增長1.元數據服務器成為系統擴展的瓶頸；2.即使容量要求較小，元數據節點必須配置，在 小規模系統中，成本不具優勢1234市場地位產品規格產品特性應用場景5典型案例產品概述分布式存儲架構Scale-Out集群NAS形態非結構化數據存儲完全自主研發海量空間，彈性擴展可構建EB級單一存儲空間No.12015 IDC國內NAS市場排名第一No.1 EB級，經過驗證的國內最大存儲系統TOP3連續4年IDC國內NAS市場前三海量非結構化數據云存儲系統 ParaStor高性能高可靠易管理 數據管理協議引擎存儲高級功能

8、WebUI管理POSIXNFSCIFSFTPHTTPHDFS管理節點索引節點數據節點 數據保護ParaStor分布式文件系統應用協議層數據處理層硬件節點層邏輯架構體系架構數據控制器數據控制器數據控制器索引控制器索引控制器索引控制器索引控制器數據控制器數據控制器數據控制器管理控制器管理控制器客戶端管理網數據歸檔并發讀寫并發讀寫并發讀寫數據遷移元數據讀寫WindowsUNIX/LINUXMAC數據遷移ParaStor 云存儲系統通用產品形態，索引控制器支持2128個，數據控制器支持34096個數據控制器硬件規格支持2U24、4U24、4U36、5U86盤位等4種索引控制器高可靠雙活架構；數據冗余支

9、持多副本、糾刪碼兩種方式雙節點對稱存儲架構，不支持擴容硬件規格支持2U12、4U36盤位等2種2016年10月新推出，單路服務器，4U24、4U36盤位僅用于視頻監控領域，成本優勢明顯ParaStor 雙節點系統ParaStor 視頻監控專用存儲系統2U24Bay4U24Bay4U36Bay5U86Bay2U12Bay4U36Bay產品形態雙節點對稱硬件規格軟件特性雙節點對稱架構2U12、4U36盤位2U12包含8塊數據盤4U36包含24塊數據盤數據盤最大4TB不支持節點擴容內嵌ParaStor組件及軟件POSIX/NFS/CIFS/FTP接口RESTful接口雙副本（推薦）、2+2:1權限管

10、理、配額、WORM適合容量小、大文件存儲場景適用于金融票據、醫療PACS等市場小文件存儲、有擴容要求不建議推薦ParaStor雙節點存儲系統視頻監控專用存儲系統硬件主推場景 推廣“死區”視頻監控專用存儲系統98000974單路服務器4U24、4U36盤位 32GB Cache/3.5”HDD1GbE/10GbE視頻監控對成本要求較為嚴格 僅作為存儲資源池，節點與視頻業務無復用需求存儲節點上需要運行視頻業務軟件對性能要求較高 1234市場地位產品規格產品特性應用場景5典型案例產品特性高性能單節點/聚合帶寬元數據性能線性增加小文件聚合高可靠冗余架構多副本/糾刪碼磁盤分組節點分區數據快速修復易擴展可

11、擴展至EB級在線擴容自動數據均衡多功能訪問接口多樣集群NAS功能豐富用戶管理權限管理易管理圖形化界面統一管理監控告警及時運維簡單存儲策略分級存儲配額管理目錄分片自動精簡配置數據保護遠程同步數據歸檔WORM行業優化QoS自動功耗控制并行集群架構設計滿足高并發IO需求條帶優化提供高單流IO帶寬聚合帶寬等于數據控制器帶寬線性疊加，隨容量線性增長全Active索引集群提升海量小文件處理能力卓越性能 線性增長以太網交換機1以太網交換機2索引控制器索引控制器/home/appl/data/web/important_big_spreadsheet.xls/home/appl/data/web/big_ar

12、chitecture_drawing.ppt/home/appl/data/web/unstructured_big_video.mpg/home/appl/data/web/home/appl/data/web/important_big_spreadsheet.xls/home/appl/data/web/big_architecture_drawing.ppt/home/appl/data/web/unstructured_big_video.mpg 邏輯層0123456789101101234567891011abcdefghijklabcdefghijklABCDEFGHIJKLAB

13、CDEFGHIJKL02ABC 物理層1數據冗余 安全可靠/home/appl/data/web/important_big_spreadsheet.xls數據冗余 多副本 vs. 糾刪碼Node1DDNode2DDNode3DNodeN-1DNodeNDDDD數據分段對象存儲多副本N+M糾刪碼D1D2D3DnD11D12D1mD21D22D2mD31D32D3mD31D32D3m數據復制空間利用率：1/(1+M)D1D2D3DnErasure Code算法P1P2P3Pm空間利用率：N/(N+M)糾刪碼冗余 N+M：bN+M的理解N：數據對象個數M：校驗對象個數D1N=8，M=2M：允許故障

14、的磁盤數目b的理解允許故障的節點數8+2:1Node1D1Node2D2Node3D3D7D8P1D2D3D4D5D6D7D8P1P2D1D2D3D4D5D6D7D8P1P2Node4D4Node5D5Node6D6P2D1D7N+M：b數據節點最小數量空間利用率4+2:1466.7%4+2:2866.7%8+2:1680%8+2:21280%10+2:1783.3%10+2:21483.3%16+1:11894.1%16+4:21280%16+4:42480%b(N+M)/M+b常見的N+M:b 模式節點分區與磁盤分組同樣采用8+2:1，劃分多個分區，縮小節點故障域ostor01ostor0

15、7ostor02ostor08ostor03ostor09ostor04ostor10ostor05ostor11ostor06ostor12ostor13ostor14ostor15ostor16ostor17ostor18ostor19ostor20ostor21ostor22ostor23ostor24同樣采用8+2:1，劃分多個分組，縮小磁盤故障域0807060504030201ostor010807060504030201ostor020807060504030201ostor030807060504030201ostor040807060504030201ostor05080706

16、0504030201ostor06LAN123412341234數據控制器數據控制器初始狀態并行數據I/O數據控制器數據控制器數據控制器123412341234數據控制器數據控制器數據控制器擴展后并行數據I/O增加數據控制器按策略自動數據遷移數據控制器海量空間 彈性擴展訪問接口專有Linux、Windows內核態訪問接口POSIX APINFS/CIFS/FTP接口RESTful編程接口HDFS 接口SNMP接口網絡接口40/56/100Gb IB10Gb/1Gb以太網RDMA支持負載均衡和冗余ParaStor文件系統應用節點 私有接口應用模式（并行存儲）支持Linux和WindowsNFS/

17、CIFS訪問模式（集群NAS形態）應用節點應用節點I/O 節點I/O 節點I/O 節點oAppVFSoAppVFSoAppWinFS存儲系統組成存儲系統組成應用服務器FTP等文件存儲服務器Windows服務器NFS、CIFS、FTP、REST、HDFS VFS接口豐富 應用多樣RESTful協議 RESTful接口，HTTP協議傳輸RESTful接口標準HTTP方式CAS（固定內容尋址存儲）OpenStack Swift對象存儲接口對象存儲服務數據服務數據節點對象存儲服務數據服務數據節點Web引擎數據服務數據節點Web引擎數據服務數據節點對象存儲客戶端Web客戶端認證服務器訪問方式主要包含上傳

18、、下載、更新、刪除等非實時讀寫，不可直接進行編輯和操作CAS存儲，Key-Value方式，適合一寫多讀的場景兼容OpenStack Swift接口，訪問之前需要通過KeyStone認證HDFS文件系統內存計算引擎流處理引擎并行數據庫中間件批處理引擎關系型數據庫曙光ETL工具集分布式云存儲(HDFS)數據訪問接口（SQL+/JDBC/CLI）分析挖掘庫曙光大數據平臺管理軟件行為分析輿情分析個性化推薦多維度展示大數據安全體系大數據標準體系ParaStor分布式文件系統提供HFDS通用接口可作為Hadoop大數據分析軟件的底層存儲空間目前僅支持曙光Xdata產品產品形態優勢ParaStor-Xdat

19、a 融合系統ParaStor 的數據節點安裝Xdata 的軟件Xdata 的管理節點單獨部署 完全自主研發，可做深度應用優化ParaStor 較之開源HDFS的優勢空間利用率高、性能優越、冗余度高融合系統成本優勢明顯 ParaStor云存儲管理系統包括監控、管理、高級三大模塊，簡潔直觀，統一管理，智能監控，及時告警統一管理 運維簡單分級存儲 熱數據區冷數據區新建文件創建時間長訪問頻度低訪問頻度高節點1SSD/10K SAS + SATA節點2SSD/10K SAS + SATA節點內分級在線存儲區高性能存儲節點SSD/10K SAS近線/離線存儲區大容量存儲節點 SATA節點間分級FILE1F

20、ILE2FILE3FILE4FILE5FILE6配額管理存儲池FS2FS1Group2Group1user1user2user3user4多粒度多層次配額設置基于文件系統基于目錄基于用戶組基于用戶300TB40TB60TB50TBdir1dir2dir3dir450TB100TB40TB60TB50TB50TB100TB200TB200TB軟硬閾值限定文件數量軟閾值容量軟閾值文件數量硬閾值容量硬閾值 給出告警 可以繼續寫入 無法寫入SSD緩存加速數據文件應用服務器HDD數據節點1數據節點2數據節點NSSD讀緩存數據節點上配置一定數量的SSD訪問頻度高的隨機數據存入到SSD中，再次讀取時直接訪問

21、SSD智能識別連續/隨機IO，自動過濾連續數據訪問，最大發揮SSD作用隨機、小塊數據、讀密集型（一定幾率重讀）的場景，IOPS讀性能提升明顯單塊SATA SSD 8K隨機讀IOPS，實際測試值20000SSD緩存讀數據流程-1客戶端索引節點內存SSDHDD數據節點N內存SSDHDD數據節點M讀緩存命中客戶端向索引節點請求文件的位置索引節點返回訪問位置客戶端計算得到文件存放的數據節點位置，并向數據節點發送讀請求，首先訪問內存數據未在內存中，繼續向本節點的SSD發送請求SSD緩存命中后，發送讀SSD的請求，數據由SSD讀取到內存由內存將讀取到的數據返回給客戶端SSD緩存讀數據流程-2客戶端索引節點

22、內存SSDHDD數據節點N內存SSDHDD數據節點M讀緩存未命中客戶端向索引節點請求文件的位置索引節點返回訪問位置客戶端訪問數據節點的內存內存未命中，繼續向本節點的SSD發送請求SSD緩存未命中，返回給內存內存下發IO請求至機械硬盤HDDHDD將數據返回給內存內存將數據寫入到SSD（作為熱點數據緩存）內存將數據返回給客戶端*WORM（Write Once Read Many） 全局WORM時鐘，確保WORM時間不受硬件時鐘影響，且不受篡改 支持手動將寫入數據置于WORM狀態 支持設置自動將寫入數據置于WORM狀態的時間 支持對WORM文件內容進行追加寫入操作 支持設置WORM文件的過期時間 支

23、持WORM日志，記錄存儲系統中的WORM行為。Client寫設置WORM后，文件只讀讀WORM小文件聚合數據修復基于對象實現海量小文件系統（上億個KB級別）修復速度緩慢將若干個小文件“聚合”成大文件修復基本原理開啟聚合功能后，數據修復性能提升20倍以上寫性能有一定程度的提升實測性能一寫多讀的場景海量小文件系統：專利局、GIS、衛星遙感、生物基因等適用場景遠程復制兩套ParaStor系統之間，數據從源端（主存儲）復制到目標端（備份存儲）目標端數據可以根據策略恢復至源端異步方式，非實時復制專用復制網絡，TCP/IP協議，建議萬兆以太網實現功能HPC類客戶文件數據備份，重要文件有數據恢復的需求虛擬機

24、快照形成的鏡像文件視頻文件存儲備份適用場景遠程異步復制存儲系統高可靠性是數據安全的第一屏障，但無法避免自然災害的損壞遠程容災方案可以保證數據存取的持續性、可恢復性和高可用性遠程復制是容災方案的關鍵技術之一遠程復制原理主要流程建立遠程復制關系，確定主存儲、備份存儲，每臺數據節點啟動復制進程設置復制策略，包括周期（備份窗口期）、目錄/文件、全復制/增量復制等主存儲數據一次性全復制到備份存儲，即初始同步。過程中修改的數據僅做記錄，下次備份周期內再復制若是全備份，數據全部復制到備份系統若是增量復制，兩地的存儲根據記錄，依次比對得到發生變化的數據塊，并傳輸至備份存儲復制過程中故障導致中斷，則故障消除后，

25、尚未復制的數據繼續傳輸，即支持斷點續傳專用復制網絡采用雙萬兆以太網，且鏈路帶寬不是瓶頸的情況下，單臺數據節點MB級文件的性能實測可達800MB/s數據歸檔活躍數據主存儲在線存儲 非活躍數據活躍數據長期保存近線/離線存儲 磁帶磁盤光盤歸檔 & 長期保存keep生產系統數據在線存儲專用于活躍數據的訪問遷移非活躍、不常用的數據到近線/離線存儲，降低成本，長期保存歸檔系統分類磁帶庫歸檔磁盤介質歸檔（ParaStor 實現方式）光盤庫歸檔歸檔控制器離線系統ParaStor專用歸檔控制器(2U12,雙節點對稱系統)或內嵌到歸檔系統節點源端系統：支持NAS協議歸檔系統：ParaStor 存儲方案架構手動或自

26、動執行支持文件名特征、訪問時間、文件大小等策略指定任務優先級及執行時間段離線文件檢索查詢歸檔/回遷策略石油能源衛星遙感視頻監控應用場景單節點歸檔/回遷性能（1.5GB/s以上）任務并發執行，支持斷點執行離線數據巡檢，保證文件一致性分區自動上下電，降低功耗優勢QoS（Quality of Service）多個業務（數據流）共用網絡網絡過載或擁塞時，若干業務等待或被丟棄關鍵業務或高實時性的業務有可能中斷QoS 為指定數據流（網絡）提供更好的服務質量，確保重要業務不受延遲或丟棄關鍵業務ParaStor 實現功能適用場景保證特定業務的性能要求單流/極限帶寬IOPS及時延磁盤/網絡/節點故障時，業務切換

27、限定在特定時間內 廣媒非線編多客戶端穩定帶寬持續讀寫+時延平滑無丟幀視頻監控穩定帶寬持續寫入自動功耗控制 活躍區休眠區休眠區客戶端WindowsUNIX/LINUXMAC數據節點按分區使用， 分為活躍區和休眠區 活躍區提供讀寫訪問 活躍區故障，切換活躍區 待訪問數據位于休眠區，自動切換 為活躍區 活躍區到達容量閾值，切換活躍區 在視頻監控、衛星遙感等海量離線存儲應用中，可以顯著降低系統功耗休眠區活躍區活躍區1234市場地位產品規格產品特性應用場景5競爭分析典型應用場景 石油/地震 基因/制藥 非線編/媒資 衛星/遙感 數字圖書館氣象/環保 醫療影像 視頻監控 測繪/地圖 金融票據 高性能計算

28、生命科學 音視頻 天文地理 資料圖片 幾百TB以上數據的應用場景基本都適合中小型互聯網存儲支撐、航天航空設計數據儲存、共享文件庫海量數據備份歸檔的應用場景基本都可取代磁帶庫檔案、圖書、試驗數據1234市場地位產品規格產品特性應用場景5競爭分析華為OceanStor9000應用層數據處理層媒體娛樂 視頻監控 HPC文件存儲備份、歸檔軟件備份、歸檔商業推廣FTP NFS CIFS數據分析與Hadoop生 精準營銷態系統對接HDFSNDMP對象存儲服務重刪多租戶Https傳輸加密NAS存儲服務HDFSInfoTier(動態分級)InfoAllocator(配額)InfoLocker(WORM)Inf

29、oReplicator(遠程復制)InfoStamper(快照）InfoRevive（視頻圖像修復）InfoEqualizer(負載均衡)管 理 系 統InfoTurbo(性能加速)Swift/S3 HttpsInfoScanner(防病毒)InfoMigrator(數據遷移)對象存儲網盤資源池OceanStor DFS硬件節點層P系列節點C系列節點 P系列節點：性能型，包括P12、P25、P36 C系列節點：容量型，包括C36、C72除C72節點為Intel Atom CPU以外，其余均是Intel E5-2620V2 CPUSugon vs. HuaweiParaStor 架構 非對稱式，

30、128個元數據節點&4096個數據節點 訪問協議NFS/CIFS/FTPPOSIXHDFSSwift（測試中） 功能差異 自研數據歸檔功能 自動功耗控制 小文件聚合 回收站OceanStor9000 架構 全對稱式，288個節點(C72是144個) 訪問協議NFS/CIFS/FTP POSIX（專為應對曙光開發，不太成熟）HDFS(對接華為FusionInsight HadoopV100R002C50、Cloudera Hadoop 5.4.1)Swift/S3 功能差異 全局緩存、防病毒掃描 快照、NDMP備份、掉電保護（NVDIMM/CBU） 視頻圖像修復EMC IsilonSugon vs. EMCParaStor 架構 非對稱式，128個元數據節 點&4096個數據節點 訪問協議NFS/CIFS/FTPPOSIXHDFSSwift（測試中）