曙光云存儲終極解決方案ParaStor面向海量數據面向非結構化數據面向高性能需求面向高可靠需求ParaStor200定位141.管理控制器

-提供命令行和圖形界面兩種接口-內嵌并行存儲管理系統，對軟硬件進行一體化監控管理2.索引控制器

-管理存儲系統中所有元數據和命名空間-集群架構，Active-Active運行方式3.數據控制器

-提供數據存儲空間-支持多副本容錯，自動處理磁盤失效234.客戶端驅動

-向應用提供POSIX文件訪問接口-支持Linux/Windows客戶端系統構成ParaStor200并行存儲系統并行群集存儲架構設計數據控制器數據控制器數據控制器……索引控制器索引控制器索引控制器索引控制器數據控制器數據控制器數據控制器……管理控制器管理控制器客戶端管理網歸檔數據遷移并發讀寫并發讀寫并發讀寫數據遷移元數據讀寫采用分布式并行存儲系統架構，相對San共享式文件系統擁有更好的擴展性。采用非對稱集群架構，IO節點間耦合較松，節點間通訊更為簡單高效，擴展性更好。全active元數據集群設計，系統性能、可靠性以及可擴展性更高。元數據分布：成對擴展，對內元數據主副本輪詢存放，對間根據哈希策略存放。真正的SingleFileSystemImage（SFI，區別于SinglePathImage），實現容量和IO負載的高度均衡，可支持更大的文件和更高的單流IO。硬件基于通用的存儲服務器，通過多副本、N+M、網絡負載均衡等技術構建高可靠、高性能、高可擴展的高端存儲系統。先進的架構設計超大容量超強擴展超高性能全方位數據保護超高易用性高性價比方案面向HPC特別優化面向云計算特別優化面向大數據處理支持九大特性超大容量數據中心存儲容量需求小型專用DC50TB~100TB中等綜合DC100TB~500TB大型DC500TB~5PB超大規模DC5PB~50PB根據摩爾定律以及當前數據快速增長的事實，這一分類標準還將不斷的被刷新紀錄。系統特點及優勢超大容量集群架構設計，集小流以成江海系統可達到EB級，是國家863計劃“EB級云存儲系統”原型部署于深圳超算中心的存儲系統16PB，是目前國內最大的單一名字空間存儲系統。超大文件切片均衡分布，突破本地文件系統限制滿足大數據處理、高性能計算、云計算等領域大文件需求單系統容量16PB!目前國內最大！系統特點及優勢國家超算中心深圳中心超強擴展設備級擴展跨設備擴展跨中心擴展系統可擴展性需求性能隨容量線性增長、不增加管理的復雜性在線擴容需求如意乾坤袋擴容時不停業務，平滑在線無限擴容。LAN123412341234數據控制器數據控制器數據控制器初始狀態并行數據I/O數據控制器數據控制器數據控制器123412341234數據控制器數據控制器數據控制器擴展后“海納百川”——在線無限擴展并行數據I/O增加數據控制器按策略自動數據遷移超高性能海量小文件高并發IO高單流帶寬高聚合帶寬存儲性能需求超高IO性能并行集群架構設計滿足高并發IO需求條帶優化提供高單流IO帶寬聚合帶寬=數據控制器帶寬線性疊加，隨容量線性增長全Active索引集群提升海量小文件處理能力2.5GBps2.5GBps2.5GBps2.5GBps2.5GBps2.5GBps全方位數據保護7*24小時業務連續性需求設備故障不可避免，要求設備故障情況下，仍可保證業務連續性，時刻滿足系統工作負載需求數據安全防止非法篡改防止未授權主機掛載防止數據靜默損壞防御病毒攻擊關鍵數據保護需求寶石的形成需要數萬年100億個中微子才會有一個與物質發生作用CERN上帝粒子探測器花費25億歐元……寶貴的原始數據以太網交換機1以太網交換機2索引控制器索引控制器/home/appl/data/web/important_big_spreadsheet.xls/home/appl/data/web/big_architecture_drawing.ppt/home/appl/data/web/unstructured_big_video.mpg/home/appl/data/web/home/appl/data/web/important_big_spreadsheet.xls/home/appl/data/web/big_architecture_drawing.ppt/home/appl/data/web/unstructured_big_video.mpg

邏輯層0123456789101101234567891011abcdefghijklabcdefghijklABCDEFGHIJKLABCDEFGHIJKL02ABC全冗余架構設計

物理層1重建無人值守數據重建無人值守。如，深夜磁盤出現故障，傳統RAID要立即人工更換磁盤，而ParaStor只要有剩余空間就可以進行數據重建。更快重建速度數據重建并發進行，1TB數據半小時內重建完成相比傳統RAID優勢

意外斷電保護UPS管理節點關閉服務機柜斷電防止全系統掉電后數據丟失ParaStor系統UPS監控與存儲系統自我保護聯動WORM（WriteOnceReadMany）文件寫入超過設定時間文件只讀模擬磁帶庫存儲，防惡意篡改滿足法規要求防惡意篡改數據雙重保密ParaStor數據服務器數據服務器……管理控制器元數據服務器允許掛載拒絕掛載Ⅹ未授權客戶端授權客戶端未加密數據加密數據正確輸入密鑰超高易用性使用運維簡易性需求運維壓力傳統方式數量龐大、關系復雜、操作繁瑣、效率低下、成本高、安全隱患大數量龐大、關系復雜、操作復雜、效率低下、成本高、安全隱患大使用方便高效，對IT資源進行透明、統一的管理易用性需求“八仙過海”——豐富的訪問接口Parastor應用節點●●●應用節點應用節點I/O節點I/O節點I/O節點oAppVFSoAppVFSoAppVFS互聯網應用服務器FTP等文件存儲服務器管理監控SNMPNFS,CIFS,REST……●●●豐富的接口訪問接口專有Linux、Windows內核態訪問接口標準NFS，CIFS接口POSIXAPIMapReduce編程接口REST編程接口SOAP編程接口SNMP接口網絡接口20Gb/40Gb/56GbIB10Gb/1Gb以太網支持負載均衡和冗余治大國如烹小鮮——運維簡易型ParaStor并行存儲管理系統是曙光公司專為ParaStor系列產品開發的統一監控管理平臺。直觀易懂的圖形界面方便用戶管理和監控系統的軟硬件資源。管理功能監控系統：網絡、節點磁盤、內存、RAID卡狀態監控，節點服務狀態監控，系統故障告警，運維報表，管理事件記錄。系統管理：系統的啟停、卸載、升級，異常情況下進行強制啟動?？蛻舳耸跈?、掛載及狀態管理，管理控制器、索引控制器和數據控制器的增刪、啟停以及更換。高級管理：配額管理，文件系統創建、刪除、配置，在線參數配置，閾值管理，資源配置。管理功能亮點功能亮點故障處理操作GUI指導在線版本升級在線更改配置GUI客戶端授權、掛載管理操作記錄網絡拓撲發現、監控異構OS用戶管理用戶、組、文件系統配額支持Windows本地盤支持SOAP、SNMP管理接口全局監控視圖系統管理視圖網絡拓撲視圖高性價比方案高利用率數據保護方案D0D1D2D3D4D5D6D7Node1D0D4Node2D1D5Node3P0D6Node4D2P1Node5D3D7N+M:B，N代表數據對象個數或數據分布磁盤數量；M代表校驗對象個數或容忍故障的磁盤數量，B代表容忍故障的節點數量。例如本例8+2:1，表示集群可以丟失任意2塊磁盤或任意1個節點而不至于數據丟失。在這種配置下，空間利用率可達到80%。N+M是保證數據可靠性前提下，利用率較高的方案N+M:B配置4+1:1至少配置6個數據節點4+2:1

至少配置4個數據節點（推薦配置，67%利用率）4+2:2

至少配置8個數據節點8+2:1至少配置6個數據節點（推薦配置，80%利用率）8+2:2至少配置12個數據節點（推薦配置，80%利用率）16+4:4至少配置24個數據節點各模式最小節點數量B（N+M）/M，此時僅能滿足數據分布。為了節點失效后能夠即刻進行數據恢復，推薦節點數量為：(B(N+M)/M)+B，空間利用率為：N/(N+M)N+M:B優勢空間率利用率高最高可達94%（16+1：1）高可靠性在空間利用率達到80%的同時，可以允許多塊硬盤同時失效（最多任意4塊），可以允許多個節點同時失效（最多任意4臺），而使用副本模式要達到這個可靠性只有20%的空間利用率高IO性能冗余數據量減少，聚合寫性能較副本提高數據生命周期管理數據控制器數據控制器數據控制器……索引控制器索引控制器索引控制器索引控制器數據控制器數據控制器數據控制器……管理控制器管理控制器客戶端管理網歸檔數據遷移并發讀寫并發讀寫并發讀寫數據遷移元數據讀寫高性能在線存儲高性價比近線存儲歸檔至離線存儲根據訪問頻率、文件名規則、路徑名規則等策略進行文件分級數據生命周期管理減少昂貴高速存儲設備投入按需關閉部分設備節能……D0D1D2D3D4D5D6D7D8D0D1D2D3D4D5D6D7D8D0D1D2D3D4D5D6D7D8數據可按目錄分區常用目錄所在分區硬件健康前提下，可暫時關閉不常用分區低采購成本采用X86架構硬件軟硬一體存儲系統低管理成本自動化故障處理管理員參與程度低5年原廠商軟硬件服務按需購買可動態擴展容量和性能無需一次性占用大量資金低TCO面向HPC特別優化高聚合

帶寬高并發IO和IO密集型高性能計算帶來極高的聚合帶寬激增IO性能部分應用在計算過程中，突然會有大量的IO，需要存儲能夠處理這種激增IOIOQoS平臺應用多樣，對IO需求不同，要求能為不同應用提供不同級別的服務海量小文件檢索部分高性能計算，在計算過程中或之后產生海量小文件。高并發IO并行計算是高性能計算的重要特征。大量并行程序帶來大并發IO存儲性能極限需求內核態客戶端IO效率高占用計算節點資源少高速通訊網絡支持56GbpsIB網絡優化支持10Gbps、40Gbps萬兆網絡優化支持全活索引集群支持均衡元數據壓力，支持海量小文件處理分級存儲高速在線存儲支撐熱點數據訪問。ParaStor解決之道客戶端數據一致性寫入~nsecnsec后其他客戶端并發更新

并行計算要求：統一用戶集、統一存儲映像矛盾：越高的一致性要求，系統開銷越大。解決之道：根據應用對不一致性的容忍度來進行調優，ParaStor可在100ms級一致下保證性能不受影響。存儲管理支持C