1、qp中廚電信V CHINA TELECOM云存儲技術規范上海電信互聯網部2010年7月1、總則1.1 編寫目的為了更好的推進網盤項目招標和工程規范實施，特此編寫此技術規范， 對系統的各個特性和性能要求提出具體要求，起到規范統一的作用。1.2建設背景和目標隨著互聯網的急速發展和非結構化數據的爆炸性增長，公眾對高效，快 速，分布式存儲提出了更高的要求。中國電信云存儲方案基于這個需求 被提出來。1.3適用范圍中國電信云存儲項目1.4起草單位中國電信股份有限公司上海分公司互聯網部1.5 解釋權中國電信股份有限公司上海分公司互聯網部1.6 術語解釋1.7參考文獻1.8設計要求及使用條件1.3.1總體設計

2、要求要求系統部署合理，提供完善的網絡硬盤服務，提供完善的開發接口，提供 及時有效的售后服務。1.3.2使用條件滿足一般條件下的使用條件。2、技術要求及規范2.1平臺架構按照解耦和，多模塊的觀點，要求系統各個模塊結構清晰，功能相對獨立，便于維護和升級。架構圖可以參考如下的模型（圖3 1）:全國網盤平臺邏輯結構圖網盤 業務 平臺F機 網盤認證 系統： Passport1SMP CRMPC 網盤朋郵箱愛沖印愛音樂天翼空間其他-聊間訃理|剤I用戶管理認證計費統計日志離線下載共孚好辰空間菅理應用管理產品管理訪問認證接IIJU也應用系統HTTP （SOAP REST 接LL NFS/CIFS/POSIX

3、口文件管理應用管理安全管理配置管理調度備份內容索引數據存網播LI天存儲管理平臺云存儲資源池<_；>訪問控制接I I數據存取搖口（圖 3 1）圖詳解: 存儲業務作為磁盤空間，為中國電信內部自有業務提供存儲支撐； 存儲業務為公眾用戶（主要是中國電信客戶）提供豐富的個人存儲產品和服務； 云存儲系統必須提供豐富的業務接口，以支持開發豐富的上層應用。2.2組網結構按照分布式的組網需求，并充分使用中國電信CN2骨干網絡，要求全國云存儲采取分點組網，快速連接。整個組網結構，請參考如下圖（圖3 2）:（圖 3 2）2.3功能性要求2.3.1基礎存儲服務云存儲管理平臺提供基礎的存儲資源池，將多個物理

4、設備上的存儲資源虛擬 為統一的存儲資源池，供上層使用。2.3.2存儲管理設備管理：通過查詢域內所有設備的磁盤、CPU內存、電源、風扇、網口等信息。讓用戶實時了解域內設備運行信息， 運行狀態，從而可以操控設備；同 時及時了解運行有誤的設備，有必要可以采取適當措施保證其正常運行。資源管理：用戶可以方便的了解云存儲系統的各個節點的服務情況，包括MDS的主備、MDS'OSN勺容量和性能（讀IOPS寫IOPS讀流量、寫流量）等信息， 讓用戶實時了解域內資源信息， 運行狀態， 從而可以操控這些資源； 同時及時了 解資源的異常，有必要可以采取適當措施保證其正常運行。2.3.3策略管理云存儲平臺提供靈

5、活的存儲策略，包括文件的副本數量、異地存儲、加密存儲、 壓縮存儲、同步或異步存儲?？梢詫τ脩舨煌夸浽O置不同的存儲策略。2.3.4多租戶管理云存儲平臺要求能支持對多租戶的管理， 可以為每個租戶設定存儲空間、 存儲帶 寬、存儲策略、用戶數。租戶可以設置管理子租戶和孫租戶，形成目錄樹結構。2.3.5統計報表云存儲管理平臺提供統計報表接口，能夠完成用戶存儲容量、存儲數據訪問 量等數據的統計2.3.6多線程支持云存儲管理平臺提供的接口支持多線程及斷點續傳上傳下載文件。2.3.7跨數據中心部署云存儲管理平臺要求支持跨數據中心的部署和管理， 并支持跨數據中心的用 戶訪問調度、數據遷移、數據異地存儲備份等功

6、能。支持集中管理，云存儲管理平臺部署在全國中心機房，存儲節點可以部署在 全國各機房中，管理平臺對分點機房的存儲設備可以統一管理調度。2.3.8數據寫多份云存儲平臺要求能夠針對不同應用或用戶的可靠性和性能需求， 靈活設置文 件存儲的副本數。 在滿足數據可靠性要求 （要求支持同時壞任意兩塊磁盤數據不丟失）和讀寫性能要求的前提下，盡量提高存儲空間利用效率，降低存儲成本。2.3.9分級安全服務傳輸安全云存儲系統采用 HTTPS（Secure Hypertext Transfer Protocol）安全超文本傳輸協議，是以安全為目標的HTTP通道，簡單講是HTTP的安全版。Https:URL 表明它使用

7、了 HTTP但HTTPS存在不同于HTTP的默認端口及一個加密/身份驗 證層（在HTTP與TCP之間）。這個系統提供了身份驗證與加密通訊方法，目前廣泛用于萬維網上安全敏感的通訊， 例如交易支付方面。 云存儲提供的業務接口及 管理接口都基于 Https ，從而保證數據的在傳輸層的安全。存儲安全云存儲系統在數據存儲時，根據條帶策略，將用戶數據根據側錄進行分條， 根據條帶策略決定每個分條的大小， 數據分條的存儲物理位置等。 數據的所有分 條及布局信息是元數據的一部分內容， 由元數據節點統一管理。 即使任何一個磁 盤、一個云存儲節點被盜或被入侵。 都無法得知具體的數據內容。 入侵者無法將 零散的數據恢

8、復成完整的數據內容。 從而保證數據在存儲過程中的安全。 保證數 據在存儲過程中不被竊取。支持用戶指定的目錄和文件加密存儲。用戶和權限控制云存儲系統對每份數據都提供豐富的訪問控制策略策略， 對數據的所有操作 都會進行權限檢查。訪問控制策略包括：用戶和權限。2.3.10內容搜索支持按關鍵字搜索文件名和文件內容。2.3.11離線下載關機后也可以雇傭服務器下載，支持 HTTP 多線程下載。2.3.12維護管理 設備管理、系統監控、日志、節點管理、域管理、異地災備、負載均衡等等基礎 存儲服務2.3.13應用接入接口云存儲管理平臺提供基于 HTTP(SOAP/RES)T 的應用接入接口，包括對用戶 所有資

9、源的操作接口、 用戶容器、用戶數據的操作、 數據訪問控制和權限的接口。云存儲管理平臺提供資源分配、空間使用、空間回收等管理接口。2.3.14資源統計接口云存儲管理平臺提供基于用戶的存儲資源使用情況相關接口， 滿足計費要求。 具 體包括： 用戶使用空間的統計、 用戶上傳下載的數據流量統計、 用戶上傳下載的 次數統計等。2.4 擴展性要求考慮到后期擴容的需求，對系統擴展性的要求十分重要。主要體現在以下幾 個方面：(1) 可以實時對容量進行擴充和升級；(2) 支持磁盤的熱插拔，新增的資源可以立即被平臺辨識，管理和分配；(3) 最低要求可以同時更換兩塊壞磁盤，更換上的新磁盤自動進行數據 填充修復，以保

10、持數據完整性、一致性；(4) 新增磁盤空間要對磁盤的總體負載要起到良好的均衡作用；(5) 支持新增空間的主動和被動的數據備份作用。2.5容量要求為了提供優秀的讀取速度，穩定的數據存儲性能，對云存儲系統的整體容量 和最小容量提出要求，具體如下：(1) 整體支持PE級的存儲能力，具有快速部署一個PE的能力；(2) 最小磁盤支持 仃B(7200rmp);(3) 整個云存儲平臺最大存儲能力要求達到 30PB以上；2.6 性能要求(1) 云存儲平臺的吞吐能力要求能夠隨著存儲能力的增長而線性增長；(2) 要求能夠通過調整云存儲平臺的硬件配置，靈活調整吞吐能力與存 儲能力的比率，以適應業務變化對平臺能力的要

11、求；(3) 要求支持客戶端多線程并發上傳下載文件，提供訪問速度；(4) 要求支持大文件分片存儲在多個存儲節點，各存儲節點能夠完成對 各分片的并發讀寫能力，提高大文件的訪問速度；2.7 可靠性要求云存儲一旦投入運作，是全年不斷電無休系統，需要確保高度的可靠性。具 體要求以下幾點：(1) 全年不下電，不停機，不閃斷；(2) 出現故障及時進行告警(聲音、燈閃)，告警分等級，界面可見， 具有詳細說明和修復手段提示；(3) 要求有 raid 保護機制，在用戶數據寫單份的情況下，要求數據訪問的可靠性達到 99.999%，即對單個存儲節點要求：可訪問時長 /全年時長 >= 99.999 (4) 要求用

12、戶數據可靠性可靈活配置，支持設置用戶數據的副本數、是否異地存放，向用戶提供不同級別的可靠性保護；(5) 要求任意兩塊磁盤或單個存儲節點損壞，不會導致用戶數據丟失；(6) 要求任意磁盤或存儲節點故障，不影響云存儲平臺其他設備的正常 使用和用戶訪問。2.8 安全性要求2.3.1硬件安全性硬件安全性是指硬件在安裝、調試、維護、更新等環節，對人員和環境是安 全的，具體體現在以下幾點：(1) 產品電位接地，防止觸電事故；(2) 尺寸、規格、形狀合理，以免傾斜倒伏，碰撞；(3) 產品材質耐溫，散熱；(4) 明確警示觸電、有毒害、或其它危險發生的可能；2.3.2系統安全性系統安全性主要體現在：(1) 強有力

13、的加密手段和管理策略，確保管理員賬戶的安全性；(2) 采取設置防火墻等手段，防止來自公網的破壞；(3) 對于大規模訪問量，異常訪問等情況進行監控；(4) 強大的系統管理能力，提供簡潔，高效，互動良好的 GUI界面進行系統配置，這些配置項應該包括(但不局限于)以下一些屬性：管理，監視，控制硬件資源； 管理網絡資源( IP 分配和服務)；管理每個結點(node)上運行的軟件;配置每個結點服務均衡；控制整體行為；設置異?；蚬收系母婢?；釋放結點或系統的資源。2.3.3數據安全性數據安全性，指用戶存放的數據不可被非法訪問、 復制、修改等，具體如下:(1) 提供加密接口，對用戶數據進行加密;(2) 基于角

14、色的數據保護策略:角色級別職責備注安全管理員1系統初始安裝，創建賬戶，分配/刪除系統管理員賬戶系統新建時默認的管理員，對“系統管理員”進行授權系統管理員2管理整個云存儲系統：網段，存儲群和節點；更換壞盤和硬件；對“租戶管理員”進行授權租戶管理員3在給定的空間內進行策略配置，User ID分配等工作；對“子租戶管理員”進行授權子租戶管理員4在給定的空間內創建用戶，重構策略；無(3) 策略化數據管理，管理員通過可視化界面，進行策略配置，從而實 現諸如：創建不同的策略等級(金牌，銀牌，銅牌,);配置不同的用戶對應不同的服務等級，或者同一用戶的不同數據 對象擁有不同的服務等級；同步副本和異步副本數目策

15、略配置，副本壓縮，選擇存儲地的權 限(4) 采取冗余手段和版本管理，實現數據恢復和災難備份:副本種類定義屬性備注同步副本數據對象 的一個完 全拷貝每個數據對象都有至少一個同步副本同步副本數量，副本間距離，網 絡連接情況等都影響響應速度異步副本基于某種“盡最大努力”進行策略的數數據恢復據備份系統自動進行異步副本的更新， 以保持數據一致2.9磁盤利用率磁盤利用率指磁盤在提供數據冗余備份功能的前提下，能提供的實際裸存儲空間占總空間的比例，該指標反應系統的有效利用率，對投入產出比具有重要的參考意義。參考目前主流的技術指標，要求云存儲提供65%勺磁盤利用 率。LA :可以被系統管理的空間B :系統自行耗

16、用的空間(數據恢復，系統文件等)要求：A/(A+B) > 65%要求支持重復數據刪除技術，通過刪除重復數據，進一步提高存儲空間利用 效率。2.10 維護與升級保障隨著未來硬件技術和服務質量的提升， 考慮到產品有較長的生命周期， 故在 此單獨提出對維護和升級保障方面的要求：(1) 單個磁盤損壞或故障時需使用新磁盤替換， 系統需在4小時之內恢 復數據到新替換的磁盤；(2) 單個存儲節點損壞或故障，需在 24小時內解決并恢復用戶訪問(3) 當存儲空間使用率達到一定額度時， 需對存儲擴容，存儲擴容工作 從提出到完成上線，需在 2 個月之內完成。(4) 工程實施的質量、安全，效率有保障；(5) 主動發現運行中出現的隱形問題和