1、TM百創存儲ujujujxStorcn云存儲項目大數據平臺解決方案地址:南京市白下區光華路1號孵化大樓一樓電話：4008855360官方網站：郵編:210014傳真:( 025) 83700385-8014官方微博：/njcstor TOC o 1-5 h z HYPERLINK l bookmark5 o Current Document 概述 3 HYPERLINK l bookmark7 o Current Document 建設背景 3 HYPERLINK l bookmark9 o Current Document 設計范圍 3 HYPERLINK l bookmark11 o Cu

2、rrent Document 總體設計原則 3 HYPERLINK l bookmark23 o Current Document 云存儲系統平臺設計 5 HYPERLINK l bookmark25 o Current Document 項目需求 6 HYPERLINK l bookmark39 o Current Document 設計思想 7 HYPERLINK l bookmark41 o Current Document 云存儲系統方案 8 HYPERLINK l bookmark43 o Current Document 系統優勢和特點 8 HYPERLINK l bookmark

3、59 o Current Document 系統架構 11 HYPERLINK l bookmark61 o Current Document 系統基本組成 11 HYPERLINK l bookmark63 o Current Document 系統功能描述 12 HYPERLINK l bookmark71 o Current Document 系統安全性設計 19 HYPERLINK l bookmark73 o Current Document 安全保障體系框架 19 HYPERLINK l bookmark75 o Current Document 云計算平臺的多級信任保護 21 H

4、YPERLINK l bookmark77 o Current Document 基于多級信任保護的訪問控制 25 HYPERLINK l bookmark81 o Current Document 云平臺安全審計 28 HYPERLINK l bookmark85 o Current Document 工作機制 31 HYPERLINK l bookmark87 o Current Document 數據寫入機制 31 HYPERLINK l bookmark89 o Current Document 數據讀出機制 32 HYPERLINK l bookmark91 o Current Do

5、cument 關鍵技術 32 HYPERLINK l bookmark93 o Current Document 負載自動均衡技術 32 HYPERLINK l bookmark95 o Current Document 高速并發訪問技術 33 HYPERLINK l bookmark97 o Current Document 高可靠性保證技術 33 HYPERLINK l bookmark99 o Current Document 高可用技術 34 HYPERLINK l bookmark101 o Current Document 低功耗存儲技術 34 HYPERLINK l bookma

6、rk103 o Current Document 分布式、分級、動態存儲技術34 HYPERLINK l bookmark105 o Current Document 接口描述 36 HYPERLINK l bookmark107 o Current Document POSIX 通用文件系統接口訪問 36 HYPERLINK l bookmark109 o Current Document 應用程序 API 接口調用 37 HYPERLINK l bookmark111 o Current Document 本地容錯與診斷技術37 HYPERLINK l bookmark113 o Curr

7、ent Document cStor高可靠性 37 HYPERLINK l bookmark121 o Current Document cStor數據完整性 37 HYPERLINK l bookmark123 o Current Document cStor快照技術 38 HYPERLINK l bookmark125 o Current Document 異地容災與恢復技術38 HYPERLINK l bookmark127 o Current Document cStor數據備份與恢復系統功能 38 HYPERLINK l bookmark141 o Current Document

8、cStor異地文件恢復 39 HYPERLINK l bookmark143 o Current Document cStor數據遷移歸檔 391 概述建設背景隨著銀行數據集中處理的實施，銀行業務運作、經營管理將越來越依賴于計算機網絡系統的可靠運行。 銀行所提供金融服務的連續性以及業務數據的完整性、 正確性、 有效性，會直接關系到銀行的生產、經營與決策活動。一旦因自然災害、設備故障或人為因素等原因引起計算機網絡系統停頓導致信息數據丟失和業務處理中斷， 將會給銀行造成巨大的經濟損失和聲譽損害，受到致命的打擊。生產運行系統的災難備份系統就顯得格外重要。 我們認為， 一旦實施銀行數據集中，災難備份系

9、統應該與生產運行應用系統同步投入使用， 保證銀行數據集中處理系統的運行安全。設計范圍本技術解決方案針對海量數據集中存儲與共享， 提供從系統軟硬件技術架構、 原理、硬件選型、網絡接入以及軟件與應用之間的接口等方面的全面設計闡述?？傮w設計原則針對本次工程的實際情況,充分考慮系統建設的建設發展需求，以實現系統統一管理、高效應用、平滑擴展為目標，以“先進、安全、成熟、開放、經濟”為總體設計原則。先進性原則在系統總體方案設計時采用業界先進的方案和技術，以確保一定時間內不落后。選擇實用性強產品， 模塊化結構設計， 既可滿足當前的需要又可實現今后系統發展平滑擴展。安全性原則數據是業務系統核心應用的最終保障，

10、不但要保證整套系統能夠7X24 運行，而且存儲系統必須有高可用性， 以保證應用系統對數據的隨時存取。 同時配置安全的備份系統， 對應用數據進行更加安全的數據保護， 降低人為操作失誤或病毒襲擊給系統造成的數據丟失。在進行系統設計時，充分考慮數據高可靠存儲，采用高度可靠的軟硬件容錯設計，進行有效的安全訪問控制， 實現故障屏蔽、 自動冗余重建等智能化安全可靠措施， 提供統一的系統管理和監控平臺，進行有效的故障定位、預警。成熟性原則為確保整個系統能夠穩定工作，軟件平臺將使用先進、完善、易于管理和穩定可靠的云存儲資源管理系統，對于與應用的集成接口，提供統一的通用穩定訪問接口。開放性原則系統建設具有開放性

11、的標準體系，提供符合posiX示準的通用文件系統訪問接口，開放的應用 API 編程接口，提供人性化的應用和管理界面，以滿足用戶需求。遵循規范的通用接口標準，使全系統中的硬件、通信、軟件、操作平臺之間的互聯共享。充分考慮系統的升級和維護問題， 維護采用在線式的， 即在系統不停止工作的情況下， 可以更換單元備件。系統的維護和升級操作由系統管理員即可完成。經濟性原則現有業務系統存儲數據量較大，且數據的增長速度較快。因此在建設系統存儲架構時， 應從長遠的角度考慮， 建設一個長期的存儲架構， 除了可以應對存儲硬件設備的升級速度外， 還必須考慮到對前期存儲設備的投資保護， 在保證不斷提供功能和性能提高的同

12、時， 存儲架構在較長的時間內能夠保持相對穩定。 結合先進的云平臺技術架構優勢，根據本次項目建設的實際容量需求設計， 同時充分考慮應用發展需求， 實現系統可彈性在線平滑升級。 通過軟件實現在較廉價普通服務器上實現高度容錯， 同時能夠在較低冗余度的情況下實現高度可靠容錯，大大節約和降低系統建設的硬件成本。1.4 1 項目建設目標建立災難備份中心的目的是：以最合理的代價保護應用數據的完整性與安全性，在災難發生后盡快恢復運行， 減少業務停頓時間， 盡可能不中斷或不影響業務的正常進行， 使災難造成的損失降到最小。 即不管兩個系統相離多遠， 當一個數據中心出現問題時， 另一個數據中心就應能迅速接替運行，

13、既要保證業務數據的完整性， 又要保證關鍵 業務的連續性。隨著商業銀行的業務發展及競爭的日益加劇， 國外商業銀行又提出了業務連續 性的要求。這種要求的產生背景是：商業銀行承諾向客戶提供“ 3A” 服務 （即任何時間 Anytime ， 任何地點 Anywhere，任何方式Anyways）。由于家庭銀行、企業銀行、網絡銀行、電話銀行、 ATM/POS等電 子銀行的出現， 客戶不受銀行終端用戶的上下班時間及位置的限制， 享受銀行提供的金 融服務。2 ）隨著銀行金融服務和金融市場的拓展，商業銀行比較注重銀行間相互聯網。這樣，當客戶外出時，無需攜帶大量現金，也無需在當地銀行、外幣找換店及酒店兌換外幣，可

14、直接在當地自助設備上提取當地貨幣，還可辦理各種存取款、轉帳、申請結單 或支票等業務，既節省時間，又極大方便了客戶。要求銀行服務具有連續性。3）在開放的金融市場環境下，為適應市場需求，發達國家的商業銀行從注重規模效益轉為重視深度效益。 注重客戶關系及客戶價值是變革的關鍵， 而深度效益的內涵是對詳細客戶信息和市場信息的組織和分析，利用數據倉庫（DATA WAREHOUSE）數據采掘（DATA MINING）技術從業務數據中提取可供輔助決策用的信息。數據倉庫是將銀行 各自分散的原始數據（如主機中的帳務數據）匯集和整理成為單一的管理信息數據庫、客戶信息數據庫， 面向專題和時間組織數據， 并對數據進行集

15、成。 使用數據采掘技術從數據倉庫中提取隱藏的預測性信息，為銀行提供完整、及時、準確的商業決策信息，為銀行經營決策人員提供輔助決策支持。 它要求原始數據具有實時性、 連續可用性， 并具 有較好的完整性與長時間延續性。保持業務的連續性要求災難恢復系統實現更高的目標： 除了以最合理的代價保護應用數據的完整性與安全性， 在災難發生后盡快恢復運行， 減少或盡可能消除業務停頓時間外，還應做到：1 ）保證業務的連續性與延續性，即保證業務數據的連續性，為銀行的決策支持系統提供連續完整的基本數據；2 ）縮小或取消應用系統用于批處理和數據備份（如磁帶備份）的時間，保證關鍵業務服務24小時不中斷，使應用系統的服務時

16、間達到7X24,滿足銀行互聯及客戶的需求；2 云存儲系統平臺設計項目需求災難類型需求常見的銀行災難主要包括以下幾個方面：（ 1）自然災害：造成計算機災難的自然災害有：火災、水災、雷擊、臺風、地震、鼠害等。根據有關資料，XXXX*區發生毀壞性地震的可能性不大，并且，現有生產運行中心所在地-XXXX 大廈，在修建時作了抗7 級以下地震的設計。 XXXX地區附近無大江大河，不會出現洪澇。因此對我們生產運行系統來講，自然災害主要是指水災、火災、雷擊和鼠害。（ 2）計算機系統故障：引起計算機系統故障的因素有下述幾點：a.主機系統故障：主要指：數據庫系統故障、系統軟件故障、硬盤損壞、網卡故障、電源故障、應

17、用系統缺陷、其它故障b.主機房故障：主要指：主機房電源故障、主機房通訊故障、主機房水災、主機房火災、主機房鼠害c.整幢樓房故障:主要指：整幢樓房電源故障、整幢樓房火災或水災、整幢樓房其它災害(4)人為因素：由于應用系統缺陷、誤操作、人為蓄意破壞、外來暴力事件等都將直接影響系統的安全運行。 。吞吐量需求為滿足多用戶或應用整體吞吐帶寬需要，確保數據訪問流暢，系統需提供多用戶或應用并發訪問高吞吐帶寬設計， 系統能夠有效利用網絡帶寬， 性能可通過規模增加實現平滑增長。擴展性需求未來根據業務應用的變化和發展，需要快速實施系統資源的升級，可以在業務服務不間斷的狀態下平滑擴展， 不會導致架構發生根本性變化，

18、 為不斷產生和變化的業務需求提供持續的支持，支持業務系統的快速整合和部署對核心系統基礎架構的特別要求。低成本需求要求系統能夠以低硬件成本、低維護成本實現高可靠高性能應用要求，充分提高資源利用率，簡化管理，并能靈活、可持續擴展。可維護性需求要求系統具有自適應管理能力，安裝、維護、升級簡易方便，提供統一易用的 WEB 配置管理監控平臺，實現智能化管理。接口需求要求能夠提供通用的文件系統接口，方便用戶及應用系統訪問，減少與應用集成或開發工作量，實現系統快速部署與集成。設計思想采用業界成熟先進的云平臺架構思想， 采用軟件實現對大量普通商用服務器存儲空間資源進行虛擬化整合， 實現軟硬件故障高度容錯， 將

19、系統控制流與數據流分離， 同時使得數據在邏輯上集中、 物理上分散， 每臺服務器同時對外提供服務， 以達到多并發高吞吐量的性能要求， 采用自注冊機制、 故障自動屏蔽、 自動冗余重建技術實現系統自我維護和平滑擴展，系統服務7X24小時不間斷。系統采用先進的編解碼容錯技術，可根 據數據可靠性要求設置適當的冗余編解碼策略進行系統部署，可以以極小的磁盤和硬件冗余度，實現高度的可靠性數據容錯。云存儲系統方案采用業界已經成熟的cStor云存儲資源管理系統，在多臺普通商用服務器上構建高 性能高可靠云存儲系統，作為本次系統云數據中心存儲平臺，其應用部署示意圖如下圖 所示。應用服務層網絡交換機=存儲節點/服務節點

20、1 存儲節點/服務節點2存儲節點/服務節點3教 據 存 儲 層存儲節點/服務節點ncStor云存儲資源管理系統部署示意圖系統優勢和特點cStor云存儲系統是一套軟件與硬件相結合的系統，其中專有技術和軟件是高附加值 部分，可以廣泛應用于需要存儲大量數據的應用場合（如安防、廣電、電信、互聯網、銀行等領域） 。該系統相比傳統存儲系統有如下技術優勢：高度可靠存儲系統采用云架構，數據被分塊存儲在不同的存儲節點上，數據采用先進的 1:1容錯機制進行容錯， 可在任意損壞一個存儲服務器節點的情況下實現數據完整可靠， 系 統對外存儲訪問服務不間斷。云存儲的管理節點采用了主備雙機鏡像熱備的高可用機制， 在主管理節

21、點出現故障時， 備管理節點自動接替主管理節點的工作， 成為新的主管理節點， 待故障節點修復并重啟服務后，它則成為新的備管理節點，保障系統的7X24小時不間斷服務。優異性能cStor采用控制流與數據流分離的技術，數據的存儲或讀取實際上是與各個存儲節點上并行讀寫，這樣隨著存儲節點數目的增多，整個系統的吞吐量和 IO 性能將呈線性增 長。同時，cStor采用負載均衡技術，自動均衡各服務器負載，使得各存儲節點的性能調節到最高，實現資源優化配置。無限容量系統容量僅受限于卷管理服務器內存，可支撐的容量接近無限，經推算，理論容量為 1024 X 1024X 1024 PB （1的 PB 容量）。在線伸縮cS

22、tor云存儲資源管理系統擴容非常方便，支持不停止服務的情況下，動態加入新的存儲節點，無需任何操作，即實現擴容；同時，無需人為干預，也可以摘下任意節點，系統自動縮小規模而不丟失數據，存儲在此節點上的數據將會重新備份到其他節點上。通用易用cStor云存儲系統提供符合POSIX標準的通用文件系統接口，無論是哪種操作系統下的應用程序， 都可以不經修改將云存儲當成自己的海量磁盤來使用。 同時， 也提供專用的API接口，供開發人員調用。智能管理提供基于WEB的管理控制平臺，所有的管理工作均由cStor管理模塊自動完成，使用人員無需任何專業知識便可以輕松管理整個系統。通過管理平臺，可以對cStor 中的所有

23、節點實行實時監控， 用戶通過監控界面可以清楚地了解到每一個節點和磁盤的運行情況； 同時也可以實現對文件級別的系統監控， 支持損壞文件的查找和修復功能。 系統提供用戶安全認證及對不同用戶進行配額設置與權限管理功能， 滿足應用的日常維護和安全管理需求。3系統架構在本次系統建設中，云存儲系統屬于基礎平臺支撐層，以用于數據集中存儲和共享， 實現對數據的統一管理和高效應用。 將數據邏輯集中物理分散，以提供多并發高吞吐帶 寬，最大程度降低系統訪問瓶頸。下面具體說明cStor云存儲資源管理系統的基本組成和主要功能。系統基本組成cStor云存儲資源管理系統采用分布式的存儲機制，將數據分散存儲在多臺獨立的存 儲

24、服務器上。它采用包括卷管理服務器、元數據管理服務器( Master Server)、數據存 儲節點服務器(Chunk Server)和掛接訪問客戶端以及管理監控中心服務器的結構構成 虛擬統一的海量存儲空間。在每個服務器節點上運行cStor云存儲資源管理系統的相應的軟件服務程序模塊。系統架構框圖如下圖所示。國戶修fl者白尸罐1喜戶股*卷管理服務H客戶郎落卜邛，雷聲端HeM需件用心主卷管理阻務器Kft中辦9壬元的胃呷得生1備元的需腎建中匕1部提茅感陽總親尿產用期臂點科自B王元的強青瘠玨先2*7E時第蓄厚罌融附福駐點1;一 獨據節點工;L出HSVAfJ肌王元時)S壽鼎吉3睛無時國青理節點3 ：笥期節

25、點1 |：_M據節點2；效取中舄3|；攜軍圾MfflFKWAcStor 云存儲資源管理系統架構其中，Master Server保存系統的元數據，負責對整個文件系統的管理，Master Server在邏輯上只有一個， 但采用主備雙機鏡像的方式， 保證系統的不間斷服務； Chunk Server負責具體的數據存儲工作，數據以文件的形式存儲在Chunk Server上，Chunk Server的個數可以有多個，它的數目直接決定了 cStor 云存儲系統的規模；掛接訪問客戶端即為服務器對外提供數據存儲和訪問服務的窗口，通常情況下，客戶端可以部署在 ChunkServer上，每一個塊數據服務器，既可以作

26、為存儲服務器同時也可以作為客戶端服務器。由一對元數據服務器及其管理的存儲服務器節點所提供的存儲空間稱為一個卷空間，不同的卷空間由卷管理服務器虛擬化統一管理，對外可提供統一的海量存儲空間。管理監控中心提供統一易用的 WEB配置管理監控平臺，提供設備監控、空間監控、文件監控、服務監控、用戶認證管理、配額管理、故障告警及預警等功能，實現智能化管理。這種分布式系統最大的好處是有利于存儲系統的擴展和實現， 在小規模的數據擴展時，只需要添加具體的Chunk Server即可，而不需要添加整套設備。在實現大規模擴展時也可方便地添加整個卷設備。系統功能描述cStor云存儲資源管理系統從功能上劃份為三大部分：c

27、Stor 分布式文件系統分布式文件系統實現文件數據存儲、 可靠性容錯、 可伸縮性保證、 高可用保證、負載均衡和流量分擔等功能。存儲訪問接口cStor提供符合POSIX規范的文件系統訪問接口 ,通過cStor訪問掛接程序可將云存儲空間掛接為本地目錄或磁盤。同時可提供專用的 API 接口，支持業務應用層程序對云存儲系統的直接訪問。管理監控中心管理監控中心提供帳戶管理、設備管理、系統監控、卷管理、告警管理、故障管理等功能。卜面逐一詳細介紹各部分系統功能cStor分布式文件系統cStor分布式文件系統包括卷管理、元數據管理、塊數據管理服務。參考上面系統架 構框圖左側部分。元數據是指文件的名稱、屬性、數

28、據塊位置信息等，元數據管理通過元數據服務程序完成。因元數據訪問頻繁，故系統將元數據加載緩存至內存中管理，提高訪問效率。由于元數據的重要性， 元數據損壞或丟失則相當于文件數據丟失， 因此實現了元數據服務器主備雙機高可用，確保7 X 2 4小時不間斷服務。通過元數據遠程多機冗余備份功能，實現在多臺其它機器上備份元數據，當元數據服務器損壞，可以通過備份的元數據重新恢復服務，切保數據可以完整找回。塊數據是指文件數據被按照一定大?。J 64MB）分割而成的多個數據塊，分布 存儲到不同的存儲節點服務器上，并通過編解碼容錯算法產生相應的冗余塊。塊數據服務是運行在每個存儲節點服務器上的塊數據管理程序， 負責

29、使用存儲服務器上的磁盤空間存儲文件數據塊，并實現相應的編解碼功能。相比較傳統業界的云存儲采用塊數據簡單備份冗余容錯機制， 編解碼容錯方式大大降低了硬件資源冗余度，提高了磁盤利用率。由一對主備元數據服務器及其所管理的塊數據服務器管理節點設備及其所提供的存儲空間稱為一個卷。卷管理服務器負責將多個卷虛擬化整合，對外提供統一的整體訪問云存儲空間。文件系統采用中心服務器模式分布式存儲架構，控制流與數據流分離，通過增加存儲節點系統采用自動注冊機制，實現系統高可伸縮性，增加或減少存儲節點規模，不影響系統正常提供存儲訪問服務。該系統架構實現了統一調度，負載均衡和流量自動分擔功能，多個存儲節點同時對外提供數據流

30、服務， 系統根據磁盤空間使用比例進行資源優化配置。 同時在多個不同的存儲節點之間實現根據空間比例進行優化配置， 數據優先存儲的空間利用比例相對較低的磁盤或存儲服務器上。cStor分布式文件系統具有自動冗余重建功能，確保損壞的數據塊能夠被解碼或編碼 后存儲到在線的正常的存儲服務器節點上。存儲訪問接口cStor分布式文件系統提供符合POSIX規范的文件系統訪問接口。支持Linux、Windows、MaxOS X等操作系統平臺。可將云存儲系統提供的存儲空間掛接為本地目錄 或本地盤符來使用。用戶操作云存儲空間和操作本地文件相同。另外 cStor 提供專用的高速存取訪問 API 接口，供性能要求很高的高

31、端應用程序對接使用。管理監控中心管理監控中心為系統管理員配置和維護 cStor 云存儲資源管理系統的有效工具，充分體現了系統的可維護性。管理監控中心提供帳戶管理、設備管理、系統監控、卷管理、告警管理、故障管理等功能。以下為部分系統管理界面。設備管理系統監控Hi)_*M 4WA- ” 1SIS4 9.舊r Lutr M*i4w Um %告警信息lljSli*RRV“刑，亶曲H叁rIMIIIMtllj- rt*rjnM他.di 卡祜，i*網hoi |iiis t n4HMCVWI1HEik nt r *asrm* Hri cnuqpitiiqr i it44，占*rE9Ltt n. F ;#nl

32、1 1EAE3-df4 ifi- fc OrahW LIil Bti aMrWBtt- * n* isR-BmE 心! * E4*RM n IB- Wi- .IB M r HIPHfWEI.eMMK* . i+*acrvsMfc)arr-ffr!： fip nr bmt.n-=IirtBH MB r 1DKX3-ET-W ! Ui tvEftn砧*.p. 元數據服務器(1)客戶端向元數據服務器請求讀出文件數據，元數據服務器返回數據塊位置列表；(2)客戶端進行數據塊讀出；(3)客戶端進行數據塊校驗；(4)對未能讀出的數據塊或無效塊通過同編碼組內其它數據塊進行解碼，獲得完整 正解的文件數據。6關鍵

33、技術負載自動均衡技術采用中心服務器模式來管理整個云存儲文件系統，所有元數據均保存在主管理服務器上，文件則劃分為多個節點存儲在不同的節點服務器上。主卷管理服務器維護了一個統一的命名空間，同時掌握整個系統內節點服務器的使用情況，當客戶端向元數據服務器發送數據讀寫的請求時，元數據服務器根據節點服務器的磁盤使用情況、網絡負擔等情況，選擇負擔最輕的節點服務器對外提供服務，自動均衡負載負擔。另外，當某有一個節點服務器因為機器故障或者其他原因造成離線時，主卷管理服務器會將此機器自動屏蔽掉， 不再將此節點服務器提供給客戶端使用， 同時存儲在此節點服務器上的數據也會自動的編碼冗余到其他可用的節點服務器上， 自動

34、屏蔽節點服務器故障對系統的影響。高速并發訪問技術客戶端在訪問云存儲時，首先訪問主卷管理服務器節點，獲取將要與之進行交互的節點服務器信息，然后直接訪問這些節點服務器完成數據存取?？蛻舳伺c主卷管理服務器之間只有控制流，而無數據流，這樣就極大地降低了主卷管理服務器的負載， 使之不成為系統性能的一個瓶頸。 客戶端與節點服務器之間直接傳輸數據流， 同時由于文件被分成多個節點進行分布式存儲， 客戶端可以同時訪問多個節點服務器，從而使得整個系統的 I/O 高度并行，系統整體性能得到提高。通常情況下，系統的整體吞吐率與節點服務器的數量呈正比。高可靠性保證技術對于元數據，通過操作日志來提供容錯功能，當主管理服務

35、器發生故障時，在磁盤數據保存完好的情況下， 可以迅速恢復以上元數據。 為了防止主管理服務器徹底死機的情況， 還提供了主管理服務器遠程的實時備份， 這樣在當前的主管理服務器出現故障無法工作的時候，另外一臺備管理服務器可以迅速接替其工作。對于節點服務器，采用編解碼的方式實現容錯，分布存儲在不同的節點服務器上。數據塊的分布策略考慮了多種因素，如網絡的拓撲、機架的分布、磁盤的利用率等。在其后的過程中， 如果相關的數據塊出現丟失或不可恢復等狀況， 主管理服務器會自動將該數據塊編解碼冗余到其他節點服務器， 從而確保數據塊的一定的冗余容錯， 進行自動冗余容錯重建。在有多個節點服務器的情況下，任意損失一個節點

36、，數據都不會丟失，而且隨著節點服務器數目的增多，整個系統的可靠性越大。高可用技術系統中的所有服務節點均是通過網絡連接在一起，由于采用了高可靠的容錯機制，系統增減節點不必停止服務， 可在線增減存儲節點， 存儲節點和元數據節點間通過注冊管理機制自適應管理，實現自動伸縮。元數據服務器采用主備雙機熱備技術，主機故障，備機自動接替其工作，對外服務不停止； 存儲節點采用編解碼冗余備份機制， 如采用 4:2 編碼容錯， 任意損失兩個節點，數據不丟失，服務不停止。低功耗存儲技術服務器的功耗取決于各個配件的總體功耗， 而主要耗電大戶則是處理器、 芯片組和存儲器了。 低功耗存儲技術主要是改進這些配件能夠進而實現節

37、能， 這樣服務器乃至數據中心整體功耗則會得到更好的控制。隨著嵌入式技術的飛速發展， 嵌入式的性能有了很大的提高， 嵌入式的性能與計算機的差距不斷縮小， 特別是在專用計算機領域。 由于嵌入式系統是應用在特定的環境下，針對特殊的用途來設計的系統。 所以不同于通用的計算機系統。 同樣是計算機系統， 嵌入式系統是針對具體應用設計的 “專用系統” 。 它的硬件和軟件都必須高效地設計。 “量體裁衣” ， 去除冗余， 力爭在較少的資源上實現更高的性能。 與通用的計算機系統相比，它具有功耗低，體積小、集成度高、成本低等優點。可以被應用在近線存儲、離線存儲的存儲節點的設計上， 有效的減少成本和使用的功耗， 同時

38、相應的散熱系統也可以簡化。分布式、分級、動態存儲技術云存儲系統，就是將數據分散存儲在多臺獨立的設備上。傳統的網絡存儲系統采用集中的存儲服務器存放所有數據， 存儲服務器成為系統性能的瓶頸， 也是可靠性和安全性的焦點， 不能滿足大規模存儲應用的需要。 分布式網絡存儲系統采用可擴展的系統結構， 利用多臺存儲服務器分擔存儲負荷， 利用位置服務器定位存儲信息， 它不但提高了系統的可靠性、可用性和存取效率，還易于擴展。云存儲系統將普通商用的PC機或工 作站通過高速網絡互聯在一起組成機群， 能夠根據系統的需要隨時增加新的硬件， 提高系統的可伸縮性和可用性， 從而能夠在價格低廉的中低端平臺上獲取高端或者超級計

39、算機系統才具備的高可伸縮性、高可用性和高性能。分級存儲是根據數據的重要性、訪問頻率、保留時間、容量、性能等指標，將數據采取不同的存儲方式分別存儲在不同性能的存儲設備上，通過分級存儲管理實現數據客體在存儲設備之間的自動遷移。 數據分級存儲的工作原理是基于數據訪問的局部性。 通過將不經常訪問的數據自動移到存儲層次中較低的層次，釋放出較高成本的存儲空間給更頻繁訪問的數據， 可以獲得更好的性價比。 這樣， 一方面可大大減少非重要性數據在一級本地磁盤所占用的空間，還可加快整個系統的存儲性能。傳統的數據存儲一般分為在線（On-line*儲和離線（Off-line）存儲兩級存儲方式。而在 分級存儲系統中，一

40、般分為在線 （On-line）存儲、近線（Near-line）存儲和離線（Off-line） 存儲三級存儲方式。1 ）在線存儲是指將數據存放在高速的高性能的云存儲系統存儲設備上，適合存儲那些需要經常和快速訪問的程序和文件， 其存取速度快， 性能好， 存儲價格相對昂貴。在線存儲，是工作級的存儲，其最大特征是存儲設備和所存儲的數據時刻保持“在線”狀態，可以隨時讀取和修改，以滿足前端應用服務器或數據庫對數據訪問的速度要求。2 ）近線存儲是指將數據存放在低速的磁盤系統上，一般是一些存取速度和價格介于高速磁盤與磁帶之間的低端磁盤設備。 近線存儲外延相對比較廣泛， 主要定位于客戶在線存儲和離線存儲之間的應

41、用。 就是指將那些并不是經常用到 （例如一些長期保存的不常用的文件歸檔） ，或者說訪問量并不大的數據存放在性能較低的存儲設備上。但對這些設備的要求是尋址迅速、傳輸率高。因此， 近線存儲對性能要求相對來說并不高，但又要求相對較好的訪問性能。同時多數情況下由于不常用的數據要占總數據量的較大比重， 這也就要求近線存儲設備在需要容量上相對較大。 近線存儲設備主要有采用低功耗架構的云存儲系統。3 ）離線存儲，指將數據備份到磁帶或磁帶庫上。大多數情況下主要用于對在線存儲或近線存儲的數據進行備份，以防范可能發生的數據災難，因此又稱備份級存儲。離線存儲通常采用磁帶作為存儲介質，其訪問速度低，但價格低廉的海量存

42、儲。本次云存儲系統方案，就采用了分級技術，把存儲信息根據信息的重要性、訪問頻率等對信息進行了分級存儲，將文件的元數據等訪問頻繁的重要信息時刻保持在線存儲， 開機后保存在內存中， 可以隨時讀取和修改， 以滿足前端應用服務器或數據庫對數據訪問的速度要求。 將其它備份數據、冗余容錯的數據等訪問量小的數據等采用廉價的SATAM盤存儲。對于訪問量小的數據采用離線存儲，一旦需要訪問這些數據可以使用相應的喚醒策略來實現將離線轉為在線， 如通過網絡喚醒機制等。 對于與時間緊密相關的數據（如新聞、電視等內容信息）的存儲，這些數據隨著時間的推移，它們的使用頻率越來越少， 我們可以根據時間來對這些信息進行分級動態存

43、儲， 如將前幾個月的歷史數據存放到離線存儲設備上， 它們的元數據信息也不需要存儲在元數據服務器的內存中， 直接存放在元數據服務器的硬盤中， 如果需要訪問時可以將其調入內存中。 對于這些存儲這些過時信息的存儲節點可以讓其一直處于待機狀態， 一旦要使用可以通過網絡喚醒讓其工作起來。接口描述作為云平臺基礎架構層的cStor云存儲系統，主要支持兩種訪問方式：POSIX通用 文件系統接口訪問；通過專用 API訪問。具體描述如下。POSIX 通用文件系統接口訪問cStor客戶端掛接程序支持Linux/Unix/Windows/MacOS等操作系統，并且支持POSIX 接口規范， 通過客戶端將云存儲系統掛載

44、成本地目錄或磁盤后， 用戶可以如同操作本地 目錄或磁盤一樣使用云存儲空間。同時，對于基于本地文件系統的應用程序，可以不加修改，直接應用在云存儲系統上。通常情況下，可以通過在客戶端的基礎上部署FTR NFS等服務器的方式，對外提 供基于FTP和NFS的數據存儲訪問應用程序 API 接口調用cStor云存儲系統對外提供應用程序API訪問接口，可以根據實際應用的需要編寫應用程序，通過調用相應的接口直接訪問cStor云存儲系統。本地容錯與診斷技術cStor高可靠性快速恢復不管如何終止服務，元數據服務器和存儲服務器都會在幾秒鐘內恢復狀態和運行。實際上， 我們不對正常終止和不正常終止進行區分， 服務器進程

45、都會被切斷而終止。 客戶機和其他的服務器會經歷一個小小的中斷， 然后它們的特定請求超時， 重新連接重啟的服務器，重新請求。數據塊恢復每個數據塊都會被備份到放到的不同存儲服務器上。對不同的目錄和文件，用戶可以設置不同的備份級別。 在存儲服務器掉線或是數據被破壞時， 元數據服務器會按照需要來復制數據塊。元數據備份元數據服務器采用雙機熱備技術，在主元數據服務器發生異常中斷時，能夠在秒級內切換到備元數據服務器，而不會中斷業務。另外還可以采用冷備份機制，單獨將元數據備份到另外第 3 臺機器中，從而確保萬無一失。cStor數據完整性每個存儲服務器都利用校驗和來檢驗存儲數據的完整性。在讀數據時，存儲服務器首

46、先檢查與被讀內容相關部分的校驗和，因此，服務器不會傳播錯誤的數據。 如果所檢查的內容和校驗和不符， 服務器就會給數據請求者返回一個錯誤的信息， 并把這個情況報告給元數據服務器。 客戶機就會讀其他的服務器來獲取數據， 而元數據服務器則會從其他的拷貝來復制數據， 等到一個新的拷貝完成時， 元數據服務器就會通知報告錯誤的服務器刪除出錯的數據塊。寫數據時的校驗和計算優化了， 因為這時主要的寫操作。 我們只是更新增加部分的校驗和。在空閑時間， 服務器會檢查不活躍數據塊的校驗和， 這樣可以檢查出不經常讀的數據的錯誤。一旦錯誤被檢查出來，服務器會拷貝一個正確的數據塊來代替錯誤的。cStor快照技術快照操作幾

47、乎在瞬間構造一個文件和目錄樹的副本， 同時將正在進行的其他修改操作對它的影響減至最小。異地容災與恢復技術隨著企業規模的擴展， 用戶原有意識中的數據備份已經無法滿足關鍵業務對系統的可用性、 實時性、 安全性的需要。 更重要的是備份的數據往往會因為各種因素而遭到毀壞，如地震、火災、丟失等。所以需要異地容災備份技術，從而進一步提高數據抵抗各種可能安全因素的容災能力。cStor數據備份與恢復系統功能自動備份用戶可根據工作需要進行備份策略的設置， 根據用戶設定的策略自動備份需要備份的文件，備份過程無須人工干預。持續備份可以連續實時捕獲所需備份文件的數據變化， 并自動保存變化的數據和時間戳（即表示數據變化

48、的時間節點），在此基礎上可以實現過去任意時間點的數據恢復。完全備份將備份集所包含的全部文件備份到“黑方”服務器。增量備份首次的完全備份結束后，針對用戶設定的備份集，自動進行增量備份，在捕獲到文件修改事件消息后，實時備份新修改的文件。差異備份即差量備份，針對具體的文件而言，為了減少存儲空間的占用，采用差異備份，每次文件修改操作被捕獲后，僅備份相對于初始完全備份后所變化的文件數據內容。定時備份設定好定時備份的時間點后，到了設定的時間點，程序自動備份目標文件。cStor異地文件恢復用戶可以使用恢復功能將文件從異地cStor 備份系統下載到本地硬盤，也可以進行批量恢復，尤其是可以按照設定時間（年、月、日、時、分、秒）恢復所需文件。cStor數據遷移歸檔數據中心分級按省級數據中心、區域級數據中心和國家級數據中心三級進行數據存儲和管理。省級數據中心：為省內各終端用戶提供數據存儲服務，提供省級數據使用平臺；區域級數據中