1、基于糾刪碼的分布式容錯存儲技術研究, , : , ,而節點失效導致的數, 相比于副本技術 , 基于糾刪碼的數據冗余技術能夠在保證相同容錯能力的基 礎上, 極大地降低存儲開銷 , 成為了當前分布式存儲領域研究的熱點。 基于糾刪碼 的分布式容錯存儲技術面臨的主要挑戰在于 :(1) 現有的糾刪碼數據寫入方法將 數據分塊、編碼與傳輸等任務集中于同一節點 , 存在較為嚴重的瓶頸問題。隨著數據量的不斷增大 ,瓶頸問題更加突出。 (2) 節點規模的不斷增加使得多 點失效的概率明顯增大 , 在多點修復過程中現有的糾刪碼數據修復方法修復效率 較低, 修復開銷較大。(3) 糾刪碼更新過程中涉及較多的數據傳輸與復雜

2、的數據計算 , 現有的糾刪 碼更新方法需要消耗較大的網絡開銷 ,導致了較低的更新效率。 為此,本文圍繞實 現基于糾刪碼的高效低成本存儲服務這一目標 , 分別針對基于糾刪碼的數據寫入、 數據修復和數據更新技術展開深入研究。針對已有的糾刪碼數據寫入方法因單點瓶頸而導致寫入效率較低的問題, 本文研究提出了一種基于分組的分布式流水線數據寫入方法D2CP D2CP 采用一種基于分組的分布式框架以維護源節點、數據節點與編碼節點之間的鄰居關系。通過一種基于一致性哈希的數據放置算法，D2CP 將節點位置與數據存儲位 置進行哈希計算以提高數據放置效率。為了降低寫入開銷，D2CP 采用一種基于分 組的數據發送調度

3、算法以動態調度源節點的數據發送。，D2CP 組織編碼節點之間的計算。基于 HDFS-RAIDf 與目前 已有的糾刪碼數據寫入方法相比，D2CP 24.5%, 顯著提升了糾刪碼數據寫入效 率并降低了網絡開銷。在多點失效場景中 , 集中式修復方法存在單點瓶頸的問題 , 而分布式修復方 法存在修復開銷大的問題。兩種方法的修復效率隨著數據量的增大而顯著下降。為此，本文研究提出了一種基于協作的自適應數據修復方法DARSDARS采用一種星型結構與樹型結構結合的自適應數據修復模型以同時支持單點失效和多 點失效的修復。通過一種帶寬感知的節點選擇算法，DARS 選擇具有更高可用帶寬的節點以 保證節點之間的高可用

4、帶寬。通過一種線型結構的數據傳輸算法，DARS 有效組織 提供者節點與中繼節點之間的數據傳輸。通過一種基于中心節點的數據分發算法，DARS 有效組織協調者節點與新生 節點之間的數據交互 , 進而保證節點之間的數據傳輸效率。為了最小化網絡代 價,DARS 通過條調整提供者節點的數目從而保證負載的均衡性。，并動態基于HDFS-RAIDfTSR和CORE目比,，DARS29%和55%,顯著提升了糾刪碼數據修復效率。 更新過程中復雜的數據傳輸與計算 使得已有的糾刪碼單點更新方法效率隨著數據規模的增長而顯著下降為此, 本文研究提出了一種基于樹型結構的單點數據更新方法 TA-UpdateTA-Update

5、 采用一種編碼參數無關的更新樹結構維護節點之間的連接關系,以支 持不同參數的編碼算法。通過一種機架感知的樹型構建算法 ,TA-Update 構建了一顆最優更新樹 , 以 保證節點之間數據傳輸的高效性。通過一種自頂向下的流水線數據處理算 法,TA-Update 將節點之間的數據傳輸流水線化并將更新計算任務分布在多個不 同的節點中。TA-Update 通過一種基于緩存的失效處理算法高效修復失效數據并恢復暫 停的更新過程以提高方法的適應性。基于HDFS-RAID， ,TA-Update在單點失效情況下的更新時間平均減少了糾刪碼單點更新效率。44%,顯著提升了多點更新過程中 ,順序更新的方式導致已有的

6、更新方法更新開銷較大 ,更新 效率隨著數據量的增大而顯著下降。為此 , 本文研究提出了一種基于分組結構的 多點更新方法Group-U。Group-U 采用基于分組的更新框架以有效組織節點之間的鄰居關系。 通過一 種負載感知的分組算法 ,Group-U 依據更新負載自適應地為多個待更新節點選擇 合理的分組方式與分組大小。通過一種混合更新算法 ,Group-U 依據時間間隔閾值有效組織多個更新節點 的更新時機,從而保證數據節點的數據一致性和編碼節點的更新效率。通過一種 基于緩存的失效處理算法 ,Group-U 有效處理更新過程中出現的節點失效并保證 更新過程的順利進行基于HDFS-RAIDf 臺的測試結