分布式文件系統成都理工大學張雷

2010年12月26日

分布式文件系統1.分布式文件系統簡介2.分布式文件系統的歷史和現狀3.分布式文件系統的體系結構4.分布式文件系統的關鍵技術5.分布式文件系統的有關技術展望分布式文件系統的簡介1分布式文件系統定義2分布式文件系統特性3分布式文件系統映射4分布式文件系統安全分布式文件系統定義

分布式文件系統：

是指文件系統管理的物理存儲資源不一定直接連接在本地節點上，而是通過計算機網絡與節點相連。分布式文件系統的設計是基于客戶機/服務器模式。分布式文件系統架構圖分布式文件系統的特性容易訪問文件可用性服務器負載平衡文件和文件夾安全分布式文件系統的映射1分布式文件系統(DFS)映射包括DFS根目錄、一個或多個DFS鏈路和對一個或多個目標的參考。DFS根目錄所駐留的域服務器稱為主服務器。2通過在域中的其他服務器上創建“根目錄目標”，可以復制DFS根目錄。這將確保在主服務器不可用時，文件仍可使用。3DFS映射為用戶提供了對他們所需網絡資源的統一和透明的訪問。4對于系統管理員，DFS映射是單個DNS名稱空間：具有域DFS，DFS根目錄目標的DNS名稱將解析為DFS根目錄的主機服務器。分布式文件系統的安全1除了授予必要的權限之外，分布式文件系統(DFS)服務不實施任何超出WindowsServer2003家族系統所提供的其他安全措施。2目標的權限與DFS拓撲無關。3當用戶嘗試訪問某個目標和它的內容時，底層文件系統將強制安全。分布式文件系統的歷史與現狀1980--1990早期的分布式文件系統一般以提供標準接口的遠程文件訪問為目的，更多地關注訪問的性能和數據的可靠性。以NFS和AFS為代表.SpriteFileSystem也是早期比較有特色的分布式文件系統。NFS系統架構AFS系統架構分布式文件系統的歷史與現狀xFS加利福尼亞大學設計開發的xFS，克服了以前的分布式文件系統一般都運行在局域網（LAN）上的弱點，很好地解決了在廣域網上進行緩存，以減少網絡流量的難題。它所采用的多層次結構很好地利用了文件系統的局部訪問的特性，無效寫回（Invalidation-basedWriteBack）緩存一致性協議，減少了網絡負載。TigerSharkTigerShark并行文件系統是針對大規模實時多媒體應用設計的。它采用了多種技術策略保證多媒體傳輸的實時性和穩定性：采用資源預留和優化的調度手段，保證數據實時訪問性能；通過加大文件系統數據塊的大小，最大限度地發揮磁盤的傳輸效率；通過將大文件分片存儲在多個存儲設備中，取得盡量大的并行吞吐率；通過復制文件系統元數據和文件數據，克服單點故障，提高系統可用性。Frangipani基于虛擬共享磁盤Petal的Frangipani分布式文件系統，采用了一種新穎的系統結構—分層次的存儲系統。Petal提供一個可以全局統一訪問的磁盤空間。Frangipani基于Petal的特性提供文件系統的服務。這種分層結構使兩者的設計實現都得到了簡化。SFSSliceFileSystem（SFS）考慮標準的NFS在容量、性能方面存在的限制，采用在客戶機和服務器之間架設一個μproxy中間轉發器，以提高性能和可擴展性。它將客戶端的訪問分為小文件、元數據服務、大文件數據三類請求。通過μproxy將前兩種請求轉發到不同的文件服務器上，將后者直接發送到存儲服務器上。這樣SFS系統就可以支持多個存儲服務器，提高整個系統的容量和性能。μproxy根據請求內容的轉發是靜態的，對于整個系統中負載的變化難以做出及時反應。1990----1995分布式文件系統的歷史與現狀GFSGlobalFileSystem（GFS）吸取了對稱多處理器（SMP）系統設計和實現的原理，將系統中的每一個客戶機類比于SMP中的一個處理器。客戶機間沒有任何區別，可以平等地訪問系統中的所有存儲設備，就像處理器可以機會均等地訪問主存一樣。這樣的設計可以更好地利用系統中的資源，消除單個服務器帶來的性能瓶頸和單點失效問題。客戶端之間無需通信，因此可以很好地消除客戶機失效帶來的威脅。GFS采用特殊設計的DLOCK鎖機制，同步多個客戶機對同一設備的訪問，具有很高的效率。GPFSGPFS在系統設計中采用了多項先進技術。它是一個共享磁盤（Shared-disk）的分布式并行文件系統，客戶端采用基于光纖通道或者iSCSI與存儲設備相連，也可以通過通用網絡相連。GPFS的磁盤數據結構可以支持大容量的文件系統和大文件，通過采用分片存儲、較大的文件系統塊、數據預讀等方法獲得了較高的數據吞吐率；采用擴展哈希（ExtensibleHashing）技術支持含有大量文件和子目錄的大目錄，提高文件的查找和檢索效率。GPFS采用分布式鎖解決系統中的并發訪問和數據同步問題：字節范圍的鎖用于用戶數據的同步，動態選擇元數據節點（Metanode）進行元數據的集中管理；分布式鎖管理整個系統的空間分配等。GPFS采用日志技術對系統進行在線災難恢復。每個節點都有各自獨立的日志，且單個節點失效時，系統中的其他節點可以代替失效節點檢查文件系統日志，進行元數據恢復操作。1995---2000分布式文件系統的歷史與現狀隨著SAN和NAS兩種結構逐漸成熟，研究人員開始考慮如何將兩種結構結合起來。網格的研究成果等也推動了分布式文件系統體系結構的發展。主要代表有：2000年以后StorageTankLustrePanFS藍鯨文件系統（BWFS）分布式文件系統的歷史與現狀BWFS系統結構圖國內研究現狀中科院計算所研究的“曙光”系列機群服務器上的分布式文件系統COSMOS和DCFS主要采用的技術為：DCFS機群文件系統中的元數據服務器采用二級的樹狀結構、文件屬性緩存、集中式目錄緩存管理等技術存儲服務器主要采用了多線程和緩存技術。DCFS整個名字空間根據目錄關系劃分成多個子空間，分配到不同的元數據服務器管理，取得較好的性能、擴展性和可用性。分布式文件系統的體系結構數據訪問方式帶內模式和帶外模式系統服務器的方式一種是專用服務器結構（DedicatedServer），另外一種是無服務器結構（Serverless）。文件與系統服務器的映射文件到其相關的系統服務器的映射可分為兩種：單一映射和多維映射。有狀態和無狀態在分布式文件系統中，根據打開文件的狀態由誰記錄可以分為有狀態的（stateful）分布式文件系統和無狀態的（stateless）分布式文件系統。分布式文件系統的關鍵技術全局名字空間緩存一致性安全性可用性可擴展性此外，文件系統的快照和備份技術、熱點文件處理技術、元數據集群的負載平衡技術、分布式文件系統的日志技術等，都是目前分布式文件系統中需要解決的技術難點。分布式文件系統有關技術展望數據庫技術網絡技術虛擬存儲技術智能存儲設備各種計算機技術在不斷地發展，應用也在不斷地發展，促使分布式文件系統也需要不斷發展。以下一些技術和方向將對未來分布式文件系統的設計產生較大影響。藍鯨分布式文件系統BWFS采用基于IP的網絡環境，多個存儲設備形成一個共享的虛擬存儲池，提供大容量、可擴展的存儲空間。同時，存儲設備具有很好的I/O處理性能，通過千兆以太網（GigabitEthernet）提供外界訪問。有很高的傳輸速度和相對較低的成本，具有很好的性價比。吸取了很多其他本地文件系統和分布式文件系統的高級特性，克服了在某些分布式文件系統中存在的瓶頸，使其能夠真正滿足海量數據并發訪問的需求。藍鯨分布式文件系統結構圖藍鯨分布式文件系統特點BWFS為機群環境中的應用節點提供單一映象的文件系統接口。藍鯨分布式文件系統采用