1、文件服務器架構方案摘要分布式文件系統的使命FastDFS如何應對FastDFS基礎應用總結：優缺點其他文件系統的對比分布式文件系統的使命冗余備份；負載均衡；線性擴容等機制；大量請求中高可用、高性能；容災和可拓展性。FastDFS如何應對FastDFS的基本架構特征輕量級；分組方式；對等結構。輕量級跟蹤服務器（tracker）存儲服務器（storage）服務端只有兩角色：跟蹤服務器（tracker）和存儲服務器（storage）responserequest分組方式group1storage1storage2group2storage1storage2group3storage1”storage

2、2”Tracker servers對等結構FastDFS基礎應用基礎操作，數據流程網絡拓撲，實際應用容災，優化，版本升級文件上傳操作文件下載操作文件索引解析文件的存儲方式和返回文件名解析文件名包含：源頭storage IP地址和文件創建時間戳、文件大小、隨機數、文件拓展名。網絡拓撲-實施部署方案說明：tracker1+squid-1+storage1 使用一臺服務器，共2臺服務器2臺服務器配置：centOS 6.3x64位 2核+4GB內存 + 1TB存儲達到目標：1. 擴充空間只需要再增加一組服務器2. 2臺服務器可以均衡負荷訪問3. 2臺服務器的數據一致，解決了實時備份以HTTP方式下載文

3、件FastDFS分組存儲方式，為HTTP方式下載提供了便利FastDFS支持HTTP方式下載文件，可以使用內置web server或者外部web server需要解決文件同步延遲的問題可以采取如下兩種方式：tracker跳轉方式：通過Tracker server跳轉非tracker跳轉方式：Storage server直接提供文件下載HTTP下載方式一（tracker跳轉）HTTP下載方式一流程解讀通過Tracker server解決文件同步延遲的問題Tracker server上需使用內置web serverStorage server可以使用內置web server，也可以使用外部web

4、server。推薦使用外部web server，如apache或nginxHTTP下方式二（非tracker跳轉） 可以分為兩種方式：跳轉方式（redirect）代理方式（proxy）HTTP下載方式二（redirect）HTTP下載方式二（proxy）HTTP下載方式二流程解讀使用擴展模塊來解決文件同步延遲問題如果請求文件在當前storage上不存在，通過文件ID反解出源storage，直接請求源storagetracker server上不需要任何web server在每臺storage server上部署web server，直接對外提供HTTP服務目前已提供apache和nginx擴展

5、模塊推薦使用擴展模塊方式總結：優缺點優缺點（特性）適用業務場景特性不記錄文件索引信息對等結構，組內所有storage 存儲一致采用異步方式將源數據服務器主動push到其他數據庫服務器文件不進行分片處理客戶端訪問時需通過tracker指定storage優點支持同一文件只保存一份，節約磁盤空間下載文件支持HTTP協議，可以使用內置Web Server，也可以和其他Web Server配合使用支持在線擴容，支持主從文件storage上可以保存文件屬性（meta-data）文件不分塊存儲，上傳的文件和OS文件系統中的文件一一對應（實現了軟件RAID ）缺點缺點p自帶的http server端支持不足，

6、storage 擴展建議使用nginx；p沒有支持python的接口；p在服務器配置不統一時不能很好的調節磁盤空間負載壓力（非動態）；p需要客戶端自行記錄存儲信息，增加了客戶端的信息管理量。適用的業務場景 某大型網盤（有200個group，存儲容量達到了3PB，文件數近1億）UC （http:/ db；使用mysql來存儲文件索引等信息，文件同步通過tracker調度和中轉；動態冗余，靈活性一般；不支持文件附加屬性（meta data）；不支持文件偏移下載。MooseFS特點MooseFS文件系統結構包括以下四種角色：管理服務器 (master)，元數據日志服務器（Metalogger），數據

7、存儲服務器 (chunkservers)，客戶端（client）；文件分片（64Mb）；多點備份，動態冗余備份；可以自定義文件存儲路徑；需要保持文件索引，內存消耗較大；對小于64Kb的數據的存儲性能不高。TFS（TaobaoFS）特點完全扁平化的數據組織結構，拋棄了傳統文件系統的目錄結構。在塊設備基礎上建立自有的文件系統，減少EXT3等文件系統數據碎片帶來的性能損耗。單進程管理單塊磁盤的方式，摒除RAID5機制。帶有HA機制的中央控制節點，在安全穩定和性能復雜度之間取得平衡。盡量縮減元數據大小，將元數據全部加載入內存，提升訪問速度。跨機架和IDC的負載均衡和冗余安全策略。完全平滑擴容。HDFS特點1 擴容能力（Scalable）：能可靠地（reliably）存儲和處理千兆字節（PB）數據。2 成本低（Economical）：可以通過普通機器組成的服務器群來分發以及處理數據。這些服務器群總計可達數千個節點。3 高效率（Efficient）：通過分發數據，hadoop可以在數據所在的節點上并行地（parallel）處理它們，這使得處理非常的快速。4 可靠性（