第6章云存儲(chǔ)技術(shù)提綱存儲(chǔ)基礎(chǔ)知識(shí)云存儲(chǔ)概念與技術(shù)原理對(duì)象存儲(chǔ)技術(shù)存儲(chǔ)技術(shù)趨勢(shì)存儲(chǔ)重要?dú)v史回顧總的趨勢(shì)：存儲(chǔ)容量和IO速度的不斷增加。網(wǎng)絡(luò)存儲(chǔ)的發(fā)展網(wǎng)絡(luò)存儲(chǔ)根據(jù)服務(wù)器類(lèi)型可以進(jìn)行如下分類(lèi)：網(wǎng)絡(luò)存儲(chǔ)的發(fā)展根據(jù)組網(wǎng)形式不同，當(dāng)前三種主流存儲(chǔ)技術(shù)如下圖所示：DASDAS（DirectAttachedStorage—直接連接存儲(chǔ)）是指將存儲(chǔ)設(shè)備通過(guò)SCSI接口或光纖通道直接連接到一臺(tái)計(jì)算機(jī)上。優(yōu)勢(shì)連接簡(jiǎn)單低成本需求較好的性能通用的解決方案劣勢(shì)有限的擴(kuò)展性專(zhuān)屬的連接備份和數(shù)據(jù)保護(hù)TCO（總擁有成本高）NASNAS（NetworkAttachedStorage—網(wǎng)絡(luò)附加存儲(chǔ)）是將存儲(chǔ)設(shè)備連接到現(xiàn)有的網(wǎng)絡(luò)上，提供數(shù)據(jù)和文件服務(wù)，應(yīng)用服務(wù)器直接把FileI/O請(qǐng)求通過(guò)LAN傳給遠(yuǎn)端NAS中的文件系統(tǒng)，NAS中的文件系統(tǒng)發(fā)起B(yǎng)lockI/O到與NAS直連的磁盤(pán)。優(yōu)勢(shì)資源共享構(gòu)架于IP網(wǎng)絡(luò)之上部署簡(jiǎn)單較好的擴(kuò)展性異構(gòu)環(huán)境下的文件共享易于管理備份方案簡(jiǎn)單低的TCO劣勢(shì)擴(kuò)展性有限帶寬瓶頸不適應(yīng)某些數(shù)據(jù)庫(kù)的應(yīng)用SANSAN（存儲(chǔ)區(qū)域網(wǎng)絡(luò)）通過(guò)光纖通道連接到一群計(jì)算機(jī)上。在該網(wǎng)絡(luò)中提供了多主機(jī)連接，但并非通過(guò)標(biāo)準(zhǔn)的網(wǎng)絡(luò)拓?fù)洹?yōu)勢(shì)實(shí)現(xiàn)存儲(chǔ)介質(zhì)的共享非常好的擴(kuò)展性L(fǎng)ANFree和ServerFree高性能支持服務(wù)器集群技術(shù)容災(zāi)手段低的TCO劣勢(shì)成本較高SAN孤島技術(shù)較為復(fù)雜需要專(zhuān)門(mén)的技術(shù)人員維護(hù)DAS、NAS、SAN三種形態(tài)比較

DASNASFC-SANIP-SAN傳輸類(lèi)型SCSI、FCIPFCIP數(shù)據(jù)類(lèi)型塊級(jí)文件級(jí)塊級(jí)塊級(jí)典型應(yīng)用任何文件服務(wù)器數(shù)據(jù)庫(kù)應(yīng)用視頻監(jiān)控優(yōu)點(diǎn)易于理解兼容性好易于安裝成本低高擴(kuò)展性高性能高可用性高擴(kuò)展性成本低缺點(diǎn)難以管理，擴(kuò)展性有限；存儲(chǔ)空間利用率不高性能較低；對(duì)某些應(yīng)用不適合比較昂貴，配置復(fù)雜；互操作性問(wèn)題性能較低DAS、NAS、SAN每種組網(wǎng)技術(shù)都有其優(yōu)勢(shì)和劣勢(shì)，在實(shí)際運(yùn)用中需要權(quán)衡各方面的資源和適用范圍。一般來(lái)說(shuō)，DAS是最直接最簡(jiǎn)單的組網(wǎng)技術(shù)，實(shí)現(xiàn)簡(jiǎn)單但是存儲(chǔ)空間利用率和擴(kuò)展性差，而NAS使用較為廣泛，技術(shù)也相對(duì)成熟，SAN則是專(zhuān)為某些大型存儲(chǔ)而定制的昂貴網(wǎng)絡(luò)。RAIDRAID是廉價(jià)冗余磁盤(pán)陣列的簡(jiǎn)稱(chēng)，磁盤(pán)陣列是由很多價(jià)格較便宜的磁盤(pán)，組合成一個(gè)容量巨大的磁盤(pán)組，利用個(gè)別磁盤(pán)提供數(shù)據(jù)所產(chǎn)生加成效果提升整個(gè)磁盤(pán)系統(tǒng)效能。利用這項(xiàng)技術(shù)，將數(shù)據(jù)切割成許多區(qū)段，分別存放在各個(gè)硬盤(pán)上。在具體介紹RAID之前，我們先了解一下相關(guān)概念。名詞說(shuō)明分區(qū)又稱(chēng)為Extent；是一個(gè)磁盤(pán)上的地址連續(xù)的存儲(chǔ)塊。一個(gè)磁盤(pán)可以劃分為多個(gè)分區(qū)，每個(gè)分區(qū)可以大小不等，有時(shí)也稱(chēng)為邏輯磁盤(pán)。分塊又稱(chēng)為Strip；將一個(gè)分區(qū)分成多個(gè)大小相等的、地址相鄰的塊，這些塊稱(chēng)為分塊。分塊通常被認(rèn)為是條帶的元素。虛擬磁盤(pán)以它為單位將虛擬磁盤(pán)的地址映射到成員磁盤(pán)的地址。條帶又稱(chēng)為Stripe；是陣列的不同分區(qū)上的位置相關(guān)的strip的集合，是組織不同分區(qū)上條塊的單位。軟RAIDRAID的所有功能都依賴(lài)于操作系統(tǒng)（OS）與服務(wù)器CPU來(lái)完成，沒(méi)有第三方的控制/處理（業(yè)界稱(chēng)其為RAID協(xié)處理器――RAIDCo-Processor）與I/O芯片硬RAID有專(zhuān)門(mén)的RAID控制/處理與I/O處理芯片，用來(lái)處理RAID任務(wù)，不需耗用主機(jī)CPU資源，效率高，性能好。RAIDRAID可以細(xì)分為：RAID0、RAID1、RAID3、RAID5、RAID6、RAID10、RAID50。1）RAID0RAID0以條帶形式將RAID陣列的數(shù)據(jù)均勻分布在各個(gè)陣列中，沒(méi)有磁盤(pán)冗余，一個(gè)磁盤(pán)失敗導(dǎo)致數(shù)據(jù)丟失，所示，總?cè)萘?(磁盤(pán)數(shù)量)*(磁盤(pán)容量)。優(yōu)點(diǎn)可多I/O操作并行處理，極高的讀寫(xiě)效率速度快設(shè)計(jì)、使用與配置簡(jiǎn)單缺點(diǎn)無(wú)冗余不能用于關(guān)鍵數(shù)據(jù)環(huán)境RAID2）RAID1RAID1以鏡像作為冗余手段，虛擬磁盤(pán)中的數(shù)據(jù)有多個(gè)拷貝，放在成員磁盤(pán)上，具有100%的數(shù)據(jù)冗余，但磁盤(pán)空間利用率只有50%，所以，總?cè)萘?(磁盤(pán)數(shù)量/2)*(磁盤(pán)容量)。優(yōu)點(diǎn)理論上讀效率是單個(gè)磁盤(pán)的兩倍；100％的數(shù)據(jù)冗余；設(shè)計(jì)、使用簡(jiǎn)單缺點(diǎn)ECC（（錯(cuò)誤檢查與糾正））效率低下，磁盤(pán)ECC的CPU占用率是所有RAID等級(jí)中最高的，成本高；軟RAID方式下，很少能支持硬盤(pán)的熱插拔；空間利用率只有1/2RAID3）RAID3以xor校驗(yàn)為冗余方式，使用專(zhuān)門(mén)的磁盤(pán)存放校驗(yàn)數(shù)據(jù)，虛擬磁盤(pán)上的數(shù)據(jù)塊被分為更小的數(shù)據(jù)塊并行傳輸?shù)礁鱾€(gè)成員物理磁盤(pán)上，同時(shí)計(jì)算出xor校驗(yàn)數(shù)據(jù)存放到校驗(yàn)磁盤(pán)上。只有一個(gè)磁盤(pán)損壞的情況下，RAID3能通過(guò)校驗(yàn)數(shù)據(jù)恢復(fù)損壞磁盤(pán)，但兩個(gè)以上磁盤(pán)同時(shí)損壞情況下RAID3不能發(fā)揮數(shù)據(jù)校驗(yàn)功能?？?cè)萘?(磁盤(pán)數(shù)量-1)*(磁盤(pán)容量)。優(yōu)點(diǎn)相對(duì)較高的讀取傳輸率高可用性，如果有一個(gè)磁盤(pán)損壞，對(duì)吞吐量影響較小高效率的ECC操作缺點(diǎn)校驗(yàn)盤(pán)成為性能瓶頸每次讀寫(xiě)牽動(dòng)整個(gè)組，每次只能完成一次I/ORAID4）RAID5以XOR檢驗(yàn)為冗余方式，校驗(yàn)數(shù)據(jù)均勻分布在各個(gè)數(shù)據(jù)磁盤(pán)上，對(duì)各個(gè)數(shù)據(jù)磁盤(pán)的訪(fǎng)問(wèn)為異步操作，RAID5相對(duì)于RAID3改善了校驗(yàn)盤(pán)的瓶頸，總?cè)萘?(磁盤(pán)數(shù)-1)*(磁盤(pán)容量)。優(yōu)點(diǎn)高讀取速率中等寫(xiě)速率缺點(diǎn)異或校驗(yàn)影響存儲(chǔ)性能磁盤(pán)損壞后，重建很復(fù)雜RAID5）RAID6RAID6能夠允許兩顆磁盤(pán)同時(shí)失效的RAID級(jí)別系統(tǒng)，其總?cè)萘?(磁盤(pán)數(shù)-2)*(磁盤(pán)容量)。優(yōu)點(diǎn)快速的讀取性能更高的容錯(cuò)能力缺點(diǎn)很慢的寫(xiě)入速度成本更高RAID6）RAID10RAID10(鏡像陣列條帶化)將鏡像和條帶組合起來(lái)的組合RAID級(jí)別，最低一級(jí)是RAID1鏡像對(duì)，第二級(jí)為RAID0。其總?cè)萘?(磁盤(pán)數(shù)/2)*(磁盤(pán)容量)。優(yōu)點(diǎn)高讀取速率高寫(xiě)速率，較校驗(yàn)RAID而言，寫(xiě)開(kāi)銷(xiāo)最小至多可以容許N個(gè)磁盤(pán)同時(shí)損壞（2N個(gè)磁盤(pán)組成的RAID10陣列）缺點(diǎn)貴只有1/2的磁盤(pán)利用率RAID7）RAID50RAID50將鏡像和條帶組合起來(lái)的組合RAID級(jí)別，最低一級(jí)是RAID5鏡像對(duì)，第二級(jí)為RAID0。其總?cè)萘?(磁盤(pán)數(shù)－1)*(磁盤(pán)容量)。優(yōu)點(diǎn)比單個(gè)RAI5容納更多的磁盤(pán)比單個(gè)RAID5有更好的讀性能至多可以容許n個(gè)磁盤(pán)同時(shí)損壞（N個(gè)RAID5組成的RAID50陣列）比相同容量的單個(gè)RAID5重建時(shí)間更短缺點(diǎn)比較難實(shí)現(xiàn)同一個(gè)RAID5組內(nèi)的兩個(gè)磁盤(pán)損壞會(huì)導(dǎo)致整個(gè)RAID50陣列的失效RAID級(jí)別比較

需要根據(jù)具體的應(yīng)用情況決定使用那種RAID級(jí)別，各種級(jí)別的比較如表所示項(xiàng)目RAID0

RAID1RAID10

RAID5

、RAID3RAID6最小配置12434性能HighestLowestRAID5<RAID10<RAID0RAID1<RAID5<RAID10RAID6<RAID5<RAID10特點(diǎn)無(wú)容錯(cuò)最佳的容錯(cuò)最佳的容錯(cuò)提供容錯(cuò)提供容錯(cuò)磁盤(pán)利用率100%50%50%(N-1)/N(N-2)/N描述

不帶奇偶效驗(yàn)的條帶集磁盤(pán)鏡像RAID0與RAID1的結(jié)合帶奇偶效驗(yàn)的

條帶集雙校驗(yàn)位其中RAID3與RAID5的區(qū)別為：RAID3更適合于順序存取，RAID5更適合于隨機(jī)存取。需要根據(jù)具體的應(yīng)用情況決定使用那種RAID級(jí)別。磁盤(pán)熱備

所謂熱備份（簡(jiǎn)稱(chēng)為熱備）是在建立RAID磁盤(pán)陣列系統(tǒng)的時(shí)候，將其中一個(gè)磁盤(pán)指定為熱備磁盤(pán)，此熱備磁盤(pán)在平常并不操作，當(dāng)陣列中某一磁盤(pán)發(fā)生故障時(shí)，熱備磁盤(pán)便取代故障磁盤(pán)，并自動(dòng)將故障磁盤(pán)的數(shù)據(jù)重構(gòu)在熱備磁盤(pán)上。熱備盤(pán)可分為以下兩種：全局熱備盤(pán)：針對(duì)整個(gè)磁盤(pán)陣列，對(duì)陣列中所有RAID組起作用局部熱備盤(pán)：只針對(duì)某一RAID組起作用。

磁盤(pán)熱備的主要過(guò)程1）由5個(gè)磁盤(pán)組成RAID5，4個(gè)數(shù)據(jù)盤(pán)，1個(gè)熱備盤(pán)存儲(chǔ)校驗(yàn)條帶集，熱盤(pán)平時(shí)不參與計(jì)算。2）某個(gè)時(shí)刻某個(gè)數(shù)據(jù)盤(pán)損壞，熱備盤(pán)根據(jù)校驗(yàn)集開(kāi)始自動(dòng)重構(gòu)。3）熱備盤(pán)重構(gòu)結(jié)束，加入RAID5代替損壞磁盤(pán)參與計(jì)算。4）替換新的磁盤(pán)，熱備盤(pán)進(jìn)行COPYBACK復(fù)制。5）熱備盤(pán)復(fù)制完成后，重新建立校驗(yàn)集。RAID5setofdrives:4active,1hot-spareCOPYBACK完成某個(gè)磁盤(pán)損壞，重構(gòu)過(guò)程開(kāi)始重構(gòu)過(guò)程結(jié)束，RAID5可靠性恢復(fù)冗余插入新磁盤(pán)，COPYBACK開(kāi)始邏輯卷快照(snapshot)DEAC快照是某一個(gè)時(shí)間點(diǎn)上的邏輯卷的映像，邏輯上相當(dāng)于整個(gè)BaseVolume的拷貝用途(利用少量存儲(chǔ)空間保存原始數(shù)據(jù)的備份）文件、邏輯卷恢復(fù)備份、測(cè)試、數(shù)據(jù)分析等基本概念：BaseVolume：快照源卷RepositoryVolume：快照倉(cāng)儲(chǔ)卷，保存快照源卷在快照過(guò)程中被修改以前的數(shù)據(jù)SnapshotVolume：快照卷某一個(gè)時(shí)間點(diǎn)的邏輯卷映像：邏輯上相當(dāng)于整個(gè)BaseVolume的拷貝可將SanpshotVolume分配給任何一臺(tái)主機(jī)SnapshotVolume可讀取、寫(xiě)入或拷貝存儲(chǔ)空間需求需要相當(dāng)于BaseVolume20%的額外空間快照過(guò)程1）首先保證源卷和倉(cāng)儲(chǔ)卷的正常運(yùn)行2）快照開(kāi)始時(shí)源卷是只讀的，快照卷對(duì)源卷3）快照完成，控制器釋放對(duì)源卷的寫(xiě)權(quán)限，我們可以對(duì)源卷進(jìn)行寫(xiě)操作，快照是一些指向源卷數(shù)據(jù)的指針。4）當(dāng)源卷數(shù)據(jù)發(fā)生改變時(shí)，首先在源卷的數(shù)據(jù)改變之前將原數(shù)據(jù)寫(xiě)入倉(cāng)儲(chǔ)卷上，并且將快照指針引導(dǎo)到倉(cāng)儲(chǔ)卷上，然后再對(duì)源卷數(shù)據(jù)進(jìn)行修改。5）最后更新源卷數(shù)據(jù)，此時(shí)快照可以跟蹤到更新之前的舊數(shù)據(jù)。數(shù)據(jù)分級(jí)存儲(chǔ)概念數(shù)據(jù)分級(jí)存儲(chǔ)：即把數(shù)據(jù)存放在不同類(lèi)別的存儲(chǔ)設(shè)備（磁盤(pán)、磁盤(pán)陣列、光盤(pán)庫(kù)、磁帶）中，通過(guò)分級(jí)存儲(chǔ)管理軟件實(shí)現(xiàn)數(shù)據(jù)實(shí)體在存儲(chǔ)設(shè)備之間的自動(dòng)遷移；根據(jù)數(shù)據(jù)的訪(fǎng)問(wèn)頻率、保留時(shí)間、容量、性能要求等因素確定最佳存儲(chǔ)策略，從而控制數(shù)據(jù)遷移的規(guī)則。優(yōu)點(diǎn)最大限度地滿(mǎn)足用戶(hù)需求減少總體存儲(chǔ)成本性能優(yōu)化改善數(shù)據(jù)可用性數(shù)據(jù)遷移對(duì)應(yīng)用透明在線(xiàn)(On-line)存儲(chǔ)：指存儲(chǔ)設(shè)備和所存儲(chǔ)的數(shù)據(jù)時(shí)刻保持“在線(xiàn)”狀態(tài)，可供用戶(hù)隨意讀取，滿(mǎn)足計(jì)算平臺(tái)對(duì)數(shù)據(jù)訪(fǎng)問(wèn)的速度要求近線(xiàn)（Near-line）存儲(chǔ)：主要定位于客戶(hù)在線(xiàn)存儲(chǔ)和離線(xiàn)存儲(chǔ)之間的應(yīng)用，將那些不是經(jīng)常用到，或者說(shuō)數(shù)據(jù)的訪(fǎng)問(wèn)量并不大的數(shù)據(jù)存放在性能較低的存儲(chǔ)設(shè)備上，但同時(shí)對(duì)這些設(shè)備要求是尋址迅速、傳輸率高，需要的存儲(chǔ)容量相對(duì)較大。離線(xiàn)(Off-line)存儲(chǔ)：對(duì)在線(xiàn)存儲(chǔ)數(shù)據(jù)的備份，以防范可能發(fā)生的數(shù)據(jù)災(zāi)難。提綱存儲(chǔ)基礎(chǔ)知識(shí)云存儲(chǔ)概念與技術(shù)原理對(duì)象存儲(chǔ)技術(shù)存儲(chǔ)技術(shù)趨勢(shì)云存儲(chǔ)概念關(guān)于云存儲(chǔ)的定義，目前沒(méi)有標(biāo)準(zhǔn)。云存儲(chǔ)一般包含兩個(gè)含義：1）云存儲(chǔ)是云計(jì)算的存儲(chǔ)部分，即虛擬化的、易于擴(kuò)展的存儲(chǔ)資源池。用戶(hù)通過(guò)云計(jì)算使用存儲(chǔ)資源池，但不是所有的云計(jì)算的存儲(chǔ)部分都是可以分離的。2）云存儲(chǔ)意味著存儲(chǔ)可以作為一種服務(wù)，通過(guò)網(wǎng)絡(luò)提供給用戶(hù)。用戶(hù)可以通過(guò)若干種方式(互聯(lián)網(wǎng)開(kāi)放接口、在線(xiàn)服務(wù)等)來(lái)使用存儲(chǔ)，并按使用（時(shí)間、空間或兩者結(jié)合）付費(fèi)。從技術(shù)層面看，目前業(yè)界普遍認(rèn)為云存儲(chǔ)的兩種主流技術(shù)解決方案：基于虛擬化技術(shù)和分布式存儲(chǔ)。分布式存儲(chǔ)從技術(shù)特征上看，分布式存儲(chǔ)主要包括以下四種：分布式塊存儲(chǔ)分布式文件存儲(chǔ)分布式對(duì)象存儲(chǔ)分布式表存儲(chǔ)塊存儲(chǔ)技術(shù)塊存儲(chǔ)將存儲(chǔ)區(qū)域劃分成固定大小的小塊，是傳統(tǒng)裸存儲(chǔ)設(shè)備的存儲(chǔ)空間對(duì)外暴露方式。塊存儲(chǔ)系統(tǒng)將大量磁盤(pán)設(shè)備通過(guò)SCSI/SAS或FCSAN與存儲(chǔ)服務(wù)器連接，服務(wù)器直接通過(guò)SCSI/SAS或FC協(xié)議控制和訪(fǎng)問(wèn)數(shù)據(jù)。塊存儲(chǔ)方式不存在數(shù)據(jù)打包/解包過(guò)程，可提供更高的性能。系統(tǒng)目標(biāo)：為現(xiàn)有各種應(yīng)用提供通用的存儲(chǔ)能力在云計(jì)算環(huán)境下，塊存儲(chǔ)設(shè)備面臨著分布式環(huán)境數(shù)據(jù)塊數(shù)據(jù)塊數(shù)據(jù)塊數(shù)據(jù)塊數(shù)據(jù)塊存儲(chǔ)節(jié)點(diǎn)2數(shù)據(jù)塊數(shù)據(jù)塊數(shù)據(jù)塊數(shù)據(jù)塊數(shù)據(jù)塊存儲(chǔ)節(jié)點(diǎn)1索引節(jié)點(diǎn)直接索引1直接索引2直接索引3直接索引4直接索引5直接索引6目錄索引目錄索引數(shù)據(jù)塊數(shù)據(jù)塊數(shù)據(jù)塊數(shù)據(jù)塊存儲(chǔ)節(jié)點(diǎn)傳統(tǒng)設(shè)備的塊存儲(chǔ)面向的是單一的物理設(shè)備塊存儲(chǔ)技術(shù)塊存儲(chǔ)主要包括DAS和SAN兩種存儲(chǔ)方式直接附加存儲(chǔ)DAS以主機(jī)為中心，將外部的數(shù)據(jù)存儲(chǔ)設(shè)備通過(guò)SISC/IDE/ATA等I/O總線(xiàn)直接連接到服務(wù)器上，使數(shù)據(jù)存儲(chǔ)設(shè)備是服務(wù)器結(jié)構(gòu)一部分SAN采用塊數(shù)據(jù)組織，通過(guò)可伸縮的高速專(zhuān)用存儲(chǔ)網(wǎng)絡(luò)互連不同類(lèi)型的存儲(chǔ)設(shè)備和服務(wù)器，提供內(nèi)部任意節(jié)點(diǎn)間多路可選擇的數(shù)據(jù)交換。應(yīng)用服務(wù)器文件系統(tǒng)SCSI，F(xiàn)CJBOD應(yīng)用服務(wù)器文件系統(tǒng)光纖交換機(jī)RAIDRAID塊存儲(chǔ)技術(shù)優(yōu)點(diǎn)缺點(diǎn)DAS設(shè)備成本低廉，實(shí)施簡(jiǎn)單通過(guò)磁盤(pán)陣列技術(shù)，可將多塊硬盤(pán)在邏輯上組合成一塊硬盤(pán)，實(shí)現(xiàn)大容量的存儲(chǔ)不能提供不同操作系統(tǒng)下的文件共享存儲(chǔ)容量受限I/O總線(xiàn)支持的設(shè)備數(shù)量服務(wù)器發(fā)生故障時(shí)，數(shù)據(jù)不可訪(fǎng)問(wèn)數(shù)據(jù)備份操作非常復(fù)雜SAN可實(shí)現(xiàn)大容量存儲(chǔ)設(shè)備數(shù)據(jù)共享可實(shí)現(xiàn)高速計(jì)算機(jī)和高速存儲(chǔ)設(shè)備的高速互聯(lián)可實(shí)現(xiàn)數(shù)據(jù)高效快速集中備份建設(shè)成本和能耗高，部署復(fù)雜單獨(dú)建立光纖網(wǎng)絡(luò)，異地?cái)U(kuò)展比較困難互操作性差，數(shù)據(jù)無(wú)法共享元數(shù)據(jù)服務(wù)器會(huì)成為性能瓶頸適用場(chǎng)景DAS服務(wù)器在地理分布上很分散，通過(guò)SAN或NAS在它們之間進(jìn)行互連非常困難既要求數(shù)據(jù)的集中管理，又要求最大限度的降低數(shù)據(jù)的管理成本許多數(shù)據(jù)庫(kù)應(yīng)用和應(yīng)用服務(wù)器在內(nèi)的應(yīng)用，它們需要直接連接到存儲(chǔ)器上SAN與其它計(jì)算資源緊密集群來(lái)實(shí)現(xiàn)遠(yuǎn)程備份和檔案存儲(chǔ)過(guò)程磁盤(pán)鏡像、備份與恢復(fù)、檔案數(shù)據(jù)的存檔和檢索、存儲(chǔ)設(shè)備間的數(shù)據(jù)遷移以及網(wǎng)絡(luò)中不同服務(wù)器間的數(shù)據(jù)共享等用于合并子網(wǎng)和網(wǎng)絡(luò)附接存儲(chǔ)系統(tǒng)分布式文件存儲(chǔ)文件存儲(chǔ)以標(biāo)準(zhǔn)文件系統(tǒng)接口形式向應(yīng)用系統(tǒng)提供海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)空間。分布式文件系統(tǒng)把分布在局域網(wǎng)內(nèi)各個(gè)計(jì)算機(jī)上的共享文件夾集合成一個(gè)虛擬共享文件夾，將整個(gè)分布式文件資源以統(tǒng)一的試圖呈現(xiàn)給用戶(hù)。它對(duì)用戶(hù)和應(yīng)用程序屏蔽各個(gè)節(jié)點(diǎn)計(jì)算機(jī)底層文件系統(tǒng)的差異，提供用戶(hù)方便的管理資源的手段或統(tǒng)一的訪(fǎng)問(wèn)接口。分布式文件系統(tǒng)的出現(xiàn)很好的滿(mǎn)足互聯(lián)網(wǎng)信息不斷增長(zhǎng)的需求，并為上層構(gòu)建實(shí)時(shí)性更高，更易使用的結(jié)構(gòu)化存儲(chǔ)系統(tǒng)提供有效的數(shù)據(jù)管理的支持。在催生了許多分布式數(shù)據(jù)庫(kù)產(chǎn)品的同時(shí)，也促使分布式存儲(chǔ)技術(shù)不斷的發(fā)展和成熟。技術(shù)特點(diǎn)提供NFS/CIFS/POSIX等文件訪(fǎng)問(wèn)接口協(xié)議開(kāi)銷(xiāo)較高、響應(yīng)延遲較塊存儲(chǔ)長(zhǎng)應(yīng)用系統(tǒng)跟存儲(chǔ)系統(tǒng)的耦合程度中等存儲(chǔ)能力和性能水平擴(kuò)展適用場(chǎng)景適合TB~PB級(jí)文件存儲(chǔ)，可支持文件頻繁修改和刪除。例如圖片、文件、視頻、郵件附件、MMS的存儲(chǔ)海量數(shù)據(jù)存儲(chǔ)及系統(tǒng)負(fù)載的轉(zhuǎn)移文件在線(xiàn)備份文件共享傳統(tǒng)分布式文件系統(tǒng)NAS技術(shù)特點(diǎn)應(yīng)用服務(wù)器以太網(wǎng)交換機(jī)文件系統(tǒng)RAID文件系統(tǒng)RAID網(wǎng)絡(luò)附加存儲(chǔ)NAS是一種文件網(wǎng)絡(luò)存儲(chǔ)結(jié)構(gòu)，通過(guò)以太網(wǎng)及其他標(biāo)準(zhǔn)的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)將存儲(chǔ)設(shè)備連接到許多計(jì)算機(jī)上，建立專(zhuān)用于數(shù)據(jù)存儲(chǔ)的存儲(chǔ)內(nèi)部網(wǎng)絡(luò)文件協(xié)議支持NFS和CIFS網(wǎng)絡(luò)文件協(xié)議連接方式百兆/千兆以太網(wǎng)主要功能細(xì)顆粒度數(shù)據(jù)共享及跨平臺(tái)文件共享存儲(chǔ)擴(kuò)展高達(dá)數(shù)百TB，不停機(jī)適用場(chǎng)景商業(yè)或企業(yè)級(jí)數(shù)據(jù)共享；高性能計(jì)算或技術(shù)計(jì)算優(yōu)點(diǎn)易于管理，節(jié)約成本缺點(diǎn)系統(tǒng)（包括存儲(chǔ)容量和性能）擴(kuò)展性差以SUN-Lustre文件系統(tǒng)為例，它只對(duì)數(shù)據(jù)管理器MDS提供容錯(cuò)解決方案。Lustre推薦OST(對(duì)象存儲(chǔ)服務(wù)器)節(jié)點(diǎn)采用成本較高的RAID技術(shù)或SAN存儲(chǔ)區(qū)域網(wǎng)絡(luò)來(lái)達(dá)到容災(zāi)的要求，但Lustre自身不能提供數(shù)據(jù)存儲(chǔ)的容災(zāi)，一旦OST發(fā)生故障就無(wú)法恢復(fù)，因此對(duì)OST的可靠性就提出了相當(dāng)高的要求，大大增加了存儲(chǔ)的成本，這種成本的投入會(huì)隨著存儲(chǔ)規(guī)模的擴(kuò)大線(xiàn)性增長(zhǎng)。對(duì)象存儲(chǔ)技術(shù)對(duì)象存儲(chǔ)為海量非結(jié)構(gòu)化數(shù)據(jù)提供Key-Value這種通過(guò)鍵-值查找數(shù)據(jù)文件的存儲(chǔ)模式，提供了基于對(duì)象的訪(fǎng)問(wèn)接口，有效地合并了NAS和SAN的存儲(chǔ)結(jié)構(gòu)優(yōu)勢(shì)，通過(guò)高層次的抽象具有NAS的跨平臺(tái)共享數(shù)據(jù)和基于策略的安全訪(fǎng)問(wèn)優(yōu)點(diǎn)，支持直接訪(fǎng)問(wèn)具有SAN的高性能和交換網(wǎng)絡(luò)結(jié)構(gòu)的可伸縮性。對(duì)象存儲(chǔ)成為云存儲(chǔ)技術(shù)的新熱點(diǎn)技術(shù)特點(diǎn)訪(fǎng)問(wèn)接口簡(jiǎn)單，提供REST/SOAP接口協(xié)議開(kāi)銷(xiāo)高、響應(yīng)延遲較文件存儲(chǔ)長(zhǎng)引入對(duì)象元數(shù)據(jù)描述對(duì)象特征應(yīng)用系統(tǒng)跟存儲(chǔ)系統(tǒng)的耦合程度松散支持一次寫(xiě)多次讀對(duì)象存儲(chǔ)技術(shù)對(duì)象是介于文件和塊之間的一種抽象，具有唯一的ID標(biāo)識(shí)符。對(duì)象提供類(lèi)似文件的訪(fǎng)問(wèn)方法，如創(chuàng)建、打開(kāi)、讀寫(xiě)和關(guān)閉等。每個(gè)對(duì)象是一系列有序字節(jié)的集合，是數(shù)據(jù)和數(shù)據(jù)屬性集的綜合體。數(shù)據(jù)包括自身的元數(shù)據(jù)和用戶(hù)數(shù)據(jù)。數(shù)據(jù)屬性可以根據(jù)應(yīng)用的需求進(jìn)行設(shè)置，包括數(shù)據(jù)分布、服務(wù)質(zhì)量等。對(duì)象維護(hù)自己的屬性，簡(jiǎn)化了存儲(chǔ)系統(tǒng)的管理任務(wù)，增加了靈活性。對(duì)象分為根對(duì)象，組對(duì)象和用戶(hù)對(duì)象。對(duì)象特點(diǎn)對(duì)象存儲(chǔ)系統(tǒng)組成部分對(duì)象（Object）：對(duì)象存儲(chǔ)的基本單元對(duì)象存儲(chǔ)設(shè)備（OSD）：對(duì)象存儲(chǔ)系統(tǒng)的核心文件系統(tǒng)：文件系統(tǒng)對(duì)用戶(hù)的文件操作進(jìn)行解釋?zhuān)⒃谠獢?shù)據(jù)服務(wù)器和對(duì)象存儲(chǔ)設(shè)備間通信，完成所請(qǐng)求的操作。元數(shù)據(jù)服務(wù)器（MDS）：為客戶(hù)端提供元數(shù)據(jù)網(wǎng)絡(luò)連接：對(duì)象存儲(chǔ)系統(tǒng)的重要組成部分。表存儲(chǔ)技術(shù)表存儲(chǔ)系統(tǒng)用來(lái)存儲(chǔ)和管理結(jié)構(gòu)化/半結(jié)構(gòu)化數(shù)據(jù)，向應(yīng)用系統(tǒng)提供高可擴(kuò)展的表存儲(chǔ)空間，包括交易型數(shù)據(jù)庫(kù)和分析型數(shù)據(jù)庫(kù)。NoSQL是設(shè)計(jì)滿(mǎn)足超大規(guī)模數(shù)據(jù)存儲(chǔ)需求的分布式存儲(chǔ)系統(tǒng)，沒(méi)有固定的Schema，不支持join操作，通過(guò)“向外擴(kuò)展”的方式提高系統(tǒng)負(fù)載能力。系統(tǒng)目標(biāo)：管理結(jié)構(gòu)化數(shù)據(jù)或半結(jié)構(gòu)化數(shù)據(jù)交易型分析型TB~PB級(jí)NoSQL存儲(chǔ)日志詳單類(lèi)存儲(chǔ)TB級(jí)OLTP關(guān)系數(shù)據(jù)庫(kù)OLAP數(shù)據(jù)倉(cāng)庫(kù)交易型數(shù)據(jù)特點(diǎn)：每次更新或查找少量記錄，并發(fā)量大，響應(yīng)時(shí)間短分析型數(shù)據(jù)特點(diǎn)：更新少，批量導(dǎo)入，每次針對(duì)大量數(shù)據(jù)進(jìn)行處理，并發(fā)量小分布式表存儲(chǔ)技術(shù)特點(diǎn)適用場(chǎng)景NoSQL存儲(chǔ)通常不支持SQL、只有主索引、半結(jié)構(gòu)化大規(guī)?；ヂ?lián)網(wǎng)社交網(wǎng)絡(luò)、博客、微博等日志詳單類(lèi)存儲(chǔ)兼容SQL、索引通常只對(duì)單表有效、多表Join需掃描，支持MapReduce并行計(jì)算大規(guī)模日志存儲(chǔ)處理、信令系統(tǒng)處理、經(jīng)分系統(tǒng)ETL等OLTP關(guān)系數(shù)據(jù)庫(kù)支持標(biāo)準(zhǔn)SQL、多表join、索引、事務(wù)計(jì)費(fèi)系統(tǒng)、在線(xiàn)交易系統(tǒng)等OLAP數(shù)據(jù)倉(cāng)庫(kù)支持標(biāo)準(zhǔn)SQL、多表Join、索引中等規(guī)模日志存儲(chǔ)處理、經(jīng)分系統(tǒng)等分布式表存儲(chǔ)NoSQL數(shù)據(jù)庫(kù)分類(lèi)類(lèi)型主要產(chǎn)品特點(diǎn)列存儲(chǔ)HbaseCassandraHypertable顧名思義，是按列存儲(chǔ)數(shù)據(jù)的。最大的特點(diǎn)是方便存儲(chǔ)結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，方便做數(shù)據(jù)壓縮，對(duì)針對(duì)某一列或者某幾列的查詢(xún)有非常大的IO優(yōu)勢(shì)。文檔存儲(chǔ)MongoDBCouchDB文檔存儲(chǔ)一般用類(lèi)似json的格式存儲(chǔ)，存儲(chǔ)的內(nèi)容是文檔型的。這樣也就有有機(jī)會(huì)對(duì)某些字段建立索引，實(shí)現(xiàn)關(guān)系數(shù)據(jù)庫(kù)的某些功能。Key-Value存儲(chǔ)TCabinet/TyrantBerkeleyDBMemcacheDBRedis可以通過(guò)key快速查詢(xún)到其value。一般來(lái)說(shuō)，存儲(chǔ)不管value的格式，照單全收。（Redis包含了其他功能）圖存儲(chǔ)Neo4JFlockDB圖形關(guān)系的最佳存儲(chǔ)。使用傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)來(lái)解決的話(huà)性能低下，而且設(shè)計(jì)使用不方便。對(duì)象存儲(chǔ)db4oVersant通過(guò)類(lèi)似面向?qū)ο笳Z(yǔ)言的語(yǔ)法操作數(shù)據(jù)庫(kù)，通過(guò)對(duì)象的方式存取數(shù)據(jù)。XML數(shù)據(jù)庫(kù)BerkeleyDBXMLBaseX高效的存儲(chǔ)XML數(shù)據(jù)，并支持XML的內(nèi)部查詢(xún)語(yǔ)法，比如XQuery,Xpath。表存儲(chǔ)適應(yīng)場(chǎng)景典型NoSQL數(shù)據(jù)庫(kù)適用場(chǎng)景數(shù)據(jù)庫(kù)最佳適用適用場(chǎng)景Cassandra寫(xiě)操作較多，讀比較少的時(shí)候。如果你的系統(tǒng)都是基于Java的時(shí)候主要應(yīng)用場(chǎng)景包括：銀行、金融行業(yè)、數(shù)據(jù)分析。應(yīng)用于FacebookMongoDB主要支持海量數(shù)據(jù)存儲(chǔ)，動(dòng)態(tài)查詢(xún)，定義索引，針對(duì)大數(shù)據(jù)庫(kù)的高性能使用，大容量磁盤(pán)空間。適用于：網(wǎng)站數(shù)據(jù)、緩存、大尺寸，低價(jià)值的數(shù)據(jù)、高伸縮性的場(chǎng)景、用于對(duì)象及JSON數(shù)據(jù)的存儲(chǔ)Redis在數(shù)據(jù)庫(kù)大小可預(yù)見(jiàn)的前提下，適用于數(shù)據(jù)變化速度快的應(yīng)用較小數(shù)據(jù)量的高性能操作和運(yùn)算上，包括：股價(jià)系統(tǒng)、數(shù)據(jù)分析、實(shí)時(shí)數(shù)據(jù)采集以及實(shí)時(shí)通信場(chǎng)景CouchD對(duì)于數(shù)據(jù)變化不太頻繁的業(yè)務(wù)，運(yùn)行有預(yù)先定義的查詢(xún)。此外對(duì)于版本控制有高要求的業(yè)務(wù)同樣適用CRM、CMS系統(tǒng)等HBase類(lèi)似于BigTable，需要隨即、實(shí)時(shí)的讀寫(xiě)大數(shù)據(jù)適合于非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)庫(kù)，如：Facebook網(wǎng)站、郵件數(shù)據(jù)庫(kù)等各種存儲(chǔ)技術(shù)對(duì)比

分布式對(duì)象存儲(chǔ)分布式文件存儲(chǔ)塊存儲(chǔ)NoSQL存儲(chǔ)存儲(chǔ)單位對(duì)象，就是帶客戶(hù)化元數(shù)據(jù)的文件文件數(shù)據(jù)塊文檔更新方式不支持就地更新，通過(guò)建立新的對(duì)象版本進(jìn)行更新支持就地更新支持就地更新很少更新協(xié)議通過(guò)HTTP的REST和SOAPCIFS和NFSSCSI，F(xiàn)iberChannel和SATAApache協(xié)議，HTTP/REST元數(shù)據(jù)支持支持客戶(hù)化元數(shù)據(jù)固有的文件系統(tǒng)屬性固有的系統(tǒng)屬性固有的文件系統(tǒng)屬性最佳應(yīng)用場(chǎng)景相對(duì)靜態(tài)的文件數(shù)據(jù)和云存儲(chǔ)共享文件數(shù)據(jù)交易數(shù)據(jù)和頻繁變化的數(shù)據(jù)非關(guān)系型數(shù)據(jù)存儲(chǔ)，適用于海量數(shù)據(jù)存儲(chǔ)和OLAP的應(yīng)用場(chǎng)景最大優(yōu)勢(shì)擴(kuò)展性和分布式訪(fǎng)問(wèn)簡(jiǎn)單的共享文件訪(fǎng)問(wèn)和管理高性能易擴(kuò)展、靈活的數(shù)據(jù)模型、高可用、大數(shù)據(jù)量，高性能制約因素不適合頻繁變化的交易數(shù)據(jù)；不提供基于鎖機(jī)制的共享協(xié)議很難擴(kuò)展到數(shù)據(jù)中心之外的范疇很難擴(kuò)展到數(shù)據(jù)中心之外的范疇很難實(shí)現(xiàn)數(shù)據(jù)的完整性；缺乏強(qiáng)有力的技術(shù)支持等存儲(chǔ)類(lèi)型存儲(chǔ)類(lèi)型分布式文件存儲(chǔ)對(duì)象存儲(chǔ)直接附加存儲(chǔ)DAS塊存儲(chǔ)表存儲(chǔ)存儲(chǔ)域網(wǎng)絡(luò)SANIPSANFCSAN網(wǎng)絡(luò)附加存儲(chǔ)NAS日志詳單類(lèi)存儲(chǔ)NoSQL存儲(chǔ)Google文件系統(tǒng)GFSHadoop分布式文件系統(tǒng)OLTP關(guān)系數(shù)據(jù)庫(kù)OLAP數(shù)據(jù)倉(cāng)庫(kù)BC-oNestAmazonS3BigTableHBaseSwiftCassandraMongodb存儲(chǔ)虛擬化企業(yè)用戶(hù)面對(duì)日益復(fù)雜的異構(gòu)平臺(tái)，不同廠(chǎng)商的產(chǎn)品，不同種類(lèi)的存儲(chǔ)設(shè)備，給存儲(chǔ)管理帶來(lái)諸多難題。數(shù)據(jù)應(yīng)用已不再局限于某一企業(yè)和部門(mén)，而分布于整個(gè)網(wǎng)絡(luò)環(huán)境。系統(tǒng)整合、資源共享、簡(jiǎn)化管理、降低成本以及自動(dòng)存儲(chǔ)將成為信息存儲(chǔ)技術(shù)的發(fā)展要求。存儲(chǔ)虛擬化技術(shù)(StorageVirtualization)是解決這些問(wèn)題的有效手段，現(xiàn)成為信息存儲(chǔ)技術(shù)的主要發(fā)展方向。隨著網(wǎng)絡(luò)存儲(chǔ)的飛速發(fā)展給存儲(chǔ)虛擬化賦予了新的內(nèi)涵。使之成為共享存儲(chǔ)管理中的主流技術(shù)。

存儲(chǔ)虛擬化的基本原理是：把多個(gè)存儲(chǔ)介質(zhì)模塊(如硬盤(pán)、磁盤(pán)、磁帶)通過(guò)一定手段集中管理，把不同接口協(xié)議(如SCSI，iSCSI或FC等)的物理存儲(chǔ)設(shè)備(如JBOD，RAID和磁帶庫(kù)等)整合成一個(gè)虛擬的存儲(chǔ)池，根據(jù)需要為主機(jī)創(chuàng)建和提供虛擬存儲(chǔ)卷。即把不同存儲(chǔ)硬件抽象出來(lái)，以管理工具來(lái)實(shí)現(xiàn)統(tǒng)一的管理，不必再管后端的介質(zhì)到底是什么。存儲(chǔ)虛擬化

虛擬化的目的主要有三個(gè)：抽象，隱藏，隔離。存儲(chǔ)虛擬化的目的是為了提高設(shè)備使用效率，統(tǒng)一數(shù)據(jù)管理功能，設(shè)備構(gòu)件化，降低管理難度，提高可擴(kuò)展性，數(shù)據(jù)跨設(shè)備流動(dòng)，其技術(shù)如下圖所示。從系統(tǒng)的觀(guān)點(diǎn)看，存儲(chǔ)虛擬化有3種途徑：基于主機(jī)的存儲(chǔ)虛擬化、基于網(wǎng)絡(luò)的存儲(chǔ)虛擬化、基于存儲(chǔ)設(shè)備的存儲(chǔ)虛擬化。基于主機(jī)的存儲(chǔ)虛擬化

基于主機(jī)的虛擬存儲(chǔ)依靠于代理軟件，它們安裝在一個(gè)或多個(gè)主機(jī)上，實(shí)現(xiàn)存儲(chǔ)虛擬化的控制和治理。它的實(shí)現(xiàn)方式一般由操作系統(tǒng)下的邏輯卷管理軟件完成（安裝客戶(hù)端軟件），不同操作系統(tǒng)的邏輯卷管理軟件也不相同。優(yōu)點(diǎn)支持異構(gòu)的存儲(chǔ)系統(tǒng)缺點(diǎn)：占用主機(jī)資源，降低應(yīng)用性能存在操作系統(tǒng)和應(yīng)用的兼容性問(wèn)題導(dǎo)致主機(jī)升級(jí)、維護(hù)和擴(kuò)展非常復(fù)雜，而且容易造成系統(tǒng)不穩(wěn)定性需要復(fù)雜的數(shù)據(jù)遷移過(guò)程，影響業(yè)務(wù)連續(xù)性。基于網(wǎng)絡(luò)的存儲(chǔ)虛擬化

基于網(wǎng)絡(luò)的虛擬化方法是在網(wǎng)絡(luò)設(shè)備之間實(shí)現(xiàn)存儲(chǔ)虛擬化功能，它將類(lèi)似于卷管理的功能擴(kuò)展到整個(gè)存儲(chǔ)網(wǎng)絡(luò)，負(fù)責(zé)管理Host視圖、共享存儲(chǔ)資源、數(shù)據(jù)復(fù)制、數(shù)據(jù)遷移及遠(yuǎn)程備份等，并對(duì)數(shù)據(jù)路徑進(jìn)行管理避免性能瓶頸。它的實(shí)現(xiàn)方式通過(guò)在存儲(chǔ)域網(wǎng)（SAN）中添加虛擬化引擎實(shí)現(xiàn)。優(yōu)點(diǎn)與主機(jī)無(wú)關(guān)，不占用主機(jī)資源能夠支持異構(gòu)主機(jī)、異構(gòu)存儲(chǔ)設(shè)備使不同存儲(chǔ)設(shè)備的數(shù)據(jù)管理功能統(tǒng)一構(gòu)建統(tǒng)一管理平臺(tái)，可擴(kuò)展性好缺點(diǎn)：部分廠(chǎng)商數(shù)據(jù)管理功能弱，難以達(dá)到虛擬化統(tǒng)一數(shù)據(jù)管理的目的部分廠(chǎng)商產(chǎn)品成熟度較低，仍然存在和不同存儲(chǔ)和主機(jī)的兼容性問(wèn)題。基于存儲(chǔ)設(shè)備的存儲(chǔ)虛擬化

基于存儲(chǔ)設(shè)備的存儲(chǔ)虛擬化方法依賴(lài)于提供相關(guān)功能的存儲(chǔ)模塊，它的實(shí)現(xiàn)方式是，在存儲(chǔ)控制器上添加虛擬化功能（虛擬化引擎）。優(yōu)點(diǎn)與主機(jī)無(wú)關(guān)，不占用主機(jī)資源數(shù)據(jù)管理功能豐富。缺點(diǎn)：一般只能實(shí)現(xiàn)對(duì)本設(shè)備內(nèi)磁盤(pán)的虛擬化不同廠(chǎng)商間的數(shù)據(jù)管理功能不能互操作多套存儲(chǔ)設(shè)備需配置多套數(shù)據(jù)管理軟件，成本較高。存儲(chǔ)虛擬化技術(shù)對(duì)比

不同的存儲(chǔ)虛擬化技術(shù)都有其適用場(chǎng)景和優(yōu)勢(shì)，下表給出了三種存儲(chǔ)虛擬化技術(shù)各種特性的對(duì)比。比較內(nèi)容基于主機(jī)基于存儲(chǔ)設(shè)備基于網(wǎng)絡(luò)存儲(chǔ)視圖一致性差好好單點(diǎn)管理否是是主機(jī)是否安裝管理軟件需要不需要不需要獨(dú)立于主機(jī)或存儲(chǔ)設(shè)備非獨(dú)立非獨(dú)立獨(dú)立統(tǒng)一存儲(chǔ)池是是是存儲(chǔ)分配靈活性差好好性能差差好SAN擴(kuò)展性差好好SAN高可用性差好好SAN安全性差好好相對(duì)價(jià)格低高中應(yīng)用案例多少少主要用途使服務(wù)器的存儲(chǔ)空間可以跨越多個(gè)異構(gòu)存儲(chǔ)陣列，常用于在不同磁盤(pán)陣列之間做數(shù)據(jù)鏡像保護(hù)異構(gòu)存儲(chǔ)系統(tǒng)整合和統(tǒng)一數(shù)據(jù)管理（如容災(zāi)備份）異構(gòu)存儲(chǔ)系統(tǒng)整合和統(tǒng)一數(shù)據(jù)管理（如容災(zāi)備份）適用場(chǎng)景主機(jī)已采用SF卷（即Storage

Foundation，一種磁盤(pán)管理工具）管理，需要新接多臺(tái)存儲(chǔ)設(shè)備；存儲(chǔ)系統(tǒng)中包含異構(gòu)陣列設(shè)備；業(yè)務(wù)持續(xù)能力與數(shù)據(jù)吞吐要求較高系統(tǒng)中包括自帶虛擬化功能的高端存儲(chǔ)設(shè)備與若干需要利舊的中低端存儲(chǔ)系統(tǒng)包括不同品牌和型號(hào)的主機(jī)與存儲(chǔ)設(shè)備；對(duì)數(shù)據(jù)無(wú)縫遷移及數(shù)據(jù)格式轉(zhuǎn)換有較高時(shí)間保證提綱存儲(chǔ)基礎(chǔ)知識(shí)云存儲(chǔ)概念與技術(shù)原理對(duì)象存儲(chǔ)技術(shù)存儲(chǔ)技術(shù)趨勢(shì)傳統(tǒng)塊存儲(chǔ)與對(duì)象存儲(chǔ)在傳統(tǒng)的存儲(chǔ)系統(tǒng)中用文件或塊作為基本的存儲(chǔ)單位，塊設(shè)備要記錄每個(gè)存儲(chǔ)數(shù)據(jù)塊在設(shè)備上的位置；而在對(duì)象存儲(chǔ)系統(tǒng)中，對(duì)象是數(shù)據(jù)存儲(chǔ)的基本單元，Object維護(hù)自己的屬性，從而簡(jiǎn)化了存儲(chǔ)系統(tǒng)的管理任務(wù)，增加了靈活性，在存儲(chǔ)設(shè)備中，所有對(duì)象都有一個(gè)對(duì)象標(biāo)識(shí)，通過(guò)對(duì)象標(biāo)識(shí)OSD命令訪(fǎng)問(wèn)該對(duì)象。對(duì)象存儲(chǔ)架構(gòu)對(duì)象存儲(chǔ)的核心是將數(shù)據(jù)通路（數(shù)據(jù)讀或?qū)懀┖涂刂仆罚ㄔ獢?shù)據(jù)）分離，并且基于對(duì)象存儲(chǔ)設(shè)備（Object-basedStorageDevice，OSD）構(gòu)建存儲(chǔ)系統(tǒng)，每個(gè)對(duì)象存儲(chǔ)設(shè)備具有一定的智能，能夠自動(dòng)管理其上的數(shù)據(jù)分布。對(duì)象存儲(chǔ)結(jié)構(gòu)由對(duì)象、對(duì)象存儲(chǔ)設(shè)備、元數(shù)據(jù)服務(wù)器、對(duì)象存儲(chǔ)系統(tǒng)的客戶(hù)端四部分組成。對(duì)象的組成對(duì)象是系統(tǒng)中數(shù)據(jù)存儲(chǔ)的基本單位，每個(gè)Object是數(shù)據(jù)和數(shù)據(jù)屬性集的綜合體，數(shù)據(jù)屬性可以根據(jù)應(yīng)用的需求進(jìn)行設(shè)置，包括數(shù)據(jù)分布、服務(wù)質(zhì)量等。對(duì)象基本存儲(chǔ)單元名字空間：對(duì)象ID數(shù)據(jù)元數(shù)據(jù)元數(shù)據(jù)類(lèi)似于inode，描述了對(duì)象在磁盤(pán)上的塊分布屬性根據(jù)需要而定義E.g.多媒體對(duì)象的延遲和吞吐請(qǐng)求因此，對(duì)象存儲(chǔ)就是實(shí)現(xiàn)對(duì)象具有高性能、高可靠性、跨平臺(tái)以及安全的數(shù)據(jù)共享的存儲(chǔ)體系，是塊和文件之外的存儲(chǔ)形式對(duì)象(Object)包含了文件數(shù)據(jù)以及相關(guān)的屬性信息，可以進(jìn)行自我管理對(duì)象存儲(chǔ)結(jié)構(gòu)

傳統(tǒng)的訪(fǎng)問(wèn)層次和虛擬數(shù)據(jù)訪(fǎng)問(wèn)模型對(duì)象存儲(chǔ)系統(tǒng)組成

對(duì)象(Object)包含了文件數(shù)據(jù)以及相關(guān)的屬性信息，可以進(jìn)行自我管理OSD（Object-basedStorageDevice)一個(gè)智能設(shè)備，是Object的集合文件系統(tǒng)文件系統(tǒng)運(yùn)行在客戶(hù)端上，將應(yīng)用程序的文件系統(tǒng)請(qǐng)求傳輸?shù)組DS和OSD上元數(shù)據(jù)服務(wù)器(MetadataServer，MDS)系統(tǒng)提供元數(shù)據(jù)、Cache一致性等服務(wù)網(wǎng)絡(luò)連接網(wǎng)絡(luò)連接是對(duì)象存儲(chǔ)系統(tǒng)的重要組成部分。它將客戶(hù)端、MDS和OSD連接起來(lái)，構(gòu)成了一個(gè)完整的系統(tǒng)對(duì)象的分類(lèi)OSD（Object-basedStorageDevice)

每個(gè)OSD都是一個(gè)智能設(shè)備，具有自己的存儲(chǔ)介質(zhì)、處理器、內(nèi)存以及網(wǎng)絡(luò)系統(tǒng)等，負(fù)責(zé)管理本地的Object，是對(duì)象存儲(chǔ)系統(tǒng)的核心。OSD同塊設(shè)備的不同不在于存儲(chǔ)介質(zhì)，而在于兩者提供的訪(fǎng)問(wèn)接口。OSD的主要功能包括數(shù)據(jù)存儲(chǔ)和安全訪(fǎng)問(wèn)。目前國(guó)際上通常采用刀片式結(jié)構(gòu)實(shí)現(xiàn)對(duì)象存儲(chǔ)設(shè)備。OSD的主要功能

OSD提供三個(gè)主要功能：（1）數(shù)據(jù)存儲(chǔ)。OSD管理對(duì)象數(shù)據(jù)，并將它們放置在標(biāo)準(zhǔn)的磁盤(pán)系統(tǒng)上，OSD不提供塊接口訪(fǎng)問(wèn)方式，Client請(qǐng)求數(shù)據(jù)時(shí)用對(duì)象ID、偏移進(jìn)行數(shù)據(jù)讀寫(xiě)。（2）智能分布。OSD用其自身的CPU和內(nèi)存優(yōu)化數(shù)據(jù)分布，并支持?jǐn)?shù)據(jù)的預(yù)取。由于OSD可以智能地支持對(duì)象的預(yù)取，從而可以?xún)?yōu)化磁盤(pán)的性能。（3）每個(gè)對(duì)象元數(shù)據(jù)的管理。OSD管理存儲(chǔ)在其上對(duì)象的元數(shù)據(jù)，該元數(shù)據(jù)與傳統(tǒng)的inode元數(shù)據(jù)相似，通常包括對(duì)象的數(shù)據(jù)塊和對(duì)象的長(zhǎng)度。而在傳統(tǒng)的NAS系統(tǒng)中，這些元數(shù)據(jù)是由文件服務(wù)器維護(hù)的，對(duì)象存儲(chǔ)架構(gòu)將系統(tǒng)中主要的元數(shù)據(jù)管理工作由OSD來(lái)完成，降低了Client的開(kāi)銷(xiāo)。OSD功能說(shuō)明：OSD使用Object對(duì)所保存的數(shù)據(jù)進(jìn)行管理。它將數(shù)據(jù)存放到磁盤(pán)的磁道和扇區(qū)，將若干磁道和扇區(qū)組合起來(lái)構(gòu)成Object，并且通過(guò)此Object向外界提供對(duì)數(shù)據(jù)的訪(fǎng)問(wèn)。每個(gè)Object同傳統(tǒng)的文件相似，使用同文件類(lèi)似的訪(fǎng)問(wèn)接口，包括Open、Read、Write等。但是兩者并不相同，每個(gè)Object可能包括若干個(gè)文件，也可能是某個(gè)文件的一部分，且是獨(dú)立于操作系統(tǒng)的。除了具體的用戶(hù)數(shù)據(jù)外，OSD還記錄了每個(gè)Object的屬性信息，主要是物理視圖信息。將這些信息放到OSD上，大大減輕了元數(shù)據(jù)服務(wù)器的負(fù)擔(dān)，增強(qiáng)了整個(gè)存儲(chǔ)系統(tǒng)的并行訪(fǎng)問(wèn)性能和可擴(kuò)展性。如圖顯示了OSD的作用。文件系統(tǒng)

文件系統(tǒng)對(duì)用戶(hù)的文件操作進(jìn)行解釋?zhuān)⒃谠獢?shù)據(jù)服務(wù)器和OSD間通信，完成所請(qǐng)求的操作?，F(xiàn)有的應(yīng)用對(duì)數(shù)據(jù)的訪(fǎng)問(wèn)大部分都是通過(guò)POSIX文件方式進(jìn)行的，對(duì)象存儲(chǔ)系統(tǒng)提供給用戶(hù)的也是標(biāo)準(zhǔn)的POSIX文件訪(fǎng)問(wèn)接口。接口具有和通用文件系統(tǒng)相同的訪(fǎng)問(wèn)方式，同時(shí)為了提高性能，也具有對(duì)數(shù)據(jù)的Cache功能和文件的條帶功能。同時(shí)，文件系統(tǒng)必須維護(hù)不同客戶(hù)端上Cache的一致性，保證文件系統(tǒng)的數(shù)據(jù)一致元數(shù)據(jù)服務(wù)器(MetadataServer)

MDS控制Client與OSD對(duì)象的交互，主要提供以下功能：（1）對(duì)象存儲(chǔ)訪(fǎng)問(wèn)：MDS構(gòu)造、管理描述每個(gè)文件分布的視圖，允許Client直接訪(fǎng)問(wèn)對(duì)象。MDS為Client提供訪(fǎng)問(wèn)該文件所含對(duì)象的能力，OSD在接收到每個(gè)請(qǐng)求時(shí)將先驗(yàn)證該能力，然后才可以訪(fǎng)問(wèn)。（2）文件和目錄訪(fǎng)問(wèn)管理：MDS在存儲(chǔ)系統(tǒng)上構(gòu)建一個(gè)文件結(jié)構(gòu)，包括限額控制、目錄和文件的創(chuàng)建和刪除、訪(fǎng)問(wèn)控制等。（3）ClientCache一致性：為了提高Client性能，在對(duì)象存儲(chǔ)系統(tǒng)設(shè)計(jì)時(shí)通常支持Client方的Cache。由于引入Client方的Cache，帶來(lái)了Cache一致性問(wèn)題，MDS支持基于Client的文件Cache，當(dāng)Cache的文件發(fā)生改變時(shí)，將通知Client刷新Cache，從而防止Cache不一致引發(fā)的問(wèn)題。對(duì)象存儲(chǔ)與傳統(tǒng)存儲(chǔ)的對(duì)比存儲(chǔ)接口存儲(chǔ)系統(tǒng)優(yōu)點(diǎn)缺點(diǎn)塊級(jí)存儲(chǔ)塊塊存儲(chǔ)設(shè)備如:SAN,提供高性能的隨機(jī)I/O和數(shù)據(jù)吞吐率可擴(kuò)展性和可管理性較差、價(jià)格較高、不能滿(mǎn)足成千上萬(wàn)CPU規(guī)模的系統(tǒng)文件儲(chǔ)存文件塊存儲(chǔ)設(shè)備＋文件系統(tǒng)如:NAS,擴(kuò)展性好、易于管理、價(jià)格便宜開(kāi)銷(xiāo)高、帶寬低、延遲大,不利于高性能集群中應(yīng)用對(duì)象存儲(chǔ)對(duì)象塊存儲(chǔ)設(shè)備＋文件系統(tǒng)＋定位邏輯＋應(yīng)用程序支持高并行性、可伸縮的數(shù)據(jù)訪(fǎng)問(wèn),管理性好、安全性高、適合高性能集群使用處于發(fā)展階段,相應(yīng)的硬件、軟件支持有待進(jìn)一步完善基于Hadoop構(gòu)建對(duì)象存儲(chǔ)系統(tǒng)系統(tǒng)組成：對(duì)象訪(fǎng)問(wèn)接口層(AccessEdge)、對(duì)象元數(shù)據(jù)存儲(chǔ)層(MetaDataStorage)、對(duì)象實(shí)體數(shù)據(jù)存儲(chǔ)(DataNode)和歸檔管理(ArchiveManagement)59基于Hadoop構(gòu)建對(duì)象存儲(chǔ)系統(tǒng)HDFS上的對(duì)象數(shù)據(jù)存儲(chǔ)：為了減少HDFS中小文件的數(shù)據(jù)，將小的對(duì)象文件和歸檔文件歸檔。60基于Hadoop構(gòu)建對(duì)象存儲(chǔ)系統(tǒng)桶的創(chuàng)建和刪除61基于Hadoop構(gòu)建對(duì)象存儲(chǔ)系統(tǒng)對(duì)象的創(chuàng)建62基于Hadoop構(gòu)建對(duì)象存儲(chǔ)系統(tǒng)對(duì)象的刪除63基于Hadoop構(gòu)建對(duì)象存儲(chǔ)系統(tǒng)小文件的歸檔管理：主要由周期性執(zhí)行的MapReduce任務(wù)完成64提綱存儲(chǔ)基礎(chǔ)知識(shí)云存儲(chǔ)概念與技術(shù)原理對(duì)象存儲(chǔ)技術(shù)存儲(chǔ)技術(shù)趨勢(shì)存儲(chǔ)技術(shù)趨勢(shì)存儲(chǔ)技術(shù)趨勢(shì)包括以下幾個(gè)方面：1）存儲(chǔ)虛擬化2）固態(tài)硬盤(pán)SSD3）重復(fù)數(shù)據(jù)刪除4）語(yǔ)義化檢索5）存儲(chǔ)智能化6）混合存儲(chǔ)系統(tǒng)7）軟件定義存儲(chǔ)SDS存儲(chǔ)技術(shù)趨勢(shì)1）存儲(chǔ)虛擬化存儲(chǔ)虛擬化是目前以及未來(lái)的存儲(chǔ)技術(shù)熱點(diǎn)，目前最新的存儲(chǔ)虛擬化技術(shù)有自動(dòng)分級(jí)存儲(chǔ)（HSM）、自動(dòng)精減配置（Thinprovision）、云存儲(chǔ)（Cloudstorage)、分布式文件系統(tǒng)(Distributedfilesystem)，另外還有諸如動(dòng)態(tài)內(nèi)存分區(qū)、SAN和NAS虛擬化。2）語(yǔ)義化檢索數(shù)據(jù)檢索目前主要分為兩類(lèi)，一是基于文件名，二是基于文件