1、計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院09級11班薛守來53091104海量數(shù)據(jù)存儲方式概述隨著信息技術(shù)的飛速發(fā)展，數(shù)據(jù)爆炸已成為一個(gè)突出問題，海量數(shù)據(jù)存儲和管理技術(shù)已經(jīng)是近幾年的研究熱點(diǎn)之一。傳統(tǒng)的數(shù)據(jù)存儲與管理方式已經(jīng)很難滿足海量數(shù)據(jù)存儲在在容量、性能、存儲效率和安全性等方面的要求。而且大部分?jǐn)?shù)據(jù)采集系統(tǒng)，比如雷達(dá)回波信號數(shù)據(jù)采集、數(shù)字視頻信號處理及高碼率衛(wèi)星數(shù)據(jù)信號的采集等，都要求對數(shù)據(jù)進(jìn)行實(shí)時(shí)的傳輸與存儲，這就對數(shù)據(jù)采集存儲系統(tǒng)的采集速率、傳輸速度、存儲速度、存儲容量以及數(shù)據(jù)存儲的可靠性等方面提出了更高的要求。因此，對高速海量數(shù)據(jù)存儲技術(shù)的研究就越發(fā)顯得重要。近年來，海量數(shù)據(jù)存儲技術(shù)發(fā)展迅速，各種各樣的

2、存儲系統(tǒng)不斷涌現(xiàn)。下面就從存儲介質(zhì)、存儲模式兩個(gè)方面對海量數(shù)據(jù)存儲技術(shù)進(jìn)行簡要的介紹。海量存儲介質(zhì)主要有磁帶、光盤、硬盤三大類，并在這三種儲介質(zhì)的基礎(chǔ)上分別構(gòu)成了磁帶機(jī)、光盤庫、磁盤陣列三種主要的存儲設(shè)備。止匕外，固態(tài)存儲和全息存儲是未來高速海量數(shù)據(jù)存儲的重要發(fā)展趨勢。磁帶機(jī)以其廉價(jià)的優(yōu)勢應(yīng)用普遍，光盤庫適用于保存多媒體數(shù)據(jù)和用于聯(lián)機(jī)檢索，應(yīng)用也越來越廣泛，磁盤陣列由于能夠提供較高的存取速度和數(shù)據(jù)可靠性而成為實(shí)現(xiàn)高速海量數(shù)據(jù)存儲的主要方式。從數(shù)據(jù)存儲的模式來看，海量存儲技術(shù)可以分為DAS（DirectAttachedStorage,直接附加存儲）和網(wǎng)絡(luò)存儲兩種，其中網(wǎng)絡(luò)存儲又可以分為NAS（N

3、etworkAttachedstorage,網(wǎng)絡(luò)附加存儲）和SAN（StorageAreaNet、Work,存儲區(qū)域網(wǎng)絡(luò)）。（1）DASR用的方式是外部數(shù)據(jù)存儲設(shè)備直接掛接在服務(wù)器內(nèi)部總線上（這樣I/8占用系統(tǒng)帶寬），存儲設(shè)備是服務(wù)器結(jié)構(gòu)的一部分，這種方案是傳統(tǒng)的存儲方式，主要在個(gè)人計(jì)算機(jī)和小型服務(wù)器上使用，只能滿足數(shù)據(jù)存儲量較低的應(yīng)用,不直接支持多機(jī)共享存儲。DASfNASR大的不同便是，DASS過服務(wù)器與網(wǎng)絡(luò)連接，NASft接與網(wǎng)絡(luò)連接。磁帶機(jī)與磁盤陣列系統(tǒng)就是典型的DASS備。（2）NAS實(shí)際上是一個(gè)網(wǎng)絡(luò)的附加存儲設(shè)備，它通過集線器或交換機(jī)直接連接在網(wǎng)絡(luò)上，通過TCFYIP協(xié)議進(jìn)行通信，

4、面向消息傳遞，以文件的方式進(jìn)行數(shù)據(jù)的傳輸。NA添統(tǒng)由兩個(gè)突出的特點(diǎn)，其一是，物理連接上將存儲器直接連到網(wǎng)絡(luò)上，然后再掛存服務(wù)器后端，避免了給服務(wù)器增加I/O®載；其二是，技術(shù)上通過專用軟件減少磁頭臂機(jī)械移動的次數(shù)，克服由此造成的延時(shí)。但從NAS勺構(gòu)成看，其路徑在本質(zhì)上仍然是傳統(tǒng)的服務(wù)器存儲設(shè)備I/OT式。(3)SAN是以數(shù)據(jù)存儲為中心，采用可伸縮的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，通過具有高速光纖通道的直接連接方式，提供SA曬部任意節(jié)點(diǎn)之間的多路可選擇的數(shù)據(jù)交換，并將數(shù)據(jù)存儲管理集中在相對獨(dú)立的存儲區(qū)域網(wǎng)內(nèi)，實(shí)現(xiàn)最大限度的數(shù)據(jù)共享和數(shù)據(jù)優(yōu)化管理，以及系統(tǒng)的無縫擴(kuò)充。從數(shù)據(jù)存儲系統(tǒng)的組成上看，無論是DAS

5、NAS5是SAN其存儲系統(tǒng)都可以分為三個(gè)部分：首先是磁盤陣列，它是存儲系統(tǒng)的基礎(chǔ)，是完成數(shù)據(jù)存儲的基本保證；其次是連接和網(wǎng)絡(luò)子系統(tǒng)，通過它們實(shí)現(xiàn)了一個(gè)或多個(gè)磁盤陣列與服務(wù)器之間的連接；最后是存儲管理軟件，在系統(tǒng)和應(yīng)用級上，實(shí)現(xiàn)多個(gè)服務(wù)器共享、防災(zāi)等存儲管理任務(wù)。在對海量存儲的研究中，下面幾個(gè)方面是目前研究的重點(diǎn)：一是分布式存儲與P2"f儲，利用對等網(wǎng)絡(luò)實(shí)現(xiàn)數(shù)據(jù)存儲，其目標(biāo)是提供高效率的、魯棒的和負(fù)載平衡的文件存取功能；二是智能存儲系統(tǒng)，要求存儲系統(tǒng)具備可用性、可維護(hù)性和自進(jìn)化性，能夠提供主動信息采集、主動信息分析以及主動調(diào)整等功能，目標(biāo)是滿足服務(wù)質(zhì)量QoSS求，盡量減少入工參與以及系

6、統(tǒng)性能的自動提高；要是系統(tǒng)容災(zāi)機(jī)制，即建立異地存儲系統(tǒng)，該系統(tǒng)是本地存儲系統(tǒng)的可用副本，目的是最大限度的保障存儲安全；四是數(shù)據(jù)網(wǎng)格，剩用網(wǎng)格中所有節(jié)點(diǎn)的能力，為網(wǎng)格環(huán)境中的數(shù)據(jù)文件提供高速、可靠的存儲管理服務(wù)。網(wǎng)格是把整個(gè)因特網(wǎng)整合成一臺臣大的超級計(jì)算機(jī)，實(shí)現(xiàn)計(jì)算資源、存儲資源、數(shù)據(jù)資源、信息資源、知識資源、專家資源的全面共享。當(dāng)然，網(wǎng)格的根本特征是資源共享而不是它的規(guī)模，也可以構(gòu)造地區(qū)性的網(wǎng)格，如企事業(yè)單位內(nèi)部網(wǎng)格、局域網(wǎng)網(wǎng)格、甚至家庭網(wǎng)格和個(gè)人網(wǎng)格，透明而且高效率地提供各種服務(wù)。網(wǎng)格技術(shù)的研究目標(biāo)是要實(shí)現(xiàn)網(wǎng)絡(luò)虛擬環(huán)境下高性能資源的共享和協(xié)同工作，解決各種分散的資源的一致使用問題?？茖W(xué)計(jì)算及

7、商業(yè)應(yīng)用領(lǐng)域的數(shù)據(jù)呈現(xiàn)爆炸式增長，科學(xué)計(jì)算和商業(yè)應(yīng)用越來越趨向于以計(jì)算為中心的模式，網(wǎng)格技術(shù)的發(fā)展為收集、組織、存儲、分析、可視億和分發(fā)大容量數(shù)據(jù)對象提供了新的實(shí)現(xiàn)方法。而網(wǎng)格上的大量數(shù)據(jù)有必要使用數(shù)據(jù)庫系統(tǒng)來管理，原因是許多網(wǎng)格應(yīng)用要用到結(jié)構(gòu)化的數(shù)據(jù)，并且網(wǎng)格本身也需要用結(jié)構(gòu)化的數(shù)據(jù)來實(shí)現(xiàn)其運(yùn)行和管理。因此，在利用數(shù)據(jù)網(wǎng)格解決海量數(shù)據(jù)存儲問題時(shí)，有必要使用數(shù)據(jù)庫對數(shù)據(jù)進(jìn)行管理。這就面臨著如何把數(shù)據(jù)庫技術(shù)應(yīng)用到網(wǎng)格中的問題。目前有許多有關(guān)如何將數(shù)據(jù)庫技術(shù)和數(shù)據(jù)網(wǎng)格技術(shù)結(jié)合起來的研究，主要有兩個(gè)方向：一是網(wǎng)格數(shù)據(jù)庫方向，即如何在網(wǎng)格中集成數(shù)據(jù)庫系統(tǒng)，也就是考慮將數(shù)據(jù)庫管理系統(tǒng)納入到網(wǎng)格體系中，建

8、立網(wǎng)格環(huán)境來共享數(shù)據(jù)庫中的資源；另一個(gè)是數(shù)據(jù)庫網(wǎng)格方向，即如何把數(shù)據(jù)庫技術(shù)應(yīng)用在網(wǎng)格中，也就是考慮如何在網(wǎng)格中使用數(shù)據(jù)庫發(fā)展所積累的技術(shù)，從而構(gòu)建功能更加強(qiáng)大的網(wǎng)格環(huán)境。這兩個(gè)方向在網(wǎng)格數(shù)據(jù)庫的研究方面是相輔相成的，網(wǎng)格數(shù)據(jù)庫強(qiáng)調(diào)的是數(shù)據(jù)庫在數(shù)據(jù)網(wǎng)格環(huán)境下的應(yīng)用，其主要研究內(nèi)容是如何將分布異構(gòu)的數(shù)據(jù)庫有效的集成到網(wǎng)格環(huán)境中，從而實(shí)現(xiàn)海量數(shù)據(jù)在網(wǎng)格環(huán)境下的高性能存儲，并基于中間件技術(shù)為用戶提供更好的服務(wù)。一方面使用數(shù)據(jù)網(wǎng)格技術(shù)，能夠滿足數(shù)據(jù)存儲與處理在容量、性能、存儲效率和安全性等方面的要求；另一方面使用數(shù)據(jù)庫技術(shù)，對數(shù)據(jù)進(jìn)行結(jié)構(gòu)化管理，為上述問題提供了一個(gè)較好的解決方案。網(wǎng)格數(shù)據(jù)庫已成為解決海

9、量數(shù)據(jù)存儲、訪問與管理的一種重要途徑。網(wǎng)格的主要特點(diǎn)有共享性、分布性、自相似性、動態(tài)性、多樣性、自治性以及管理的多重性。數(shù)據(jù)網(wǎng)格是網(wǎng)格環(huán)境下共享和管理存儲資源和分布式數(shù)據(jù)資源的大規(guī)模、可擴(kuò)展的框架結(jié)構(gòu)，實(shí)現(xiàn)了安全、可靠和有效的網(wǎng)格環(huán)境中的數(shù)據(jù)傳輸以及訪問、復(fù)制等操作。它適應(yīng)數(shù)據(jù)密集型應(yīng)用對網(wǎng)格環(huán)境下數(shù)據(jù)共享和處理的需要，為用戶提供了透明訪闖遠(yuǎn)程異構(gòu)數(shù)據(jù)資源的楓制。數(shù)據(jù)網(wǎng)格為解決巨大的數(shù)據(jù)量存儲問題提供了新的方法，例如，利用數(shù)據(jù)網(wǎng)格可以將歐洲空間局地面站的數(shù)據(jù)分散到整個(gè)歐洲范圍進(jìn)行保存，充分利用存儲資源。數(shù)據(jù)網(wǎng)格還提供了靈活的、基于分層的一組接口模型，使得多個(gè)實(shí)現(xiàn)可以共存，而每個(gè)接網(wǎng)的實(shí)現(xiàn)集中于

10、不同的特性如性能和可維持性。數(shù)據(jù)網(wǎng)格的各組件具有良好的定義并且是松耦合的，因此不同的組織能夠把他們自己的某個(gè)實(shí)現(xiàn)及時(shí)而又容易的插入其中，從而使得數(shù)據(jù)密集型的高性能計(jì)算和大量的共享數(shù)據(jù)密集型的事務(wù)處理及科學(xué)研究成為可能。它在電子商務(wù)、數(shù)據(jù)倉庫和數(shù)據(jù)挖掘、高能物理、生物信息科學(xué)等科學(xué)工程領(lǐng)域發(fā)揮著越來越重要的作用。數(shù)據(jù)網(wǎng)格主要提供存儲系統(tǒng)及數(shù)據(jù)管理兩大功能。存儲系統(tǒng)的功能主要是為存儲在存儲系統(tǒng)上的數(shù)據(jù)提供一個(gè)基本的訪問和管理機(jī)制，提供給用戶一個(gè)統(tǒng)一的數(shù)據(jù)建立、刪除、訪問以及修改等操作的抽象，因此用戶不必關(guān)心存儲介質(zhì)的異構(gòu)性和它們的物理位置，從而實(shí)現(xiàn)海量數(shù)據(jù)的存儲；而數(shù)據(jù)管理是對所存儲的數(shù)據(jù)進(jìn)行管理，包括數(shù)據(jù)的傳送、訪問和復(fù)制等操作，側(cè)重點(diǎn)為數(shù)據(jù)管理，提供與數(shù)據(jù)資源有關(guān)的各種服務(wù)。目前海量數(shù)據(jù)存儲技術(shù)