云計(jì)算與大數(shù)據(jù)第2版云存儲(chǔ)4.1認(rèn)識(shí)云存儲(chǔ)4.2云存儲(chǔ)技術(shù)4.3云存儲(chǔ)的應(yīng)用及面臨的問題重點(diǎn)：云存儲(chǔ)技術(shù)云存儲(chǔ)的運(yùn)用本章重點(diǎn)云存儲(chǔ)是在云計(jì)算概念上延伸和發(fā)展出來的一個(gè)新的概念，是指通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類型的存儲(chǔ)設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問功能的一個(gè)系統(tǒng)。4.1認(rèn)識(shí)云存儲(chǔ)當(dāng)云計(jì)算系統(tǒng)運(yùn)算和處理的核心是大量數(shù)據(jù)的存儲(chǔ)和管理時(shí)，云計(jì)算系統(tǒng)中就需要配置大量的存儲(chǔ)設(shè)備，那么云計(jì)算系統(tǒng)就轉(zhuǎn)變成為一個(gè)云存儲(chǔ)系統(tǒng)，所以云存儲(chǔ)是一個(gè)以數(shù)據(jù)存儲(chǔ)和管理為核心的云計(jì)算系統(tǒng)。圖4-1云存儲(chǔ)的簡易結(jié)構(gòu)與傳統(tǒng)的存儲(chǔ)設(shè)備相比，云存儲(chǔ)是一個(gè)網(wǎng)絡(luò)設(shè)備、存儲(chǔ)設(shè)備、服務(wù)器、應(yīng)用軟件、公用訪問接口、應(yīng)用軟件、公用訪問接口、接入網(wǎng)和客戶端程序等多個(gè)部分組成的復(fù)雜系統(tǒng)。各部分以存儲(chǔ)設(shè)備為核心，通過應(yīng)用軟件來對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問服務(wù)。4.2云存儲(chǔ)技術(shù)4.2.1云存儲(chǔ)結(jié)構(gòu)

存儲(chǔ)層存儲(chǔ)層是云存儲(chǔ)最基礎(chǔ)的部分。存儲(chǔ)設(shè)備可以是FC光纖通道存儲(chǔ)設(shè)備，可以是NAS和iSCSI等IP存儲(chǔ)設(shè)備，也可以是SCSI或SAS等DAS存儲(chǔ)設(shè)備。云存儲(chǔ)中的存儲(chǔ)設(shè)備往往數(shù)量龐大且分布多不同地域，彼此之間通過廣域網(wǎng)、互聯(lián)網(wǎng)或者FC光纖通道網(wǎng)絡(luò)連接在一起。2.基礎(chǔ)管理基礎(chǔ)管理層是云存儲(chǔ)最核心的部分，也是云存儲(chǔ)中最難以實(shí)現(xiàn)的部分。基礎(chǔ)管理層通過集群、分布式文件系統(tǒng)和網(wǎng)格計(jì)算等技術(shù)，實(shí)現(xiàn)云存儲(chǔ)中多個(gè)存儲(chǔ)設(shè)備之間的協(xié)同工作，使多個(gè)的存儲(chǔ)設(shè)備可以對(duì)外提供同一種服務(wù)，并提供更大更強(qiáng)更好的數(shù)據(jù)訪問性能。3.應(yīng)用接口應(yīng)用接口層是云存儲(chǔ)最靈活多變的部分。不同的云存儲(chǔ)運(yùn)營單位可以根據(jù)實(shí)際業(yè)務(wù)類型，開發(fā)不同的應(yīng)用服務(wù)接口，提供不同的應(yīng)用服務(wù)。比如視頻監(jiān)控應(yīng)用平臺(tái)、IPTV和視頻點(diǎn)播應(yīng)用平臺(tái)、網(wǎng)絡(luò)硬盤引用平臺(tái)，遠(yuǎn)程數(shù)據(jù)備份應(yīng)用平臺(tái)等。任何一個(gè)授權(quán)用戶都可以通過標(biāo)準(zhǔn)的公用應(yīng)用接口來登錄云存儲(chǔ)系統(tǒng)，享受云存儲(chǔ)服務(wù)。云存儲(chǔ)運(yùn)營單位不同，云存儲(chǔ)提供的訪問類型和訪問手段也不同。1）服務(wù)模式2）HW模式3）SW模式4.訪問層4.2.2云存儲(chǔ)技術(shù)的兩種架構(gòu)緊耦合對(duì)稱架構(gòu)松弛耦合非對(duì)稱架構(gòu)4.2.3云存儲(chǔ)的種類云存儲(chǔ)可分成兩類：塊存儲(chǔ)（BlockStorage）與文件存儲(chǔ)（FileStorage）。1.塊存儲(chǔ)塊存儲(chǔ)會(huì)把單筆的數(shù)據(jù)寫到不同的硬盤，借以得到較大的單筆讀寫帶寬，適合用在數(shù)據(jù)庫或是需要單筆數(shù)據(jù)快速讀寫的應(yīng)用。它的優(yōu)點(diǎn)是對(duì)單筆數(shù)據(jù)讀寫很快，缺點(diǎn)是成本較高，并且無法解決真正海量文件的儲(chǔ)存，快速更改的單一文件系統(tǒng)，如數(shù)據(jù)庫、共享的電子表單等，由于有好幾個(gè)人共享一個(gè)文件，文件需要經(jīng)常性地、頻繁地更改。為了達(dá)到這樣的目的，系統(tǒng)必須具備很大的內(nèi)存、很快的硬盤及快照等功能，此時(shí)可以采用塊存儲(chǔ)類型。文件存儲(chǔ)文件存儲(chǔ)是基于文件級(jí)別的存儲(chǔ)，它是把一個(gè)文件放在一個(gè)硬盤上，即使文件太大拆分時(shí)，也放在同一個(gè)硬盤上。它的缺點(diǎn)是對(duì)單一文件的讀寫會(huì)受到單一硬盤效能的限制，優(yōu)點(diǎn)是對(duì)一個(gè)多文件、多人使用的系統(tǒng)，總帶寬可以隨著存儲(chǔ)節(jié)點(diǎn)的增加而擴(kuò)展，它的架構(gòu)可以無限制的擴(kuò)容，并且成本低廉.當(dāng)應(yīng)用存在文件需并發(fā)讀取、文件及文件系統(tǒng)本身較大、文件使用期較長和對(duì)成本控制要求較高等情況下，采用文件存儲(chǔ)是一個(gè)較好的選擇，如以下應(yīng)用場合。網(wǎng)站或IPTV應(yīng)用，此時(shí)往往讀取文件較大，總讀取帶寬要求較高。監(jiān)控應(yīng)用，此時(shí)往往會(huì)有多個(gè)文件的同時(shí)寫入。文件備份、存放或搜尋需要訪問長時(shí)間存放的文件。4.3.1云存儲(chǔ)的應(yīng)用領(lǐng)域1．備份2.歸檔3．分配4．共享協(xié)作4.3云存儲(chǔ)的應(yīng)用及面臨的問題4.3.2云存儲(chǔ)對(duì)大數(shù)據(jù)存儲(chǔ)的支持1.數(shù)據(jù)的海量化和快增長特征是大數(shù)據(jù)對(duì)存儲(chǔ)技術(shù)提出的首要挑戰(zhàn)。大數(shù)據(jù)存儲(chǔ)要求底層硬件架構(gòu)和文件系統(tǒng)在性價(jià)比上要大大高于傳統(tǒng)技術(shù)，并能夠彈性擴(kuò)展存儲(chǔ)容量。但以往網(wǎng)絡(luò)附著存儲(chǔ)系統(tǒng)（NAS）和存儲(chǔ)區(qū)域網(wǎng)絡(luò)（SAN）等體系，存儲(chǔ)和計(jì)算的物理設(shè)備分離，它們之間要通過網(wǎng)絡(luò)接口連接，這導(dǎo)致在進(jìn)行數(shù)據(jù)密集型計(jì)算（DataIntensiveComputing）時(shí)I/O容易成為瓶頸。同時(shí)，傳統(tǒng)的單機(jī)文件系統(tǒng)（如NTFS）和網(wǎng)絡(luò)文件系統(tǒng)（如NFS）要求一個(gè)文件系統(tǒng)的數(shù)據(jù)必須存儲(chǔ)在一臺(tái)物理機(jī)器上，且不提供數(shù)據(jù)冗余性，可擴(kuò)展性、容錯(cuò)能力和并發(fā)讀寫能力難以滿足大數(shù)據(jù)需求。圖4-3大數(shù)據(jù)存儲(chǔ)架構(gòu)的變化2.大數(shù)據(jù)對(duì)存儲(chǔ)技術(shù)提出的另一個(gè)挑戰(zhàn)是多種數(shù)據(jù)格式的適應(yīng)能力格式多樣