1、內容提要物聯背景下如何適應海量信息存儲的需求呢？隨著物聯網的發展，數據中心數據中心將成為解決海量數據存儲的主要手段。本章將介紹典型的網絡存儲體系結構以及數據中心的基本概念。第10章介紹了數據庫管理系統的基本概念數據庫模型的發展關系數據庫的基本概念利用關系代數寫查詢表達式物聯網數據管理的特點本章重點介紹三種基本的網絡存儲體系結構，并以Google數據中心為例，介紹大規模數據中心的相關技術，最后簡要開源分布式計算框架Hadoop。內容回顧11.1 物聯網對海量信息存儲的需求物聯網對海量信息存儲的需求11.2 網絡存儲體系結構11.3 數據中心信息存儲的發展歷程如何？物聯網對海量信息存儲的需求促使了

2、哪些技術的發展？本章內容數據存儲的發展歷史甲骨文甲骨文紙質書籍紙質書籍數字化存儲數字化存儲物聯網對海量信息存儲的需求全球信息總量迅猛增長2007年產生的數據量為281EB （ 1EB=10億GB ）物聯網中對象的數量將龐大到以百億為單位物聯網中的對象積極參與業務流程的需求高強度計算需求數據的持續在線可獲取特性導致了網絡化存儲和大型數據中心的誕生11.1 物聯網對海量信息存儲的需求11.2 網絡存儲體系結構網絡存儲體系結構11.3 數據中心三種基本的網絡存儲體系結構：直接附加存儲，網絡附加存儲，存儲區域網絡，各有什么特點？本章內容直接附加存儲直接附加存儲直接附加存儲(Direct-Attache

3、d Storage, DAS)將存儲系統通過纜線直接與服務器或工作站相連一般包括多個硬盤驅動器，與主機總線適配器通過電纜或光纖在存儲設備和主機總線適配器之間不存在其他網絡設備實現了計算機內存儲到存儲子系統的跨越網絡附加存儲網絡附加存儲網絡附加存儲(Network Attached Storage, NAS)文件級的計算機數據存儲架構計算機連接到一個僅為其它設備提供基于文件級數據存儲服務的網絡NAS與與DAS的區別的區別DAS是一種對已有服務器的簡單擴展，并沒有真正實現網絡互聯。NAS則是將網絡作為存儲實體，更容易實現文件級別的共享。NAS性能上比DAS有所增強存儲區域網絡存儲區域網絡存儲區域網

4、絡 (Storage Area Network, SAN)通過網絡方式連接存儲設備和應用服務器的存儲架構由服務器、存儲設備和SAN連接設備組成SAN的特點的特點存儲共享支持服務器從SAN直接啟動三種網絡存儲結構的比較三種網絡存儲結構的比較DAS管理容易，結構簡單；集中式體系結構，不能滿足大規模數據訪問的需求；存儲資源利用率低，資源共享能力差，造成“信息孤島”。NAS網絡的存儲實體，容易實現文件級別共享；性能嚴重依賴于網絡流量，用戶數過多，讀寫過頻繁時性能受限。SAN存儲管理簡化，存儲容量利用率提高；無直接文件級別的訪問能力，但可在SAN基礎上建立文件系統。11.1 物聯網對海量信息存儲的需求1

5、1.2 網絡存儲體系結構11.3 數據中心數據中心什么是數據中心？典型的數據中心有哪些？數據中心的研究熱點是什么？本章內容什么是數據中心？維基百科維基百科：“數據中心是一整套復雜的設施。它不僅僅包括計算機系統和其它與之配套的設備（例如通信和存儲系統），還包含冗余的數據通信連接、環境控制設備、監控設備以及各種安全裝置。”Google：“多功能的建筑物，能容納多個服務器以及通信設備。這些設備被放置在一起是因為它們具有相同的對環境的要求以及物理安全上的需求，并且這樣放置便于維護。”數據中心的起源與發展大型機微型機大規模數據中心(Mega Data Center)數據中心的起源與發展大規模數據中心已經

6、得到推廣數據中心標準數據中心建設者面對的難題如何規劃一個新的數據中心？怎樣對數據中心進行升級？數據中心的標準數據中心的標準對相關經驗進行了總結ANSI/TIA/EIA-942（簡稱TIA-942）：數據中心標準電信產業協會（TIA）提出美國國家標準學會（ANSI）批準數據中心標準：TIA-942選址選址：需要考慮多方面因素建設和運營成本應用需求政策優惠布局布局：按功能區域劃分功能區域組成數據中心標準：TIA-942（續）TIA-942還對纜線系統，可靠性分級，能源系統和降溫系統等做了規定。纜線系統規格如何放置纜線能源系統外部電力供應電池組發電機降溫系統降溫設備架空地板冷通道與熱通道典型數據中心

7、：Google 數據中心簡介簡介全球共建有近40個大規模數據中心單個數據中心需要至少50兆瓦功率，約等于一個小型城市所有家庭的用電量獨特的硬件設備：定制的以太網交換機、能源系統等自行研發的軟件技術：Google File System、MapReduce、BigTable等Google File System GFS的設計觀念的設計觀念組件失效不再被認為是意外，而是被看做正常的現象GFS的文件非常巨大對文件的操作具有特定的模式應用程序和文件系統API的協同設計提高了整個系統的靈活性Google File System GFS的設計架構的設計架構一個GFS集群包含一個主服務器和多個塊服務器，并被

8、多個客戶端訪問。文件分成固定大小的“塊”。每個塊在創建時都由主服務器分配一個固定不變的64位句柄唯一標識。塊服務器把塊作為Linux文件存儲在本地磁盤上，并根據指定的塊句柄和字節范圍對數據塊進行讀寫操作。Google File System GFS的設計架構（續）的設計架構（續）主服務器維護所有文件系統的元數據，包括名字空間、訪問控制信息、文件到塊的映射信息以及塊當前的位置。此外，主服務器還控制其它系統級的活動。主服務器周期性地與塊服務器通信，以下達指令和收集狀態。GFS客戶端代碼被嵌入到每個應用中。它實現了文件系統API，實現主服務器與塊服務器的通信從而代表應用實現讀寫操作。客戶端與服務器交

9、互從而實現元數據操作，但所有的數據操作都通過直接與塊服務器交互而完成。MapReduceMapReduce是一種針對超大規模數據集的編程模型和系統用MapReduce開發出的程序可在大量商用計算機集群上并行執行、處理計算機的失效以及調度計算機間的通信MapReduce的基本思想用戶寫的兩個程序：Map和Reduce一個在計算機集群上執行多個程序實例的框架MapReduceMapReduce程序的執行過程程序的執行過程BigTableBigTable是一種用來在海量數據規模下（例如包含以PB為單位的數據量和數千臺廉價計算機的應用）管理結構化數據的分布式存儲系統。應用應用Google地球網頁索引R

10、SS閱讀器BigTable每個BigTable都是一個稀疏的、分布式的多維有序圖，按行鍵值、列鍵值和時間戳建立索引典型數據中心：Hadoop什么是什么是Hadoop？Apache開源組織的一個分布式計算開源框架用于在大型集群的廉價服務器設備上運行數據密集型分布式應用程序在早期實際上是Google文件系統與MapReduce分布式計算框架及相關IT基礎服務的開源實現Hadoop包括多個子項目HDFS、 MapReduce、 HBase 、Chukwa、Pig、ZooKeeper等HDFSHadoop Distributed File System數據中心的研究熱點2006年Google在數據中心

11、項目上的花費為19億美元，而2007年該項支出增加到24億美元。Google在俄勒岡州的數據中心有近100兆瓦的功率，滿負荷運行時消耗的電力基本上和紐卡斯爾（Newcastle）一個城市所有家庭的用電量加起來一樣多。研究熱點：研究熱點：如何在保證服務質量的前提下降低成本？數據中心的成本構成基礎設施部分包括能源系統、降溫系統、各種防火設備、安保設備等。降低這一部分成本往往涉及到機械設備制造技術或政策優惠等因素，與計算機學科的關聯程度相對較低。我們分別從服務器，網絡設備，能源三個方面對造成高成本的原因和目前的解決方法進行簡要介紹。服務器成本服務器網絡設備能源服務器的實際利用效率較低分配到各服務器的

12、應用不能完全利用某些組件對應用需求的預測比較難，無法做到按需分配為了提高系統的可靠性，一般都留有冗余設備提高服務器利用率的關鍵關鍵在于及時應對需求的動態變化網絡設備成本服務器網絡設備能源主要來源主要來源交換機、路由器、負載均衡設備傳統的數據中心使用樹形結構，核心交換機和路由器構成流量瓶頸，且造價昂貴研究熱點：研究熱點：新的數據中心網絡結構以交換機為中心的多層樹形結構：例如Fat-Tree以服務器為中心的互聯結構：例如DCell能源成本服務器網絡設備能源研究熱點研究熱點降低服務器工作能耗降低同等性能設備能耗提高同等能耗設備性能可調整負載的服務器減少降溫系統能耗精細、精準的溫度控制集裝箱式模塊化數據中心數據中心能耗構成本章小結內容回顧內容回顧本章介紹了三種基本的網絡存儲體系結構，并討論了數據中心的基本概念，以Google數據中心和Hadoop為例，簡要介紹了數據中心的相關技術，最后指出了數據中心的研究熱點。重點掌握重點掌握了解物聯網對海量數據存儲的迫切