《云計算(第二版)》教材配套課件12-第六章-Hadoop：Google云計算的開源實現1_第1頁
《云計算(第二版)》教材配套課件12-第六章-Hadoop：Google云計算的開源實現1_第2頁
《云計算(第二版)》教材配套課件12-第六章-Hadoop：Google云計算的開源實現1_第3頁
《云計算(第二版)》教材配套課件12-第六章-Hadoop：Google云計算的開源實現1_第4頁
《云計算(第二版)》教材配套課件12-第六章-Hadoop：Google云計算的開源實現1_第5頁
已閱讀5頁，還剩18頁未讀， 繼續免費閱讀

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內容提供方，若內容存在侵權，請進行舉報或認領

文檔簡介

電子工業出版社《云計算(第二版)》配套課件解放軍理工大學教授主編華東交通大學制作第6章Hadoop：Google云計算的開源實現

《云計算（第二版）》購買網址：當當網

京東商城姊妹力作《實戰Hadoop》購買網址：當當網

京東商城提綱Hadoop簡介Hadoop分布式文件系統HDFS分布式數據處理MapReduce分布式結構化數據表HBaseHadoop安裝HDFS使用HBase安裝使用

MapReduce編程

Hadoop簡介

Hadoop——Apache開源組織的一個分布式計算框架，可以在大量廉價的硬件設備組成的集群上運行應用程序，為應用程序提供了一組穩定可靠的接口，旨在構建一個具有高可靠性和良好擴展性的分布式系統

Hadoop云計算系統Google云計算系統HadoopHDFSGoogleGFSHadoopMapReduceGoogleMapReduceHadoopHBaseGoogleBigtableHadoopZooKeeperGoogleChubbyHadoopPigGoogleSawzallHadoop云計算系統與Google云計算系統

Hadoop簡介開源項目Lucene：Java開發的開源高性能全文檢索工具包

開源項目Nutch：第一個開源的Web搜索引擎

Hadoop

Hadoop簡介Hadoop項目組成

（1）HadoopCommon（2）Avro（3）Chukwa（4）HBase（5）HDFS（6）Hive（7）MapReduce（8）Pig（9）ZooKeeper

Hadoop優點

（1）可擴展（2）經濟（3）可靠（4）高效提綱Hadoop簡介Hadoop分布式文件系統HDFS分布式數據處理MapReduce分布式結構化數據表HBaseHadoop安裝HDFS使用HBase安裝使用

MapReduce編程

設計前提與目標

設計前提與目標硬件錯誤是常態而不是異常流式數據訪問

超大規模數據集

簡單一致性模型

移動計算比移動數據更簡單

異構軟硬件平臺間的可移植性

體系結構HDFS主從結構體系NameNode：主控制服務器，負責維護文件系統的命名空間（Namespace）并協調客戶端對文件的訪問，記錄命名空間內的任何改動或命名空間本身的屬性改動DataNode：負責它們所在的物理節點上的存儲管理保障可靠性的措施

1．冗余備份每個文件存儲成一系列數據塊（Block），默認塊大小為64MB（可配置）。為了容錯，文件的所有數據塊都會有副本（副本數量即復制因子，可配置）2．副本存放采用機架感知（Rack-aware）的策略來改進數據的可靠性、可用性和網絡帶寬的利用率

復制因子為3時數據塊分布情況

保障可靠性的措施

3.心跳檢測NameNode周期性地從集群中的每個DataNode接受心跳包和塊報告，收到心跳包說明該DataNode工作正常4.安全模式系統啟動時，NameNode會進入一個安全模式。此時不會出現數據塊的寫操作5.數據完整性檢測

HDFS客戶端軟件實現了對HDFS文件內容的校驗和（Checksum）檢查保障可靠性的措施

6.空間回收

文件被用戶或應用程序刪除時，先把它移動到/trash目錄里；只要還在這個目錄里，文件就可以被迅速恢復7.元數據磁盤失效NameNode可以配置為支持維護映像文件和事務日志的多個副本，任何對映像文件或事務日志的修改，都將同步到它們的副本上8.快照

快照支持存儲某個時間的數據復制，當HDFS數據損壞時，可以回滾到過去一個已知正確的時間點。HDFS目前還不支持快照功能提升性能的措施

提升性能措施副本選擇HDFS會盡量使用離程序最近的副本來滿足用戶請求，這樣可以減少總帶寬消耗和讀延時

負載均衡HDFS的架構支持數據均衡策略

客戶端緩存HDFS客戶端先把數據緩存到本地的一個臨時文件，程序的寫操作透明地重定向到這個臨時文件流水線復制DataNode從前一個節點接收數據的同時，即時把數據傳給后面的節點，這就是流水線復制訪問接口

HadoopAPI（1）org.apache.hadoop.conf（2）org.apache.hadoop.dfs（3）org.apache.hadoop.fs（4）org.apache.hadoop.io（5）org.apache.hadoop.ipc（6）org.apache.hadoop.mapred（7）org.apache.hadoop.metrics（8）org.apache.hadoop.record（9）org.apache.hadoop.tools（10）org.apache.hadoop.util瀏覽器接口典型HDFS安裝會配置一個Web服務器開放自己的命名空間，其TCP端口可配；默認配置下http://namenode-name:50070這個頁面列出了集群里的所有DataNode和集群的基本狀態

提綱Hadoop簡介Hadoop分布式文件系統HDFS分布式數據處理MapReduce分布式結構化數據表HBaseHadoop安裝HDFS使用HBase安裝使用

MapReduce編程

邏輯模型MapReduce處理的任務基本要求：待處理的數據集可以分解成許多小的數據集，而且每一個小數據集都可以完全并行地進行處理

映射階段，用戶輸入的數據分割為M個片斷，對應M個Map任務。每一個Map操作的輸入是數據片斷中的鍵值對<K1,V1>集合，Map操作調用用戶定義的Map函數，輸出一個中間態的鍵值對<K2,V2>集合。接著，按照中間態的K2將輸出的數據集進行排序，并生成一個新的<K2,list(V2)>元組，按照K2的范圍將這些元組分割為R個片斷化簡階段，每一個Reduce操作的輸入是一個<K2,list(V2)>片斷，Reduce操作調用用戶定義的Reduce函數，生成用戶需要的鍵值對<K3,V3>進行輸出實現機制

實現機制1．分布式并行計算2．本地計算3．任務粒度4．Combine（連接）5．Partition（分區）6．讀取中間結果7．任務管道提綱Hadoop簡介Hadoop分布式文件系統HDFS分布式數據處理MapReduce分布式結構化數據表HBaseHadoop安裝HDFS使用HBase安裝使用

MapReduce編程

邏輯模型表格里存儲一系列的數據行，每行包含一個可排序的行關鍵字、一個可選的時間戳及一些可能有數據的列（稀疏）數據行有三種基本類型的定義：行關鍵字是數據行在表中唯一標識，時間戳是每次數據操作對應關聯的時間戳，列定義為：<family>:<label>（<列族>:<標簽>）行關鍵字時間戳列"contents:"列"anchor:"列"mime:""n.www"t9"anchor:""CNN"t8"anchor:my.look.ca""CNN.com"t6"<html>...""text/html"t5"<html>..."t3"<html>..."

物理模型行關鍵字時間戳列"contents:""n.www"t5"<html>…"t4"<html>…"t3"<html>…"行關鍵字時間戳列"anchor:""n.www"t8"anchor:""CNN"t7"anchor:look.ca""CNN.com"行關鍵字時間戳列"mime:""n.www"t6"text/html"物理模型實際上就是把概念模型中的一個行進行分割，并按照列族存儲查詢時間戳為t7的“contents:”將返回空值，查詢時間戳為t8，“anchor:”值為“look.ca”的項也返回空值（空的單元格不存儲

）查詢“contents:”而不指明時間戳，將返回t5時刻的數據；查詢“anchor:”的“look.ca”而不指明時間戳，將返回t7時刻的數據（未指明時間戳，則返回指定列的最新數據值

）子表服務器

客戶端進行更新操作時，首先連接相關的子表服務器，之后向子表提交變更。提交的數據被添加到子表的HMemcache和子表服務器的HLog提供服務時，子表首先查詢緩存HMemcache。若沒有，再查找磁盤上的HStoreHRegion.flushcache()定期被調用，把HMemcache中的內容寫到磁盤上HStore文件里

調用HSpact()方法來實現多個HStoreFile合并成一個HStoreFile

HRegion.closeAndMerge()可把兩個子表合并成一個；HRegion.closeAndSplit()，可將子表分割為兩個新子表

調用flushcache()方法越少，工作量就越少，而HMemcache就要占用更多的內存空間，啟動時HLog文件也需要更多的時間來恢復數據。而調用flushcache()越頻繁，HMemcache占用內存就越少，HLog文件恢復數據時也就越快主服務器

主服務器維護子表服務器在任何時刻的活躍標記

與Google的Bigtable不同，Bigtable使用分布式鎖服務Chubby保證了子表服務器訪問子表操作的原子性；HBase不具備這樣的Chubby每個子表都由它所屬的表格名字、首關鍵字和regionId來標識例如，表名：hbaserepository首關鍵字：w-nk5YNZ8TBb2uWFIRJo7V==regionId：68906014

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網頁內容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間，僅對用戶上傳內容的表現方式做保護處理，對用戶上傳分享的文檔內容本身不做任何修改或編輯，并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容，請與我們聯系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論