Hadoop架構介紹Hadoop架構介紹—課程概要HDFS的體系結構MapReduce的體系結構Hadoop的運行模式Hadoop架構介紹HDFS的體系結構HDFS的體系結構設計目標自動快速檢測應對硬件錯誤流式訪問數據轉移計算比移動數據本身更劃算簡單一致性模型異構平臺可移植HDFS的體系結構HDFS的體系結構基本概念機架數據塊（block）元數據：鏡像文件（Fsimage）+日志文件（EditLog)用戶數據HDFS的體系結構NameNodeDataNode1主從節點的通信DataNode2DataNode3DataNodeNACACACDataNode1:A,CDataNode2:A,CDataNodeN:A,C元數據HDFS的體系結構DistributedFilesystemHDFSClientFSDataOutputStream客戶端JVMNameNodeDataNodeDataNodeDataNode寫數據流程1、open2、create3、write7、complete6、close4、write5、ack4455HDFS的體系結構DistributedFilesystemHDFSClientFSDataInputStream客戶端JVMNameNodeDataNodeDataNodeDataNode讀數據流程1、open2、getblocklocation3、read6、close4、read5、readHadoop架構介紹MapReduce的體系結構MapReduce的體系結構分布式編程架構以數據為中心，更看重吞吐率分而治之Map將一個任務分解成多個子任務Reduce將分解后多任務分別處理，并將結果匯總為最終結果應用舉例：清點圖書館藏書、統計單詞的出現次數、混合辣椒醬的生成過程等等MapReduce的體系結構—結構圖ClientJobTrakerTaskTrakerMap（）數據塊1數據塊4數據塊5TaskTrakerMap（）Map結果2Map結果1Map結果3Map結果4Map結果5TaskTrakerReduce（）TaskTrakerReduce（）結果2結果1HDFSHDFS本地臨時存儲分配Map任務分配Reduce任務MapReduce的體系結構—基本概念基本概念作業（Job）任務（Task）鍵值對（key/valuepair）

Map()、Reduce()函數的輸入、輸出都是<key,value>的形式MapReduce的體系結構—生命周期提交作業在作業提交之前，需要對作業進行配置程序代碼，主要是自己編寫的MapReduce程序配置輸入輸出路徑、輸出是否壓縮配置完成后，通過JobClient來提交作業調度FIFO調度器、公平調度器、容量調度器MapReduce的體系結構—生命周期任務分配TaskTracker和JobTracker之間的通信與任務的分配是通過心跳機制完成的TaskTracker會主動向JobTracker詢問是否有作業要做，如果自己可以做，那么就會申請到作業任務，這個任務可以使Map也可能是Reduce任務任務的執行拷貝代碼到本地拷貝任務的信息到本地啟動JVM運行任務MapReduce的體系結構—生命周期狀態更新任務在運行過程中，首先會將自己的狀態匯報給TaskTracker，然后由TaskTracker匯總告之JobTracker任務進度是通過計數器來實現的JobTracker是在接受到最后一個任務運行完成后，才會將作業標志為成功作業成功后執行刪除中間結果等善后處理工作Hadoop架構介紹Hadoop的運行模式Hadoop的運行模式三種模式單機模式偽分布式模式完全分布式模式Hadoop的運行模式單機模式默認模式不對配置文件進行修改使用本地文件系統Hadoop的守護進程未啟動用于對MapReduce程序的邏輯進行調試Hadoop的運行模式偽分布式模式在一臺主機模擬多主機每個守護進程都以Java進程的形式運行在單機模式之上增加了代碼調試功能，允許檢查內存使用情況，HDFS輸入輸出，以及其他的守護進程交互修改3個配置文件：core-site.xml、hdfs-site.xml、mapred-site.xml格式化文件系統Hadoop的運行模式完全分布式模式多臺主機所有主機安裝JDK和Hadoop設置SSH免密碼登陸修改3個配置文件：core-site.xml、hdfs-site.xml、mapred-site.xml格式化文件系統Hadoop架構介紹本課程中我們學習了解了Hadoop架構介紹。