修訂記錄建議直接將本膠片另存，然后在此膠片的基礎上進行編輯。本部分包含：培訓目標、目錄、習題、總結、問題等模板。參考IT解決方案產品培訓課程開發內容要素，按照模塊開發。課程編碼適用產品產品版本課程版本ISSUEH13-711FusionInsightHDV100R002C60V1.0開發/優化者時間審核人開發類型（新開發/優化）陳志強003457512016年6月高冬冬wx321719新開發本頁不打印MapReduce和Yarn

安裝部署學完本課程后，您將能夠:掌握MR,YARN組件安裝部署掌握MR,YARN常用配置參數熟悉MR,YARN監控告警部署規劃部署方法組件配置健康檢查關鍵指標原生頁面介紹MR,YARN部署原則及約束服務名稱角色名稱內存最小要求依賴關系角色業務部署原則YARNRM（ResourceManager）2GB依賴于HDFS和ZooKeeper分別部署在2個控制節點上，主備配置。NM(NodeManager)2GB至少部署在3個數據節點上，與HDFS的DataNode保持一致。MapReduceJobHistoryServer2GB依賴于HDFS，Yarn,ZooKeeper部署在1個控制節點上，用于存儲任務運行記錄。部署規劃部署方法新建部署擴容部署減容部署組件配置健康檢查關鍵指標原生頁面介紹新建部署1、進入安裝頁面，選擇“手動安裝”（也可選擇“模板安裝”，這里以手動安裝為例），點擊確定。新建部署2、輸入主機IP以及主機root用戶密碼，點擊“發現主機”，選擇發現成功的節點，點擊“下一步”。3、選擇安裝服務根據業務需要選擇待安裝的服務。當選擇MapReduce服務時，系統會自動為其選擇依賴的ZooKeeper,HDFS,YARN等服務。4、拓撲設置根據拓撲規劃，將組件部署到指定節點上。完成設置后點擊“下一步”。新建部署5、提交安裝完成上述操作后，進入確認頁面，確認頁面包含前面步驟的概要信息。然后點擊“提交”。6、部署完成提交集群安裝請求后，界面顯示安裝集群進度，全部步驟完成后點擊“完成”。部署規劃部署方法新建部署擴容部署減容部署組件配置健康檢查關鍵指標原生頁面介紹擴容部署在以下條件發生時，需進行NodeManager擴容：FusionInsightManager上已經正確設置了MapReduceJobExecutionTimeout（AlarmID:18006）監控轉告警。系統收到此告警且排除了MapReduce服務不可用和部分NodeManager異常的場景。擴容方式：如果集群內仍有部分安裝了DataNode實例的節點未安裝NodeManager，且在集群角色部署規劃中允許這些節點安裝NodeManager實例，可直接在這些節點上添加NodeManager實例完成擴容。節點擴容后在新增節點上添加DataNode實例與NodeManager實例。擴容部署擴容前準備。擴容部署如有告警先清除告警，再進行擴容操作。擴容部署擴容約束實例擴容的目標節點不要選擇ResourceManager、JobHistory或者NameNode所在的節點。在ResourceManager或者JobHistory上增加或刪除NodeManager或DataNode會導致ResourceManager或者JobHistory出現“配置狀態”處于“過期”，此時需要重啟服務才能恢復。實例擴容的目標節點不要選擇HMaster所在的節點。擴容部署1、在安裝了YARN服務的集群管理界面，進入“服務管理”界面，點擊YARN服務，進入YARN服務界面,點擊“實例”頁簽，進入YARN實例界面,點擊“添加實例”操作。擴容部署2、若擴容主機不在主機列表里，需點擊“添加主機”，輸入主機IP以及主機root用戶密碼，點擊“發現主機”，選擇發現成功的節點，點擊“下一步”,在擴容的節點上規劃YARN的角色，如NM，點擊“下一步”。擴容部署3、按照提示步驟完成實例擴容。部署規劃部署方法新建部署擴容部署減容部署組件配置健康檢查關鍵指標原生頁面介紹減容部署點擊“服務管理>YARN>實例”，進入YARN實例界面，選擇待減容的實例，點擊“更多操作”中的“退服”操作。部署規劃部署方法組件配置常用參數說明及配置建議監控告警健康檢查關鍵指標原生頁面介紹常用參數說明及配置建議參數建議值說明yarn.scheduler.minimum-allocation-vcores1ResourceManager中每個容器請求的最小分配值，用虛擬CPU核數表示。低于該值的請求將不生效。設置值將配置為最低。yarn.scheduler.minimum-allocation-mb512為ResourceManager中每個container請求分配的最小內存。單位：MB。如果請求的內存量很少，將分配該參數設置的內存量。yarn.scheduler.maximum-allocation-mb6144為ResourceManager中每個container請求分配的最大內存。單位：MB。如果請求的內存量很多，將分配該參數設置的內存量。常用參數說明及配置建議參數建議值說明yarn.nodemanager.log-dirs/srv/BigData/hadoop/data1/nm/containerlogs,/srv/BigData/hadoop/data2/nm/containerlogs本地化后任務日志文件的存儲位置。yarn.nodemanager.local-dirs/srv/BigData/hadoop/data1/nm/localdir,/srv/BigData/hadoop/data2/nm/localdir本地化后任務數據文件的存儲位置。yarn.nodemanager.resource.memory-mb實際節點內存的75%分配給Yarn的內存資源。部署規劃部署方法組件配置常用參數說明及配置建議監控告警健康檢查關鍵指標原生頁面介紹監控選擇Yarn的服務監控可以在Yarn服務頁面右上角點擊定制選擇監控選項。監控告警-Yarn服務監控已經成功提交任務到各個隊列的信息集群中各個隊列可用的資源監控告警-ResourceManager監控ResourceManager已使用的內存ResourceManager的CPU使用率監控告警-JobHistoryServer監控JobHistoryServer的CPU使用率JobHistoryServer的已使用內存部署規劃部署方法組件配置健康檢查關鍵指標原生頁面介紹健康檢查關鍵指標部署規劃部署方法組件配置健康檢查關鍵指標原生頁面介紹原生頁面介紹原生頁面介紹本章首先介紹了MapReduce&Yarn的部署規劃原則，以及部署方法。接著介紹安裝后組件的參數配置，如何對MapReduce&Yarn做健康檢查，最后介紹了原生頁面。MapReduce和Yarn分別依賴于哪些服務運行？擴容部署有哪些方法？如何檢查MapReduce和Yarn的狀態是否健康？習題1.MapReduce的安裝依賴哪些組件（）A.Yarn,Hbase,Hive B.zookeeper,HDFS,YarnC.HDFS,Hive D.Solr,Hbase,zookeeper2.Yarn默認分配給每個conta