1、Hadoop大數據解決方案進階應用Hadoop講師：迪倫（北風網 ）YARN支持的計算框架(3) Storm On YARN服務 Apache Tez介紹 Tez實現原理課程目標YARN-Storm ApplicationMasterStorm ApplicationMaster初始化時，將在同一個Container中啟動Storm Nimbus和Storm Web UI兩個服務根據待啟動的Supervisor數目向ResourceManager申請資源ApplicationMaster將請求一個節點上所有資源然后啟動Supervisor服務也就是說，當前Supervisor將獨占節點而不會與

2、其他服務共享節點資源，這種情況下可避免其他服務對Storm集群的干擾Storm ApplicationMaster還會啟動一個Thrift Server以處理來自YARN-Storm Client端的各種請求當前Storm On YARN存在的問題難以將所有Storm服務運行在相鄰的節點上，比如同一個機架上由于Nimbus服務運行在ApplicationMaster上，而一旦ApplicationMaster失敗后，YARN會將它運行在另外一個節點上YARN需要提供一個ApplicationMaster或Nimbus位置獲取服務，客戶端直接通過該服務獲取Nimbus位置即可NodeManage

3、r本身無法支持動態升級Apache Tez是什么Tez是Apache開源的支持DAG作業的計算框架直接源于MapReduce框架，核心思想是將Map和Reduce兩個操作進一步拆分Map被拆分成Input、Processor、Sort、Merge和Output Reduce被拆分成Input、Shuffle、Sort、Merge、Processor和Output分解后的元操作可以任意靈活組合，產生新的操作，這些操作經過一些控制程序組裝后，可形成一個大的DAG作業天生融入Hadoop 2.0中的資源管理平臺YARNTez主要由兩部分組成數據處理引擎DAGAppMaster傳統的MR運行過程包括H

4、ive，Pig和直接編寫MR程序采用Tez的運行過程使用MapReduce和Tez解決WordCount問題Tez特點與MapReduce兼容，繼承了MapReduce的各種優點（比如良好的擴展性和容錯性）運行在YARN之上適用于DAG（有向圖）應用Apache當前有頂級項目Oozie用于DAG作業設計，但Oozie是比較高層（作業層面）的Tez在更底層提供了DAG編程接口，用戶編寫程序時直接采用這些接口進行程序設計，這種更底層的編程方式會帶來更高的效率Tez數據處理引擎Tez提供了6中可編程組件，實現了一些常見的算法和組件Input：對輸入數據源的抽象，類似于MR模型中的InputFormat，它解析輸入數據格式，并吐出一個個Key/valueOutput：對輸出數據源的抽象，類似于MR模型中的OutputFormat，它將用戶程序產生的Key/value寫入文件系統Partitioner：對數據進行分片，類似于MR中的PartitionerProcessor：對計算單元的抽象，它從一個Input中獲取數據，經用戶定義的邏輯處理后，通過Output輸出到文件系統Task：對任務的抽象，每