1、基于Hadoop與Spark的大數(shù)據(jù)開發(fā)實戰(zhàn)演講人2025-11-112020基于Hadoop與Spark的大數(shù)據(jù)開發(fā)實戰(zhàn)演講人2025-關于引用作品的版權聲明關于引用作品的版權聲明關于引用作品的版權聲明關于引用作品的版權聲明1 Hadoop初體驗1 Hadoop初體驗1 Hadoop初體驗01任務1 初識大數(shù)據(jù)任務2 初識Hadoop02030405任務3 安裝Hadoop平臺本章總結本章練習1 Hadoop初體驗01任務1 初識大數(shù)據(jù)任務2 初識Ha1 Hadoop初體驗任務1 初識大數(shù)據(jù)A1.1.1 大數(shù)據(jù)基本概念1.1.2 大數(shù)據(jù)帶來的挑戰(zhàn)B1 Hadoop初體驗任務1 初識大數(shù)據(jù)A1

2、.1.1 大數(shù)據(jù)1 Hadoop初體驗任務2 初識HadoopCBA1.2.1 Hadoop概述1.2.2 Hadoop生態(tài)圈1.2.3 Hadoop應用案例1 Hadoop初體驗任務2 初識HadoopCBA1.2.1 Hadoop初體驗任務3 安裝Hadoop平臺CBA1.3.1 安裝虛擬機1.3.2 安裝Linux系統(tǒng)1.3.3 安裝Hadoop偽分布式環(huán)境1 Hadoop初體驗任務3 安裝Hadoop平臺CBA1.2 Hadoop分布式文件系統(tǒng)2 Hadoop分布式文件系統(tǒng)2 Hadoop分布式文件系統(tǒng)A任務1 HDFS入門B任務2 HDFS基本操作C任務3 HDFS運行原理D任務4

3、HDFS高級知識E本章總結F本章練習2 Hadoop分布式文件系統(tǒng)A任務1 HDFS入門B任務2LOGOM.94275.CN2 Hadoop分布式文件系統(tǒng)任務1 HDFS入門2.1.1 認識HDFS012.1.3 HDFS架構032.1.2 HDFS基礎02LOGOM.94275.CN2 Hadoop分布式文件系統(tǒng)任LOGOM.94275.CN2 Hadoop分布式文件系統(tǒng)任務2 HDFS基本操作A2.2.1 使用HDFS shell訪問2.2.2 使用Java API訪問BLOGOM.94275.CN2 Hadoop分布式文件系統(tǒng)任2 Hadoop分布式文件系統(tǒng)任務3 HDFS運行原理2.3

4、.1 HDFS讀寫流程2.3.2 HDFS副本機制2.3.3 HDFS負載均衡2.3.4 HDFS機架感知2 Hadoop分布式文件系統(tǒng)任務3 HDFS運行原理2.3任務4 HDFS高級知識2 Hadoop分布式文件系統(tǒng)2.4.2 Sequence File2.4.1 Hadoop序列化機制2.4.3 Map File任務4 HDFS高級知識2 Hadoop分布式文件系統(tǒng)2.43 Hadoop分布式計算框架3 Hadoop分布式計算框架3 Hadoop分布式計算框架任務2 Map Reduce應用開發(fā)本章總結任務1 認識Map Reduce編程模型任務3 Map Reduce高級應用本章練習3

5、 Hadoop分布式計算框架任務2 Map Reduce應任務1 認識Map Reduce編程模型3 Hadoop分布式計算框架3.1.2 Map Reduce編程模型3.1.1 Map Reduce基礎3.1.3 Map Reduce詞頻統(tǒng)計編程實例任務1 認識Map Reduce編程模型3 Hadoop分布任務2 Map Reduce應用開發(fā)3 Hadoop分布式計算框架3.2.2 Map Reduce輸入格式3.2.4 Combiner操作3.2.6 自定義Record Reader3.2.1 Map Reduce輸入/輸出類型3.2.3 Map Reduce輸出格式3.2.5 Part

6、itioner操作任務2 Map Reduce應用開發(fā)3 Hadoop分布式計3 Hadoop分布式計算框架任務3 Map Reduce高級應用13.3.1 使用Map Reduce實現(xiàn)join操作23.3.2 使用Map Reduce實現(xiàn)排序33.3.3 使用Map Reduce實現(xiàn)二次排序43.3.4 使用Map Reduce合并小文件3 Hadoop分布式計算框架任務3 Map Reduce高4 Hadoop新特性4 Hadoop新特性4 Hadoop新特性01任務1 初識YARN任務2 了解HDFS新特性02030405任務3 了解YARN新特性本章總結本章練習4 Hadoop新特性0

7、1任務1 初識YARN任務2 了解H4 Hadoop新特性任務1 初識YARN4.1.1 YARN產生背景014.1.3 YARN架構設計034.1.2 YARN簡介024 Hadoop新特性任務1 初識YARN4.1.1 YAR任務2 了解HDFS新特性4 Hadoop新特性4.2.2 HDFS Name Node Federation4.2.4 HDFS REST API4.2.1 HDFS Name Node 高可用機制4.2.3 HDFS Snapshots4.2.5 Dist Cp工具任務2 了解HDFS新特性4 Hadoop新特性4.2.2 4 Hadoop新特性任務3 了解YAR

8、N新特性A4.3.1 Resource Manager自動重啟4.3.2 Resource Manager高可用機制B4 Hadoop新特性任務3 了解YARN新特性A4.3.15 Hadoop分布式數(shù)據(jù)庫5 Hadoop分布式數(shù)據(jù)庫5 Hadoop分布式數(shù)據(jù)庫DCBA任務1 認識HBase任務2 HBase Shell操作任務3 HBase編程本章總結E本章練習5 Hadoop分布式數(shù)據(jù)庫DCBA任務1 認識HBase任LOGOM.94275.CN5 Hadoop分布式數(shù)據(jù)庫任務1 認識HBase5.1.1 HBase簡介5.1.2 HBase體系結構5.1.4 HBase的安裝5.1.3

9、HBase數(shù)據(jù)模型LOGOM.94275.CN5 Hadoop分布式數(shù)據(jù)庫任務LOGOM.94275.CN5 Hadoop分布式數(shù)據(jù)庫任務2 HBase Shell操作A5.2.1 HBase Shell簡介5.2.2 HBase Shell的使用BLOGOM.94275.CN5 Hadoop分布式數(shù)據(jù)庫任務LOGOM.94275.CN5 Hadoop分布式數(shù)據(jù)庫任務3 HBase編程A5.3.1 開發(fā)HBase應用程序5.3.2 HBase數(shù)據(jù)存儲管理APIBLOGOM.94275.CN5 Hadoop分布式數(shù)據(jù)庫任務6 Hadoop綜合實戰(zhàn)音樂排行榜6 Hadoop綜合實戰(zhàn)音樂排行榜6 H

10、adoop綜合實戰(zhàn)音樂排行榜1任務1 Map Reduce與HBase的集成2任務2 HBase Map Reduce API3任務3 實現(xiàn)音樂排行榜4本章總結5本章練習6 Hadoop綜合實戰(zhàn)音樂排行榜1任務1 Map Re6 Hadoop綜合實戰(zhàn)音樂排行榜任務1 Map Reduce與HBase的集成AB6.1.2 批量數(shù)據(jù)導入（Bulk Loading）6.1.1 Map Reduce與HBase的集成環(huán)境6 Hadoop綜合實戰(zhàn)音樂排行榜任務1 Map RedLOGOM.94275.CN6 Hadoop綜合實戰(zhàn)音樂排行榜任務2 HBase Map Reduce API6.2.1 HBa

11、se Map Reduce API 簡介6.2.2 Table Mapper的使用6.2.3 Table Reducer的使用LOGOM.94275.CN6 Hadoop綜合實戰(zhàn)音樂任務3 實現(xiàn)音樂排行榜6 Hadoop綜合實戰(zhàn)音樂排行榜6.3.2 HBase數(shù)據(jù)庫設計優(yōu)化6.3.1 程序的結構與實現(xiàn)6.3.3 Map Reduce全局共享數(shù)據(jù)任務3 實現(xiàn)音樂排行榜6 Hadoop綜合實戰(zhàn)音樂排行榜7 數(shù)據(jù)倉庫Hive7 數(shù)據(jù)倉庫Hive7 數(shù)據(jù)倉庫HiveD本章總結E本章練習A任務1 Hive基礎B任務2 掌握Hive操作C任務3 Hive高級應用7 數(shù)據(jù)倉庫HiveD本章總結E本章練習A任

12、務1 Hive基任務1 Hive基礎7 數(shù)據(jù)倉庫Hive7.1.2 Hive架構設計7.1.4 Hive與傳統(tǒng)關系型數(shù)據(jù)庫7.1.6 Hive部署7.1.1 認識Hive7.1.3 Hive與Hadoop7.1.5 Hive數(shù)據(jù)存儲模型任務1 Hive基礎7 數(shù)據(jù)倉庫Hive7.1.2 Hive7 數(shù)據(jù)倉庫Hive任務2 掌握Hive操作7.2.1 Hive DDL7.2.2 Hive DML7.2.3 Hive shell7 數(shù)據(jù)倉庫Hive任務2 掌握Hive操作7.2.1 Hi任務3 Hive高級應用7 數(shù)據(jù)倉庫Hive7.3.1 Hive函數(shù)017.3.2 Hive調優(yōu)策略02任務3

13、Hive高級應用7 數(shù)據(jù)倉庫Hive7.3.1 Hi8 大數(shù)據(jù)離線處理輔助系統(tǒng)8 大數(shù)據(jù)離線處理輔助系統(tǒng)8 大數(shù)據(jù)離線處理輔助系統(tǒng)任務2 使用Azkaban實現(xiàn)工作流調度本章練習任務1 認識并使用數(shù)據(jù)遷移框架Sqoop本章總結8 大數(shù)據(jù)離線處理輔助系統(tǒng)任務2 使用Azkaban實現(xiàn)工作任務1 認識并使用數(shù)據(jù)遷移框架Sqoop8 大數(shù)據(jù)離線處理輔助系統(tǒng)8.1.2 使用Sqoop導入My SQL數(shù)據(jù)到HDFS8.1.4 使用Sqoop導入My SQL數(shù)據(jù)到Hive8.1.1 Sqoop簡介8.1.3 使用Sqoop導出HDFS數(shù)據(jù)到My SQL8.1.5 Sqoop Job任務1 認識并使用數(shù)據(jù)遷

14、移框架Sqoop8 大數(shù)據(jù)離線處理輔8 大數(shù)據(jù)離線處理輔助系統(tǒng)任務2 使用Azkaban實現(xiàn)工作流調度8.2.1 Azkaban概述8.2.2 Azkaban環(huán)境部署8.2.3 Azkaban應用實例8 大數(shù)據(jù)離線處理輔助系統(tǒng)任務2 使用Azkaban實現(xiàn)工作9 Spark基礎9 Spark基礎9 Spark基礎A任務1 Spark入門B任務2 Scala基礎C任務3 編譯SparkD任務4 Spark初體驗E本章總結F本章練習9 Spark基礎A任務1 Spark入門B任務2 Scal9 Spark基礎任務1 Spark入門9.1.2 Spark優(yōu)勢1329.1.1 Spark簡介9.1.3

15、 Spark生態(tài)圈9 Spark基礎任務1 Spark入門9.1.2 Spar任務2 Scala基礎9 Spark基礎DCBA9.2.1 Scala簡介9.2.2 Scala函數(shù)定義9.2.3 Scala面向對象操作9.2.4 Scala集合的使用E9.2.5 Scala高階函數(shù)任務2 Scala基礎9 Spark基礎DCBA9.2.1 9 Spark基礎任務3 編譯SparkA9.3.1 下載Spark源碼9.3.2 編譯Spark源碼B9 Spark基礎任務3 編譯SparkA9.3.1 下載S9 Spark基礎任務4 Spark初體驗A9.4.1 Spark環(huán)境部署9.4.2 spark

16、-shellB9 Spark基礎任務4 Spark初體驗A9.4.1 Sp10 Spark Core10 Spark Core10 Spark Core任務1 Spark RDD任務2 RDD高級應用本章練習任務3 基于RDD的Spark應用程序開發(fā)本章總結10 Spark Core任務1 Spark RDD任務2 任務1 Spark RDD10 Spark CoreDCBA10.1.1 RDD介紹10.1.2 RDD的創(chuàng)建10.1.3 RDD的轉換算子10.1.4 RDD的動作算子E10.1.5 RDD的依賴關系任務1 Spark RDD10 Spark CoreDCBA10 Spark C

17、ore任務2 RDD高級應用10.2.2 共享變量13210.2.1 RDD緩存機制10.2.3 Spark架構設計10 Spark Core任務2 RDD高級應用10.2.210 Spark Core任務3 基于RDD的Spark應用程序開發(fā)CBA10.3.1 準備工作10.3.2 詞頻計數(shù)實例10.3.3 年齡統(tǒng)計實例10 Spark Core任務3 基于RDD的Spark應用11 Spark SQL11 Spark SQL11 Spark SQLDCBA任務1 認識Spark SQL任務2 Spark SQL編程基礎任務3 Spark SQL編程進階本章總結E本章練習11 Spark S

18、QLDCBA任務1 認識Spark SQ任務1 認識Spark SQL11 Spark SQL11.1.1 SQL0111.1.2 SQL on Hadoop框架0211.1.3 Spark SQL簡介03任務1 認識Spark SQL11 Spark SQL11.任務2 Spark SQL編程基礎11 Spark SQL11.2.2 Data Frame基礎11.2.1 Spark SQL編程入口11.2.3 Data Frame編程實例任務2 Spark SQL編程基礎11 Spark SQL1任務3 Spark SQL編程進階11 Spark SQL11.3.2 Spark SQL函數(shù)11.3.1 Spark SQL操作外部數(shù)據(jù)源11.3.3 Spark SQL調優(yōu)任務3 Spark SQL編程