1、大數據平臺 課程標準一、課程定位現在企業為了提升客人使用體驗，提高業務效率，在大數據蓬勃發展的階段里，需要對現有業務系統進行轉型升級；作為大數據載體，大數據平臺工程師應用成為有大量數據的企業必備人才。 隨著大數據應用的大量普及，開源框架，比如hadoop，spark等，也得到長足發展。本課程著力于系統數據的收集和搭建技術，使得作為大數據的研發/分析帶來基礎設施，讓學員掌握；并通過本課程，掌握大數據平臺的理念，為將來在不同企業使用各種基礎設施的搭建和維護指明方向。 二、課程性質與作用課程性質 大數據平臺搭建核心課程。課程作用 大數據平臺搭建核心課程，是整個大數據中基礎的一環。在實際工作中，掌握本

2、技術是是大數據方向的重要的崗位，即大數據平臺工程師。在后續的大數據研發及大數據分析中，必須要在大數據平臺搭建完成后才能在真實生產環境運行。本課程會涉及到其余的計算機知識，比如Linux操作系統、數據庫、集群等知識。學習完本科課程之后，為了鞏固和提高對大數據平臺搭建的理解，在后續課程中加入有實際生產環境的搭建過程并驗證。三、課程目標課程教學以生產環境搭建為目標，以實際項目為中心，以合理知識結構分解為手段，在理解大數據平臺架構的過程中，主要以實際操作讓學員對相關知識點掌握，達到理論與實際結合，教學與企業融合的內容。學員學成后，能夠利用流程的大數據平臺框架大家生產環境，并且在企業相關架構選擇有微調時

3、，能夠觸類旁通，也能完成搭建任務。課程內容始終圍繞全面提升學生的理論和操作的熟練程度、規范化程度以及職業素質三個方面展開。（一）知識目標1. 理解大數據概念及應用場景，先導課程Linux的操作2. 掌握大數據HDFS、HBase、Hadoop集群搭建及數據批處理。3. 熟練掌握Spark搭建并能夠驗證運行。4. 熟練掌握Storm搭建并掌握流處理概念。5. Hadoop生態其他組件的安裝和應用，Yarn &zookeeper。6.離線工具ETL和hive的安裝及應用。（二）能力目標1.全局的眼光理解大數據，理解大數據的應用，并有總體的概念。2.理解企業中實際生產環境的大數據搭建，收集，

4、分析，應用的過程。3.具備在實際應用中，針對技術框架的微調，能夠應對并能夠調試驗證成功。四、課程設計主要指課程設計的總體思路：課程設計圍繞大數據基礎設施的搭建，并考慮到實際企業生產環境中的應用場景，從先導知識，基礎知識，生態知識及擴展知識。課程案例選取： 以搭建支持10GB的數據為目標，在目標3機器上部署大數據倉庫，并能實際運行。模擬手機1GB的數據，能夠通過Hive進行查詢，為將來數據清洗和數據分析提供基礎。五、課程內容與要求知識塊知識點課程目標課時案例先導知識Linux系統Linux 基礎先導課程，以掌握Linux基本操作未基礎，加上對Linux操作系統的進程管理的知識，為后續的部署打下基

5、礎。主要能夠熟練編輯和配置Linux下的系統文件并能夠查找文件和文字Linux-常用命令介紹Linux-shell的特殊符號以及VI編譯工具Linux-高級指令（系統管理、查詢、作業控制、進程管理和Linux三劍客）Linux-環境變量、初始化文件和定時服務Linux-shell腳本及編程Linux-備份工具Linux-安全性Linux-網絡互聯Linux-軟件的安裝和日志大數據基礎大數據概論大數據背景能夠高度概括大數據系統的前世今生，實際了解企業里面使用的大數據的場景大數據基本概念大數據案例大數據技術HDFS分布式文件系統HDFS簡介掌握DFS架構，配置及日常管理HDFS基本架構使用場景核心

6、設計體系架構命令行使用JAVA接口運行機制IO操作Hodoop集群安裝部署Linux環境準備理解Hadoop生態，能夠安裝并驗證Hadoop集群。并實際操作在現有生態增加組件的安裝及調整方式按照JDK按照并配置Hadoop啟動并驗證Hadoop集群MapReduce計算框架編程模型WordCount高級編程編程案例應用編程開發MP工作機制和YARNYARN平臺簡介YARN結構YARN資源調度作業調度Hbase分布式數據庫簡介理解和掌握HBase的原理及操作，并能對HBase做日常管理安裝部署和Hadoop的關系核心功能模塊基本概念Hbase Shell命令行工具JAVA客戶端操作MAPredu

7、ce批量操作HBASE塊數據導入HBASE核心概念高級特性flume海量日志采集系統簡介選修，建議學員能夠通過自學布置完成。安裝部署結構核心概念KafKa分布式發布訂閱消息系統簡介選修，建議學員能夠通過自學布置完成。核心概念按照部署zookeeper分布式資源協調系統簡介必修，能夠單獨完成配置并在資源出現狀況時，能夠自動切換。安裝部署工作原理客戶端使用離線計算工作引擎azkaban使用能夠實際部署并做配置安裝部署ETL工具sqoop應用理解ETL的實質，并了解ETL在大數據清洗中的作用安裝部署數據倉庫查詢HIVE基本概念掌握Hive的安裝部署及其他的安裝部署數據定義數據查詢內置函數和UDF自定義函數和UDAF UDTF實時計算storm實時流計算框架簡介能夠實際部署并做配置架構按照部署核心概念和數據流模型編程實例Spark Streaming簡介能夠實際部署并做配置架構按照部署核心概念和數據流模