《大數據分析》課程標準一、課程基本信息課程名稱：大數據分析課程類型：專業技能核心課學時學分：48學時，3學分（其中：實踐24學時）適用專業：大數據二、課程定位本課程主要定位于分布式數據存儲、數據分析等崗位。它是從事大數據可視化展示的必備課程，在整個課程體系中有重要作用，本課程的前導課程是Linux操作系統、大數據環境搭建與運維。后續課程：網絡爬蟲與數據采集、NoSQL數據庫技術及應用。本教材主要以Hadoop生態體系為主線使用大數據離線項目貫穿詳細講解其各組件的功能和使用方法，包括Hadoop介紹、HDFS分布式文件系統、MapReduce計算框架、Hive數據倉庫工具、Sqoop數據遷移工具。全書知識點的講解由淺入深，內容系統全面，使每一位讀者都能有所收獲，也保持了整本書的知識深度，可幫助開發人員快速實現大數據的離線分析。三、課程目標（一）總體目標通過學習本課程，需要掌握數據分析的常用方法及工具，掌握Hadoop生態體系中各組件的作用，掌握HDFS分布式文件系統的使用方法包括HDFSShell、Python操作HDFS等，掌握MapReduce數據清洗方法能夠實現數據的清洗，掌握Hive數據庫的使用方法、掌握數據的導入導出操作、掌握SparkSQL實現數據分析方法、掌握使用Sqoop進行數據的導入導出操作。（二）具體目標1．知識目標通過本課程的學習，掌握數據分布式存儲方法，掌握大數據清洗的程序編寫規則和編寫語法，掌握向集群提交任務的方法，掌握使用Hive進行數據統計和存儲的方法，掌握數據的遷移操作。2．素質目標引導學生誠實、守信、認真、嚴謹、踏實，具有較強的自信心、進取心。在學習過程中具有與人際交往、溝通、團隊協作和處理公共關系的能力。在完成項目過程中具有自學能力、獲取信息的能力，以及一定的組織、管理能力、具有敬業愛崗的職業意識和良好的職業道德意識。通過技能技術領域學習增強學生的民族自信心與自豪感，增強學生的愛國情懷、工匠精神，使學生明白他們是中國技術的未來的接班人，增強其不忘初心，砥礪前進，為中國夢努力奮斗的使命感，增強對社會主義核心價值觀的理解，增強學生對國家發展的信心。教學內容與要求（一）確定教學內容的原則以學生為本由于數據分析方法及應用是一門理論與實際相結合的課程，需要學生動手上機實操，在設計教學內容時以操作為主，理論講解為輔，讓學生多動手操作實踐。啟發創造原則最大限度地調動學生學習的積極性和自覺性，激發他們的創造性思維，從而使學生在融會貫通地掌握知識和技能的同時，引導學生發揮想象，在實例的基礎上進行個性化的創作，充分發展自己的創造性能力。聯系實際原則教學內容必須要與實際相結合，讓學生感受到課程的真實性，從而提高學生學習的積極性，激發學生的學習興趣。（二）課程學時安排本課程基本教學學時為48學時，其中包括實踐學時24學時，當教學計劃安排的學時超出本課程的學時范圍時，可根據就業面向的需要對超出部分的學時做適當調整。（三）課程學習內容設計與參考學時章節教學內容教學內容教學方法建議學時項目一初識電商產品數據的處理與分析任務一電商產品數據背景及數據分析概述技能點1電商產品數據背景技能點2大數據分析概念技能點3大數據分析應用場景技能點4大數據分析指標任務二電商產品數據處理與分析項目準備技能點1大數據分析工具簡介技能點2大數據分析組件技能點3大數據分析流程技能點4大數據分析企業級應用教學方法：互動提問，案例分析，視聽教學等理論4實踐4項目二電商產品數據分布式存儲任務一使用HDFSShell管理電商產品數據技能點1什么是HDFS技能點2HDFS存儲架構技能點3HDFS文件存取機制技能點4HDFSShell基礎命令技能點6HDFSShell管理命令任務二使用hdfs庫管理電商產品數據技能點1hdfs庫簡介技能點2hdfs庫方法教學方法：互動提問，實操體驗，案例分析、操作等理論4實踐4項目三電商產品數據分布式處理任務一使用正則表達式匹配電商產品數據技能點1MapReduce簡介技能點2YARN簡介技能點3正則表達式任務二使用HadoopStreaming處理電商產品數據技能點1HadoopStreaming簡介技能點2HadoopStreaming使用教學方法：互動提問、視聽教學、案例講解、操作等理論4實踐4項目四電商產品數據離線分析任務一使用Hive創建電商產品數據庫技能點1Hive簡介技能點2Hive數據庫操作技能點3Hive表操作技能點4Hive數據操作任務二使用Hve對商產品數據統計技能點1算術運算技能點2數據查詢任務三使用Spark創建基于電商產品數據的分布式數據容器技能點1SparkSQL簡介技能點2DataFrame簡介技能點3DataFrame創建任務四使用SparkSQL完成電商產品數據分析技能點1數據查看技能點2數據過濾技能點3數據處理技能點4數據存儲教學方法：互動提問、視聽教學、案例講解、操作等理論4實踐4項目五電商產品數據實時分析任務一創建數據流技能點1流式計算簡介技能點2SparkStreaming簡介技能點3DStream簡介技能點4DStream創建任務二使用SparkStreaming對電商產品數據實時分析技能點1DStream轉換操作技能點2DStream窗口操作技能點3DStream輸出操作技能點4SparkStreaming啟動與停止教學方法：互動提問、視聽教學、案例講解、操作等理論4實踐4項目六電商產品數據遷移任務一根據電商產品數據統計結果創建數據表并查看技能點1Sqoop簡介技能點2Sqoop連接器技能點3Sqoop配置數據庫密碼方式技能點4列出所有數據庫技能點5列出中的所有表任務二使用Sqoop將Hive中電商產品數據統計結果導出技能點1Sqoop數據導入與導出技能點2其他常用命令教學方法：互動提問，案例分析，視聽教學、操作等。理論4實踐4五、課程標準適用范圍適用于高職大數據技術專業。六、關于課程標準的說明本課程是校企合作開發課，是專業必修課程，也是專業核心課，在大數據課程體系中的占據重要位置，與Python程序設計、Linux操作系統及后續課程大數據應用開發、分析、可視化起到了承上啟下的作用。課程時間分配表供參考，在保證達到教學要求的前提下，教學過程中可根據具體情況對內容次序和課時分配做適當的調整。七、考核及成績評定方式（一）考核方式：考試（二）成績評定辦法成績評定構成：單元測驗分數/作業分數*40%+實踐分數*20%+期末考試分數*40%＝總成績（100分）成績評定細則：單元測驗/作業：4課時一次測驗/作業，根據完成情況給予評價。實踐：完成實訓/實驗指導書中規定的每個實訓項目，根據實訓/實驗報告給予評價。期末考試：理論考試，覆蓋各教學單元的基本技術原理及應用，著重考察對重點教學內容的綜合掌握情況。鼓勵將過程考核、實際能力考核、全面考核等理念貫徹到課程考核中來，重點著眼于科學全面地評價學生綜合素質，強化知識應用