《分布式計算框架》課程教學大綱（實驗課程）一、課程基本信息課程號3023S06019開課單位國際學院課程名稱（中文）分布式計算框架（英文）DistributedComputingFramework課程性質選修考核類型考試課程學分3課程學時17+51周課程類別專業發展課程(專業拓展課)先修課程程序設計基礎、Java程序設計語言、數據結構適用專業（類）軟件工程二、課程描述及目標（一）課程簡介《分布式計算框架》是本專業（類）的一門專業拓展就業創業方向程，重點講授流行的大數據分布式計算框架HADOOP和SPARK，使學生掌握大數據編程基礎知識，能夠運用這兩個框架解決簡單的大數據處理問題。該課程以“構建知識體系、闡明基本原理、引導初級實踐、了解相關應用”為原則，為學生在大數據領域的進一步發展奠定基礎、指明方向。課程將系統講授大數據的基本概念、大數據處理架構Hadoop、分布式文件系統HDFS、分布式并行編程模型MapReduce、基于內存的大數據處理架構Spark及基于這兩種框架的簡單大數據處理應用案例，本課程的重點是Hadoop、HDFS、MapReduce、Spark，難點是大數據編程。通過本課程的學習，使學生理解并掌握兩個大數據開源框架的使用。通過本實驗課程的訓練，使學生加深對課堂教學內容與分布式計算框架Hadoop和Spark的應用，同時培養學生實際的動手能力。（二）教學目標通過本課程的學習，使學生掌握大數據的相關概念和大數據處理的基礎知識，掌握大數據分布式計算框架Hadoop和Spark的核心構成組件及其應用，掌握用這兩個框架解決一些基本的大數據處理問題，如大數據排序，大數據查詢等。課程目標包括4個：課程目標1：掌握大數據的相關概念和技術方法，理解并掌握分布式計算框架HADOOP和SPARK的原理，能用這兩個框架解決簡單的大數據處理問題。課程目標2：掌握Hadoop的應用，重點掌握HDFS和MapReduce的應用。課程目標3：掌握Spark的應用。課程目標4：培養學生的終身學習能力、創新意識和創新能力以及職業和專業素養。三、課程目標對畢業要求的支撐關系畢業要求指標點課程目標權重1-1：分布式開源框架的基礎知識及使用方法。課程目標10.62-1：求學能力；2-5：創新能力；3-2：創新意識；3-3：職業素養；3-4：專業素養。課程目標20.12-3：信息獲取能力。課程目標30.12-6：組織協調能力；3-4：專業素養。課程目標40.2四、教學方式與方法教學方式：課堂講授+實驗指導，案例驅動+學生編程實現。教學方法：采用理論與實踐相結合的教學方法和案例驅動的教學模式，在完成大數據分布式計算框架基本概念、原理、技術的基礎上，以具體的案例引導學生掌握大數據分布式計算框架的使用，使學生能夠應用大數據分布式計算框架解決一個簡單的大數據處理問題，提高學生應用大數據分布式計算框架的能力。五、教學重點與難點（一）教學重點（1）大數據相關概念，包括大數據的5V特征、分布式文件系統、MapReduce編程框架、彈性分布式數據集、內存計算等；（2）大數據分布式計算框架Hadoop；（3）大數據分布式計算框架Hadoop。（二）教學難點Hadoop性能優化、Shuffle過程、MapReduce程序調試、彈性分布式數據集RDD的設計與運行原理。六、教學內容、基本要求與學時分配序號教學內容基本要求學時教學方式對應課程目標1第1章大數據概述介紹大數據的基本概念和應用領域，并闡述大數據、云計算。1講授課程目標1-32第2章Spark設計與運行原理介紹Spark生態系統、運行架構、部署方式等2講授課程目標1-43第3章Spark環境搭建與使用方法介紹Spark的安裝、運行、應用程序設計及集群環境搭建等2講授課程目標1課程目標24第4章RDD編程介紹RDD編程基礎、鍵值對RDD、數據讀寫、應用案例3講授案例討論課程目標1課程目標25第5章SparkSQLDataFrame的創建、保存與常用操作；RDD與DataFrame間的轉換；數據庫讀寫2講授討論課程目標1課程目標26第6章SparkStreamingDStream的操作使用；基本輸入源舉例；高級數據源舉例；轉換與輸出2講授案例討論課程目標3課程目標47第7章SparkMLlib介紹機器學習工作流；機器學習中的特征提前、轉化與選擇；分類和回歸舉例3講授案例討論課程目標3課程目標48第8章Spark架構再探討大數據在互聯網領域的典型應用：推薦系統2講授討論課程目標3課程目標4合計17七、實驗內容、基本要求與學時分配序號實驗項目名稱實驗內容與要求學時類型對應課程目標1Linux系統的安裝和常用命令掌握Linux虛擬機的安裝方法；熟悉Linux系統的基本使用方法4驗證性課程目標1-22Spark和Hadoop的安裝掌握在Linux虛擬機中安裝Hadoop和Spark的方法；熟悉HDFS的基本使用方法；掌握使用Spark訪問本地文件和HDFS文件的方法6驗證性課程目標1-23RDD編程初級實踐熟悉Spark的RDD基本操作及鍵值對操作；熟悉使用RDD編程解決實際具體問題的方法8驗證性課程目標1-34SparkSQL編程初級實踐通過實驗掌握SparkSQL的基本編程方法；熟悉RDD到DataFrame的轉化方法；熟悉利用SparkSQL管理來自不同數據源的數據6驗證性課程目標1-35SparkStreaming編程初級實踐學習日志采集工具Flume的安裝和使用方法；掌握采用Flume作為SparkStreaming數據源的編程方法8驗證性課程目標1-36SparkStructuredStreaming編程初級實踐掌握StructuredStreaming的基本編程方法；掌握日志分析的常規操作，包括拆分日志方法和分析場景8驗證性課程目標1-37Spark機器學習庫MLlib編程實踐掌握基本的MLLib編程方法；掌握用MLLib解決一些常見的數據分析問題，包括數據導入、成分分析和分類和預測等11驗證性課程目標3-4合計51八、學業評價和課程考核（一）考核類型：考試考查（二）考核方式：課程報告實驗作品其它：（三）成績評定：考核依據建議分值（百分比）考核/評價細則對應課程目標平時考核50%課堂表現20%是否曠課、遲到、早退；課堂上是否認真聽講，能否準確回答問題，是否積極參與課堂討論。課程目標1-4實驗報告40%是否及時上交，是否完整，實驗報告排版是否整潔，實驗報告內容是否充實、完善、邏輯清晰。課程目標1-4實驗操作40%是否掌握Spark相關應用和編程能力，實驗結果是否正確，是否能準確回答相關問題。課程目標1-4期末考核50%期末課程報告成績課程目標1課程目標2課程目標3九、課程目標達成評價課程目標的實際達成效果計算方式如下，達成值越高，教學效果越好。課程目標達成度畢業要求指標點達成度十、教材與教學參考書（一）教材《Spark數據分析:基于Python語言(英文版）》，[澳]杰夫瑞·艾文（JeffreyAven）著，機械工業出版社。《大數據技術原理與應用》，林子雨，人民郵電出版社，20