《大數據項目實戰》課程教學大綱（課程英文名稱）課程編號：201800522062學分：5學分學時：46學時（其中：講課學時24上機學時：22）先修課程：Hadoop后續課程：Spark適用專業：大數據應用技術開課部門：一、課程的性質與目標《Hadoop項目實戰》是互聯網+創業教育學院軟件工程（大數據、人工智能）專業的一門校定必修專業課。通過學習課程有助于學生綜合運用大數據課程知識以及各種工具軟件實現大數據分析全流程操作，并通過編寫程序與理論講解相結合的形式加深了解；同時對Hadoop離線數據分析項目的開發過程有所了解，如數據的采集、數據的預處理、數據的分析以及最終達到數據可視化的目的。開設本學科的目的是讓學生掌握如何使用大數據分析技術解決特定業務領域的問題。完成本課程學習后能夠熟練的應用大數據技術解決企業中的實際生產問題。二、教學條件要求操作系統：CenterOSHadoop版本：Hadoop2.7.4Hive版本：Hive1.2.1Sqoop版本：Sqoop1.4.6Mysql版本：Mysql5.7.25虛擬化工具：VMwareWorkstation開發工具：Eclipse三、課程的主要內容及基本要求第1章項目概述章名項目概述學時2學習目標掌握項目需求和目標了解項目架構設計和技術選型了解項目環境和相關開發工具理解項目開發流程知識點了解掌握重點難點項目需求和目標√預備知識√項目架構設計及技術選取√開發環境和開發工具介紹√項目開發流程√√第2章搭建大數據集群環境章名搭建大數據集群環境學時10學習目標了解虛擬機的安裝和克隆熟悉虛擬機網絡配置和SSH服務配置掌握Hadoop集群的搭建掌握Hive的安裝掌握Sqoop的安裝知識點了解掌握重點難點虛擬機安裝與克隆√虛擬機網絡配置√SSH服務配置√JDK安裝√Hadoop安裝√Hadoop集群配置√√√Hadoop集群測試√√通過UI界面查看Hadoop運行狀態√√Hive的安裝模式√Hive安裝√√√Sqoop安裝√√√第3章數據采集章名數據采集學時7學習目標了解HTTP協議了解爬蟲的基本原理掌握HDFSAPI的基本使用熟悉HttpClient爬蟲的使用方法知識點了解掌握重點難點數據源分類√HTTP請求過程√認識HttpClient√分析網頁數據結構√數據采集環境準備√創建響應結果JavaBean類√封裝HTTP請求的工具類√√√封裝儲存在HDFS數據工具類√√√實現網頁數據采集√√√第4章數據預處理章名數據預處理學時8學習目標了解數據預處理流程掌握編寫MapReduce程序熟悉HDFSShell的基本使用掌握MapReduce程序的兩種運行模式知識點了解掌握重點難點分析預處理數據√設計數據預處理方案√數據預處理環境準備√創建數據轉換類√√創建實現Map任務的Mapper類√√創建MapReduce主程序并執行程序√√將數據預處理程序提交到集群中運行√√√第5章數據分析章名數據分析學時7學習目標了解數據分析了解數據倉庫掌握Hive的操作掌握HQL語句的使用知識點了解掌握重點難點數據分析概述√什么是Hive√設計Hive數據倉庫√實現數據倉庫√√√職位區域分析√√職位薪資分析√√公司福利分析√√職位技能要求分析√√第6章數據可視化章名數據可視化學時15學習目標掌握Sqoop數據遷移工具的使用熟悉關系型數據庫MySQL掌握SSMJAVAEE開發框架的整合及應用掌握Echarts前端框架的使用知識點了解掌握重點難點系統介紹√系統架構√創建關系型數據庫√√通過Sqoop實現數據遷移√√平臺環境搭建√√√實現職位區域分布展示√√√實現薪資分布展示√√√實現福利標簽詞云圖√√√實現技能標簽詞云圖√√√平臺可視化展示√四、學時分配章目講課上機合計第1章項目概述2學時0學時2學時第2章搭建大數據集群環境4學時6學時10學時第3章數據采集4學時3學時7學時第4章數據預處理3學時3學時6學時第5章數據分析3學時2學時5學時第6章數據可視化8學時8學時16學時合計24學時22學時46學時五、考核模式與成績評定辦法本課程為考試課程，期末考試采用百分制的閉卷考試模式。學生的考試成績由平時成績（30%）和期末考試（70%）組成，其中，平時成績包括出勤（5%）、作業（5%）、上機成績（20%）。 六、選用教材和主要參考書 本大綱是根據教材《Hadoop項目實戰》所設計的。七、大綱說明本課程的授課模式為：課堂授課+上機，其中，課堂主要采用多媒體的方式進行授課，要求學生掌握項目內容及程序設計思想