《大數據技術及應用》課程教學大綱一、課程根本信息課程名稱大數據技術及應用〔英文名稱〕BigdatatechnologyandApplication課程代碼課程類別選修課程性質專業課程課程學分3課程學時其中：理論30學時，實驗24學時開課學期考核方式考試+課程論文開課單位先修課程C語言程序設計；Java程序設計；數據結構；Linux操作系統；后續課程軟件設計綜合實訓；專業實習；畢業設計；適用專業數據科學與大數據技術、人工智能、模式識別與人工智能；信息技術-職業技術教育方向二、課程的性質、目的和任務《大數據技術及應用》是計算機相關專業大學本科生及研究生選修的一門專業課程，通過本課程學習，使學生能較系統地掌握大數據的根本知識、原理和方法，初步具備大數據的應用、開發的能力，為從事大數據分析、建模、可視化奠定根底。目的是讓學生了解并掌握四個領域即大數據系統的起源及系統特征；大數據系統的架構設計及功能目標設計；大數據系統程序開發；企業大數據案例分析的內容，同時利用真機實驗環節以及大數據實訓一體機來提升學生對大數據開發的實踐能力；本課程重點讓學生掌握三個方面的內容：〔1〕根底篇：主要包括HDFS使用操作、MapReduce開發；、HBase數據庫的開發；〔2〕核心篇：YARN架構、Spark集群計算、Spark機器學習、Hive數據倉庫開發；〔3〕應用篇：醫藥大數據案例分析。三、課程教學目標〔一〕總體目標掌握大數據分析的根本理論、技術，了解大數據分析的典型應用場景、掌握如何分析數據、解決問題、完成相關研究的方法，具有創新和獨立思意識。〔二〕具體目標通過本課程的學習，學生應到達如下目標：1．知識與技能〔1〕了解大數據平臺搭建的步驟，掌握大數據的存儲、分析的原理；〔2〕了解大數據分析的典型應用場景，例如文本挖掘、Web廣告、聚類、推薦系統、Web鏈接分析、社交網絡大數據分析、頻繁項集；〔3〕理解大數據分析和挖掘的根本理論技術；〔4〕能獲取、處理、分析和應用大數據資源。2．過程與方法〔1〕經過對大數據領域的探索，學會用大數據思維認識、分析和解決問題。3．情感與態度〔1〕通過探究活動，養成認真嚴謹的學習態度；〔2〕通過師生、生生互動交流，體驗大數據的價值和魅力。四、教學內容及教學根本要求第一章大數據概述〔一〕教學目的通過本章的學習掌握大數據根本概念，理解大數據的處理流程，了解大數據在行業中的應用和未來趨勢。〔二〕教學要求1、解釋大數據根本概念；2、分析大數據的分析處理流程；3、知道大數據技術應用場景和前景。〔三〕教學內容第一節大數據的概述知識要點：大數據的定義和特征。第二節大數據分析的過程、技術及工具知識要點：大數據的采集、存儲方式、分析技術、展示及應用。第三節大數據的價值和影響知識要點：大數據在各行各業的重大價值、挑戰與風險。第四節大數據的應用知識要點：電商、醫療、教育、金融、農業、旅游、氣象大數據的應用。第五節大數據的處理流程知識要點：大數據處理流程的4個階段——數據采集、數據處理與集成、數據分析和數據解釋。第六節大數據成為人工智能產業的燃料知識要點：人工智能與大數據的關系。第七節大數據技術的開展前景知識要點：大數據技術不斷開展，出現更多的應用工程。〔四〕教學重點與難點1．教學重點：大數據的根本概念。2．教學難點：大數據分析處理的流程。第二章

大數據集群系統根底〔一〕教學目的能分析大數據集群，說明其根本原理；在虛擬化計算機系統中安裝CentOS7操作系統，通過SecureCRT/Xshell訪問CentOS7操作系統，以三臺節點機搭建大數據集群環境。〔二〕教學要求1.掌握虛擬機軟件VMwareWorkstation10

及以上和終端仿真程序SecureCRT/Xshell的下載、安裝和使用方法；2.掌握VMwareWorkstation10中安裝CentOS7的方法；3.理解大數據集群相關組成和技術，部署大數據集群。〔三〕教學內容第一節大數據集群系統概述知識要點：集群概念、分類、目的。第二節

Linux操作系統知識要點：Linux概念、特點、根本使用操作。第三節虛擬化技術知識要點：虛擬化技術概念、原理、常用軟件、優缺點。第四節

CentOS大數據集群系統的組成知識要點：CentOS概念、CentOS集群系統拓撲圖。第五節大數據集群技術的架構知識要點：大數據集群的構架組成——硬件資源層、OS層、根底設施管理層、文件系統層、資源管理和大數據集群層、大數據應用層。第六節操作實踐：大數據集群的部署知識要點：集群規劃、網絡配置、平安配置、時間同步、SSH登錄。〔四〕教學重點與難點1．教學重點：VMwareWorkstation、CentOS7、SecureCRT的安裝和使用。2．教學難點：大數據集群的部署。第三章Hadoop分布式系統〔一〕教學目的Hadoop的使用需要搭建一個完整的分布式系統，在理解Hadoop工作原理的根底上配置和運行Hadoop。〔二〕教學要求1.說明Hadoop的運行原理。2.掌握Hadoop環境的安裝與配置。〔三〕教學內容第一節

Hadoop概述知識要點：Hadoop概念、開展、原理及運行機制。第二節

Hadoop相關技術及生態系統知識要點：構成Hadoop生態系統的相關技術。第三節操作實踐：Hadoop安裝與配置知識要點：JDK安裝、Hadoop安裝、Hadoop運行、瀏覽Hadoop頁面。〔四〕教學重點與難點1．教學重點：Hadoop安裝過程中hadoop-env.sh、yarn-env.sh、slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml文件的配置。2．教學難點：Hadoop安裝過程中參數的配置。第四章

HDFS分布式文件系統〔一〕教學目的Hadoop采用分布式HDFS，通過本章學習掌握HDFS的根本原理，掌握HDFS相關的操作命令，并能夠應用Java

對HDFS

進行編程。〔二〕教學要求1．了解HDFS

的特點、架構、數據讀取過程、數據寫入過程。2.

掌握HDFS操作。〔三〕教學內容第一節HDFS知識要點：HDFS設計前提和設計目標、Namenode和Datanode、文件系統的名字空間、數據復制、HDFS讀寫流程。第二節HDFS操作實踐知識要點：HDFSShell、HDFSJavaAPI、Eclipse開發環境、綜合實例。〔四〕教學重點與難點1．教學重點：HDFS的原理、數據讀寫的原理。2．教學難點:HDFS綜合實例。第五章分布式計算系統—MapReduce及其應用實例〔一〕教學目的Hadoop采用分布式計算系統MapReduce，通過本章的學習，掌握MapReduce的根本原理、架構以及工作機制，并且掌握MapReduce的編程操作，從而運用到實處。〔二〕教學要求1.分析MapReduce的根本原理、架構以及工作機制；2.操作MapReduceWordCount編程和MapReduce倒排索引編程，實現其應用。〔三〕教學內容第一節

MapReduce簡介知識要點：MapReduce架構、原理、工作機制。第二節

MapReduce操作實踐知識要點：MapReduceWordCount編程實例、MapReduce倒排索引編程實例。〔四〕教學重點與難點1.教學重點：MapReduce的根本原理、架構以及工作機制等知識內容。2.教學難點：MapReduceWordCount編程實例；MapReduce倒排索引編程實例第六章HBase分布式數據庫應用〔一〕教學目的Hbase是一個分布式的、面向列的開源數據庫，通過本章的學習了解Hbase的構建與組件并掌握Hbase的安裝部署、綜合操作。〔二〕教學要求1.了解Hbase的數據模型、構架與組件。2.實踐Hbase表操作編程、HBase過濾查詢編程實例。〔三〕教學內容第一節HBase簡介知識要點：HBase原理、構架與組件、存儲。第二節HBase集群部署知識要點：HBase參數配置、運行與測試。常用命令，如創立表，對表的內容進行刪除、插入內容等處理。第三節

HBaseShell操作命令知識要點：general操作、namespace操作、DDL操作、DML操作、授權。第四節HBase過濾器知識要點：過濾器篩選數據。第五節HBase編程知識要點：HBase表操作編程、HBase過濾查詢編程。〔四〕教學重點與難點1.教學重點：HBASE操作、過濾。2.教學難點：HBASE表操作編程實例、HBase過濾查詢編程實例。第七章YARN資源分配〔一〕教學目的Hadoop采用資源分配系統YARN，通過本章的學習掌握YARN的根本原理、根本架構以及應用場景。〔二〕教學要求1.通過統一資源管理和調度平臺引例，對YARN有一個大概的了解；2.分析YARN的根本原理、架構等知識；3.操作YARNShell實例。〔三〕教學內容第一節統一資源管理和調度平臺引例知識要點：了解統一資源管理和調度平臺的作用。第二節

YARN簡介知識要點：YARN架構、工作流程、優勢。第三節操作實踐：YARNShell實例知識要點：YARNShell實例的命令使用。〔四〕教學重點與難點1.教學重點：YARN的根本原理、架構及其工作流程。2.教學難點：YARNShell應用第八章

Spark集群計算〔一〕教學目的通過本章的學習，能夠領會Spark的根本原理、架構以及相關應用，掌握Spark的核心RDD的相關編程原理及其操作。〔二〕教學要求1.領會Spark的原理、根本架構以及RDD等知識內容；2.實踐SparkRDD編程操作以及相關算法實例。〔三〕教學內容第一節Spark簡介知識要點：Spark生態系統、架構。第二節

SparkRDD知識要點：RDDs依賴關系、作業調度、內存管理、檢查點支持。第三節

Spark集群部署及應用案例知識要點：Spark集群安裝，特別是相關參數的部署和設置等以及經典的Spark算法實例。〔四〕教學重點與難點1.教學重點：Spark的根本原理，框架設計以及RDD工作流程。2.教學難點：Spark編程應用，Spark算法實現。第九章

Spark機器學習〔一〕教學目的通過本章的學習，能夠掌握SparkMLlib的數據類型和常用API，以及幾個機器學習分類算法及編程應用實例。〔二〕教學要求1.了解機器學習概念與步驟2.理解SparkMLlib數據類型與API功能；3.實踐SparkMLlib編程操作以及SparkMLlib

在分類方面的應用。〔三〕教學內容第一節機器學習概述知識要點：機器學習開展、步驟。第二節

SparkMLlib概述知識要點：數據類型和根本統計API的使用。第三節

Spark實例知識要點：經典的Spark分類算法原理講解與實現。〔四〕教學重點與難點1.教學重點：Spark的根本原理，框架設計以及工作流程，Spark集群安裝步驟。2.教學難點：實現Spark分類算法。第十章

Hive數據倉庫應用〔一〕教學目的Hive是基于Hadoop的一個數據倉庫工具，通過本章的學習掌握Hive集群的安裝與部署，掌握Hive語句的操作及對數據的處理。〔二〕教學要求1、解釋Hive的工作原理及構架，進行Hive的安裝配置。2、應用Hive的數據類型及存儲格式。3、操作處理Hive數據。〔三〕教學內容第一節Hive簡介知識要點：Hive工作原理與構架。第二節Hive集群安裝與配置知識要點：Hive集群安裝與部署。第三節數據類型和文件格式知識要點：Hive的數據類型及文件存儲格式。第四節Hive數據定義與數據操作知識要點：定義、操作Hive數據，管理數據表等。第五節Hive數據查詢知識要點：查詢操作。第六節Hive編程知識要點：HiveJDBC函數與實例編程〔四〕教學重點與難點1.教學重點：Hive原理及數據處理。2.教學難點：編寫Hive實例，如表、數據的命令應用。第十一章

ZooKeeper協調效勞〔一〕教學目的ZooKeeper是Hadoop的分布式協調效勞，通過本章的學習了解ZooKeeper架構，掌握ZooKeeper集群的安裝與部署，熟悉ZooKeeper的特性。〔二〕教學要求1.了解ZooKeeper的工作原理與應用。2.安裝與部署ZooKeeper集群。3.運用ZooKeeper進行操作。〔三〕教學內容第一節ZooKeeper簡介知識要點：ZooKeeper工作原理。第二節ZooKeeper集群部署知識要點：ZooKeeper集群的安裝配置。第三節ZooKeeper根本命令知識要點：ZooKeeper根本操作。第四節ZooKeeper應用知識要點：ZooKeeper在Hadoop、Spark、Hive等開源系統中的應用。第五節ZooKeeper編程知識要點：ZooKeeper讀寫操作、集群狀態監控。〔四〕教學重點與難點1.教學重點：ZooKeeper的特性及其應用。2.教學難點：ZooKeeper集群的操作編程。第十二章醫藥大數據案例分析教學目的根據大數據系統的需求分析，在Hadoop框架下，基于Hbase數據庫，綜合應用各項關鍵技術完成大數據系統的功能。〔二〕教學要求能在Hadoop框架下，綜合大數據應用系統編程的原理、技術，呈現既定的運行結果。〔三〕教學內容第一節工程概述知識要點：醫藥電商大數據分析平臺的形成背景。第二節功能需求知識要點：流量分析、經營狀況分析、大數據可視化系統。第三節軟件關鍵技術知識要點：醫藥電商大數據分析平臺的關鍵技術。第四節效果展示知識要點：各類分析效果圖。第五節系統構架設計知識要點：系統的組成、協作方式、網絡拓撲、建設方案。第六節數據存儲設計知識要點：設計流量數據表、訂單數據表、會員評價表。第七節數據分析知識要點：采集、分析數據。第八節數據展示知識要點：結果數據展示代碼。

〔四〕教學重點與難點1.教學重點：大數據系統的需求分析、Hbase數據庫的建立、程序的設計與實現。2.教學難點：程序的設計與實現。五、各教學環節學時分配章節教學內容各教學環節學時分配合計講授練習研討在線學習課外其它第一章大數據概論213第一節大數據概述0.3第二節大數據分析的過程、技術及工具0.3第三節大數據的價值和影響0.3第四節大數據的應用0.30.5第五節大數據的處理流程0.3第六節大數據成為人工智能產業的燃料0.3第七節大數據技術的開展前景0.20.5第二章大數據集群系統根底3.510.55第一節大數據集群系統概述0.5第二節Linux操作系統10.5第三節虛擬化技術0.5第四節CentOS大數據集群系統的組成0.5第五節大數據集群技術的架構0.50.5第六節操作實踐：大數據集群的部署0.50.5第三章Hadoop分布式系統2.50.53第一節Hadoop概述0.5第二節Hadoop相關技術及生態系統1.5第三節操作實踐：Hadoop安裝與配置0.50.5第四章HDFS分布式文件系統213第一節HDFS10.5第二節HDFS操作實踐10.5第五章MapReduce分布式計算1.50.52第一節MapReduce簡介0.5第二節MapReduce操作實踐10.5第六章HBase分布式數據庫應用3.52.56第一節HBase簡介0.5第二節HBase集群部署10.5第三節HBase

Shell操作命令0.50.5第四節HBase過濾器0.50.5第五節HBase編程11第七章YARN資源分配213第一節統一資源管理和調度平臺引例0.50.5第二節YARN簡介0.5第三節操作實踐：YARN

Shell實例10.5第八章Spark集群計算213第一節Spark簡介0.5第二節Spark

RDD0.5第三節Spark集群部署及應用案列11第九章Spark機器學習2.50.53第一節機器學習概述1第二節Spark

MLlib概述0.5第三節Spark實例10.5第十章Hive數據倉庫應用538第一節Hive簡介0.5第二節Hive安裝與配置10.5第三節數據類型和文件格式0.5第四節Hive數據定義與數據操作10.5第五節Hive數據查詢11第六節Hive編程11第十一章ZooKeeper協調效勞4.51.56第一節ZooKeeper簡介0.5第二節ZooKeeper集群部署10.5第三節ZooKeeper根本命令10.5第四節ZooKeeper應用1第五節ZooKeeper編程10.5第十二章

醫藥大數據案例分析6.52.59第一節工程概述0.5第二節功能需求0.5第三節軟件關鍵技術0.5第四節效果展示10.5第五節系統構架設計10.5第六節數據存儲設計10.5第七節數據分析10.5第八節數據展示10.5

合計54六、教學手段與方法1.教學手段:本課程主要采用多媒體、課件演示