1、大數據處理技術Big Data Technology課程代碼：08410128學分：3學時：56 （其中：課堂教學學時：40實驗學時：0上機學時：16課程實踐學時:0 ）先修課程：計算機基礎適用專業：信息管理與信息系統專業，電子商務專業，工業工程專業 教材：大數據技術原理與應用（林子雨著，人民郵電出版社）一、課程性質與課程目標（一）課程性質（需說明課程對人才培養方面的貢獻）本課程是“信息管理與信息系統”專業的一門專業選修課。大數據作為繼云計算、 物聯網之后IT行業又一顛覆性的技術，備受關注。大數據時代的到來，迫切需要高校 及時建立大數據技術課程體系，為社會培養和輸送一大批具備大數據專業素養的高

2、級人 才，滿足社會對大數據人才日益旺盛的需求。本課程定位為大數據技術入門課程，為學 習者搭建起通向“大數據知識空間”的橋梁和紐帶，幫助學習者形成對大數據知識體系 及其應用領域的輪廓性認識，為他們在大數據領域“深耕細作”奠定基礎、指明方向。（二）課程目標（根據課程特點和對畢業要求的貢獻，確定課程目標。應包括知識目標和能力 目標。）.把握大數據基本概念和應用領域，大數據處理架構及相關流行技術等。培養學 生熟練運用信息化工程理論、方法和工具，并具有大數據規范、分析和實施的基本技能;.對大數據存儲相關技術的概念和原理具有一般性認識，并初步培養信息素養和 信息處理能力，從而具備在政府、企業信息化過程擔任

3、管理信息化咨詢，信息系統運維 管理和信息化項目評價能力；.加強大數據處理和分析的核心技術的理解與學習，培養學習者將大數據與企業 和社會實踐緊密結合的意識，能系統掌握信息技術和信息管理基本理論、知識和技能， 并可承擔信息中心的信息處理技術工作與培訓機構的教育工作；.訓練自主學習和探究分析大數據領域的研究內容及發展動向的能力，能承擔軟 件公司的信息系統開發、實施指導與監理工作。注：工程類專業通識課程的課程目標應覆蓋相應的工程教育認證畢業要求通用標準；（三）課程目標與專業畢業要求指標點的對應關系（認證專業專業必修課程填寫）注：課程目標與畢業要求指標點對接的單元格中可輸入也可標注“H、M、L”。二、課

4、程內容與教學要求第一章大數據概述（一）課程內容大數據時代，大數據的概念，大數據的影響，大數據的應用，大數據關鍵技術，大數據計算模 式，大數據產業，大數據與云計算、物聯網等。（二）教學要求掌握大數據及其相關技術的概念。（三）重點與難點.重點了解大數據的概念，大數據關鍵技術，大數據計算模式。.難點了解大數據關鍵技術，大數據計算模式，大數據產業，大數據與云計算、物聯網。第二章大數據處理架構Hadoop（一）課程內容Hadoop概述，Hadoop生態系統，Hadoop的安裝與使用等。（二）教學要求了解Hadoop,理解Hadoop生態系統，學會Hadoop的安裝與使用。（三）重點與難點.重點理解Had

5、oop生態系統，學會Hadoop的安裝與使用。.難點學會Hadoop的安裝與使用。第三章分布式文件系統HDFS（一）課程內容分布式文件系統、HDFS簡介、HDFS的相關概念、HDFS體系結構、HDFS的存儲原理、HDFS的數 據讀寫過程、HDFS編程實踐等。（二）教學要求了解分布式文件系統、HDFS相關概念；理解IIDFS體系結構、存儲原理和數據讀寫過程；初步 實踐HDFS編程。（三）重點與難點（若不單獨列出，需在教學要求中適當注明）.重點理解HDFS體系結構、存儲原理和數據讀寫過程。.難點初步實踐HDFS編程。第四章分布式數據庫Hbase（-）課程內容分布式數據庫Hbase概述、HBase訪

6、問接口、HBase數據模型、HBase的實現原理、HBase運行 機制、HBase編程實踐等。（二）教學要求了解分布式數據庫Hbase相關概念和數據模型；理解HBase的實現原理和運行機制；初步實踐 HBase編程。（三）重點與難點.重點理解HBase的實現原理和運行機制。.難點初步實踐HBase編程。第五章 NoSQL數據庫（-）課程內容NoSQL數據庫簡介、NoSQL興起的原因、NoSQL與關系數據庫的比較、NoSQL的四大類型、NoSQL 的三大基石、從NoSQL到NewSQL數據庫等。（二）教學要求了解NoSQL數據庫、興起的原因；理解NoSQL與關系數據庫的區別；了解NoSQL的四大

7、類型、 三大基石，以及NewSQL數據庫。（三）重點與難點（若不單獨列出，需在教學要求中適當注明）.重點了解NoSQL數據庫、興起的原因；理解NoSQL與關系數據庫的區別。.難點理解NoSQL與關系數據庫的區別；了解NewSQL數據庫。第六章云數據庫（一）課程內容云數據庫概述、云數據庫產品、云數據庫系統架構、云數據庫實踐等。（二）教學要求了解云數據庫相關概念及其產品；理解云數據庫系統架構；并實踐云數據庫。（三）重點與難點（若不單獨列出，需在教學要求中適當注明）.重點理解云數據庫系統架構；并實踐云數據庫。.難點初步實踐云數據庫。第七章 MapReduce（-）課程內容MapReduce 簡介、M

8、apReduce 的工作流程、MapReduce 實例分析：WordCount MapReduce 的具體 應用、MapReduce編程實踐等。（二）教學要求了解MapReduce相關概念和工作流程；理解并分析MapReduce實例；掌握MapReduce的具體應 用；初步實踐MapReduce編程。（三）重點與難點（若不單獨列出，需在教學要求中適當注明）.重點了解MapReduce相關概念和工作流程；理解分析MapReduce實例；掌握MapReduce的具體應用。.難點掌握MapReduce的具體應用；初步實踐MapReduce編程。第八章 Hadoop再探討（一）課程內容Hadoop的優

9、化與發展、IIDFS2. 0的新特性、新一代資源管理調度框架YARN、Iladoop生態系統中具有代表性的功能組件介紹等。（二）教學要求了解Hadoop的優化與發展、HDFS2.0的新特性、新一代資源管理調度框架YARN和Hadoop生態 系統中具有代表性的功能組件。（三）重點與難點（若不單獨列出，需在教學要求中適當注明）.重點Hadoop的優化與發展。.難點知曉HDFS2. 0的新特性、了解Hadoop生態系統中具有代表性的功能組件。第九章 Spark（-）課程內容Spark概述、Spark生態系統、Spark運行架構、Spark的部署和應用方式、Spark編程實踐等。（二）教學要求了解Sp

10、ark相關概念、其生態系統、運行架構、部署和應用方式；初步掌握Spark編程實踐。（三）重點與難點（若不單獨列出，需在教學要求中適當注明）.重點了解Spark相關內容。.難點初步掌握Spark編程實踐。第十章流計算（一）課程內容流計算概述、流計算的處理流程、流計算的應用、開源流計算框架Storm、Spark Streaming 設計等。（二）教學要求了解流計算相關概念、流計算的處理流程、流計算的應用；理解開源流計算框架Storm及 Spark Streaming 設計。（三）重點與難點（若不單獨列出，需在教學要求中適當注明）.重點了解流計算相關概念及其應用；理解開源流計算框架Storm及Spa

11、rk Streaming設計。.難點理解開源流計算框架Storm及Spark Streaming設計。第十一章圖計算（一）課程內容圖計算簡介、Pregel簡介、Pregel圖計算模型、Pregel的C+ APRPregel的體系結構、Pregel 的應用實例、Pregel和MapReduce實現PageRank算法的對比等。（二）教學要求了解圖計算和Pregel相關內容；理解Pregel圖計算模型、Pregel的C+ API、Pregel的體 系結構；基本掌握Pregel的應用；初步理解Pregel和MapReduce實現PageRank算法的對比。（三）重點與難點（若不單獨列出，需在教學要求

12、中適當注明）.重點理解Pregel圖計算模型、Pregel的C+ API、Pregel的體系結構；基本掌握Pregel的應用。.難點初步理解Pregel和MapReduce實現PageRank算法的對比。第十二章數據可視化（-）課程內容數據可視化概述、可視化工具、可視化典型案例等。（二）教學要求了解數據可視化相關概念、可視化工具；理解可視化典型案例。（三）重點與難點（若不單獨列出，需在教學要求中適當注明）.重點理解可視化典型案例。.難點理解可視化典型案例。上機內容編號上機項目名稱學時類型要求支撐的課程目標1熟悉常用的Linux操作和Hadoop操作2驗證性必做12熟悉常用的HDFS操作4驗證性

13、必做23熟悉常用的HBase操作4驗證性必做24NoSQL和關系數據庫的操作 比較4驗證性必做25MapReduce編程初級實踐2綜合性必做3三、學時分配及教學方法章（按序填寫）教學形式及學時分配主要教學方法支撐的課程目標課堂 教學實驗上 機課程 實踐小 計第一章22講授法、討論法1, 4第二章224講授法、討論法1, 4第三章6410講授法、討論法、演示法2, 4第四章6410講授法、討論法、演示法2, 4第五章246講授法、討論法、演示法2, 4格第八早22講授法、討論法、演示法2, 4第七章8210講授法、討論法、演示法3, 4第八章22講授法、討論法、演示法3, 4第九章22講授法、討

14、論法、演示法3, 4第十章22講授法、討論法、演示法3, 4第十一章44講授法、討論法、演示法3, 4第十二章22講授法、討論法3, 4合計401656注：1.課程實踐學時按相關專業培養計劃列入表格；.主要教學方法包括講授法、討論法、演示法、研究型教學方法（基于問題、項目、案例 等教學方法）等。四、課程考核考核形式考核要求考核權重備注平時作業作業次數30%項目設計與報告完成并成功運行項目，完成項目設計報告70%注：1,分學期設置和考核的課程應按學期分別填寫上表。.考核形式主要包括課堂表現、平時作業、階段測試、期中考試、期末考試、大作也、小 論文、項目設計和作品等。.考核要求包括作業次數、考試方式（開卷、閉卷）、項目設計要求等。.考核權重指該考核方式或途徑在總成績中所占比重。五