教案首頁(yè)（第1次課）

（以2課時(shí)為單元）

課序授課日期授課班次授課教師批準(zhǔn)人

1

《大數(shù)據(jù)技術(shù)原理及應(yīng)用》是學(xué)習(xí)大數(shù)據(jù)技術(shù)的入門(mén)課程，是計(jì)算機(jī)科學(xué)與

技術(shù)、數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)、人工智能等專業(yè)的一門(mén)學(xué)科基礎(chǔ)與專業(yè)核心課程。

該課程著重講述大數(shù)據(jù)技術(shù)的知識(shí)體系，闡明其基本原理，引導(dǎo)學(xué)生進(jìn)行初級(jí)實(shí)

踐和了解相關(guān)應(yīng)用，培養(yǎng)學(xué)生運(yùn)用大數(shù)據(jù)平臺(tái)搭建、大數(shù)據(jù)收集與預(yù)處理、大數(shù)

據(jù)遷移、大數(shù)據(jù)存儲(chǔ)與管理、大數(shù)據(jù)處理與分析、數(shù)據(jù)可視化等方法和技術(shù)工具

完成大數(shù)據(jù)應(yīng)用的能力，在整個(gè)大數(shù)據(jù)課程體系中起著承前啟后重要作用。該課

課程描述程由理論教學(xué)和實(shí)驗(yàn)教學(xué)兩個(gè)部分組成，其先修課程包括面向?qū)ο蟪绦蛟O(shè)計(jì)、

Python語(yǔ)言程序設(shè)計(jì)、操作系統(tǒng)、數(shù)據(jù)庫(kù)原理等，后續(xù)課程包括數(shù)據(jù)采集與預(yù)處

理、大數(shù)據(jù)存儲(chǔ)與管理技術(shù)、數(shù)據(jù)挖掘、大數(shù)據(jù)開(kāi)發(fā)技術(shù)、大數(shù)據(jù)高級(jí)編程、數(shù)

據(jù)可視化技術(shù)等。

總學(xué)時(shí)理論教學(xué)實(shí)踐教學(xué)周學(xué)時(shí)學(xué)分

483216單4雙23

《大數(shù)據(jù)技術(shù)原理及應(yīng)用》圍繞“構(gòu)建知識(shí)體系、闡明基本原理、引導(dǎo)初級(jí)

實(shí)踐、了解相關(guān)應(yīng)用”的指導(dǎo)思想，著重講述大數(shù)據(jù)技術(shù)的基本原理、基本方法、

技術(shù)工具和相關(guān)應(yīng)用，幫助學(xué)生構(gòu)建完整的大數(shù)據(jù)技術(shù)知識(shí)體系，使學(xué)生了解大

數(shù)據(jù)技術(shù)在行業(yè)領(lǐng)域中的最新發(fā)展趨勢(shì)和前沿知識(shí)，熟悉大數(shù)據(jù)應(yīng)用的整個(gè)生命

周期，能夠熟練使用Hadoop、Spark等主流大數(shù)據(jù)平臺(tái)及其生態(tài)系統(tǒng)中的技術(shù)工

具完成基本的大數(shù)據(jù)應(yīng)用閉環(huán)操作，達(dá)到知行合一、以用促學(xué)的目的。

知識(shí)目標(biāo)：

1.理解大數(shù)據(jù)基本概念，了解大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)、人工智能的關(guān)系，

課程教學(xué)了解當(dāng)前大數(shù)據(jù)的崗位及需求、學(xué)習(xí)路線；

目標(biāo)2.認(rèn)識(shí)大數(shù)據(jù)處理平臺(tái)Hadoop,熟練掌握全分布模式Hadoop集群的部署基

本過(guò)程；

3.理解分布式文件系統(tǒng)HDFS的體系架構(gòu)、文件存儲(chǔ)機(jī)制和數(shù)據(jù)讀寫(xiě)過(guò)程，

熟練掌握HDFSWebUI的使用、HDFSShell常用命令的使用和HDFS編程；

4.理解分布式計(jì)算框架MapReduce的編程思想和作業(yè)執(zhí)行流程，掌握

MapReduce簡(jiǎn)單編程，了解當(dāng)前其他主流的大數(shù)據(jù)計(jì)算框架如Spark、Storm、FIink

等；

5.理解YARN體系架構(gòu)和工作原理，掌握YARNWebUI、YARNShell的基本

使用，了解ResourceManager高可用機(jī)制的原理與配置，了解HDFSNameNode

高可用機(jī)制、HDFSNameNodeFederation,HDFSSnapshots;

6.理解分布式協(xié)調(diào)框架ZooKeeper的執(zhí)行原理和應(yīng)用場(chǎng)景，掌握Z(yǔ)ooKeeper

集群的部署和ZooKeeperShell常用命令的使用；

7.理解NoSQL數(shù)據(jù)庫(kù)與關(guān)系數(shù)據(jù)庫(kù)的區(qū)別、分布式數(shù)據(jù)庫(kù)HBase的數(shù)據(jù)模

型、體系架構(gòu)和運(yùn)行機(jī)制，熟練掌握HBase集群的部署、HBaseShell常用命令

的使用；

8.理解Hive的體系架構(gòu)和執(zhí)行流程，掌握Hive的部署和連接方式，熟練

掌握Hive基本操作包括HiveDDL、HiveDML的書(shū)寫(xiě)和HiveShell命令的使用；

9.理解數(shù)據(jù)遷移框架Sqoop、日志采集系統(tǒng)Flume、分布式發(fā)布/訂閱消息

系統(tǒng)Kafka的作用、架構(gòu)和工作原理，掌握Sqoop、Flume、Kafka的部署和使用；

課程教學(xué)

10.了解數(shù)據(jù)可視化的概念、作用和過(guò)程，理解常用的數(shù)據(jù)可視化圖形，了

目標(biāo)

解當(dāng)前主流的數(shù)據(jù)可視化工具。

能力目標(biāo)：培養(yǎng)學(xué)生學(xué)以致用，能夠綜合利用Hadoop大數(shù)據(jù)平臺(tái)及其生態(tài)中

各個(gè)工具解決實(shí)際大數(shù)據(jù)應(yīng)用方面的基本問(wèn)題，提高學(xué)生閱讀外文科技文獻(xiàn)能

力，增強(qiáng)學(xué)生發(fā)現(xiàn)問(wèn)題、分析問(wèn)題、解決問(wèn)題能力，與學(xué)科競(jìng)賽和項(xiàng)目緊密結(jié)合，

穩(wěn)步培養(yǎng)和提高學(xué)生的動(dòng)手實(shí)踐能力、自主創(chuàng)新能力、團(tuán)隊(duì)協(xié)作能力、寫(xiě)作表達(dá)

能力。

情感目標(biāo)：通過(guò)對(duì)我國(guó)大數(shù)據(jù)技術(shù)、傳統(tǒng)優(yōu)秀文化的介紹，增強(qiáng)學(xué)生的民族

自豪感，提升學(xué)生的愛(ài)國(guó)主義精神，增強(qiáng)文化自信；將專業(yè)知識(shí)與服務(wù)社會(huì)相結(jié)

合，培養(yǎng)學(xué)生的社會(huì)責(zé)任感，樹(shù)立正確三觀，使學(xué)生更為深刻的理解專業(yè)內(nèi)涵，

提高學(xué)習(xí)內(nèi)驅(qū)力，培養(yǎng)科學(xué)素養(yǎng)，內(nèi)化為道德準(zhǔn)則、科學(xué)思維和行為規(guī)范。

課題第1講開(kāi)學(xué)第一課&大數(shù)據(jù)樓述

教材：

[1]徐魯輝.Hadoop大數(shù)據(jù)原理與應(yīng)用[M].西安：西安電子科技大學(xué)出版

社，2020年3月.

參考資料：

[2]徐魯輝.Hadoop大數(shù)據(jù)原理與應(yīng)用實(shí)驗(yàn)教程[M].西安：西安電子科技

大學(xué)出版社,2020年1月.

[3]林子雨.大數(shù)據(jù)技術(shù)原理與應(yīng)用（第2版）[M].北京：人民郵電出版社，

授課教材2017年1月.

參考資料[4]呂林濤.大數(shù)據(jù)技術(shù)及其應(yīng)用[M].北京：科學(xué)出版社，2019年5月.

[5]維克托?邁爾-舍恩伯格，肯尼思?庫(kù)克耶.盛楊燕等譯.大數(shù)據(jù)時(shí)

代：生活、工作與思維的大變革[M].杭州：浙江人民出版社，2013年1月.

[6]TomWhite.Hadoop:TheDefinitiveGuide（4thEdition）[M].

0'ReillyMedia,April2015.

[7]TomWhite,著.王海，譯.Hadoop權(quán)威指南（第4版）[M].北京：清華

大學(xué)出版社，2017年7月.

[8]BiIIChambers,MateiZaharia.Spark：TheDefinitiveGuide[M].

O'ReillyMedia,February2018.

[9]BiIIChambers,MateiZaharia,著.張巖峰，譯.Spark權(quán)威指南[M].

北京：中國(guó)電力出版社，2020年4月.

[10]LarsGeorge.HBase:TheDefinitiveGuide[M].O'ReillyMedia,

September2011.

[11]LarsGeorge,著.代志遠(yuǎn)，譯.HBase權(quán)威指南[M].北京：人民郵電出

版社，2013.

[12]EdwardCaprioIo,DeanWampIer,JasonRuthergIen.Programming

Hive[M].0,ReillyMedia,September2012.

[13]EdwardCaprioIo,DeanWampIer,JasonRutherglen,著.曹坤，

譯.Hive編程指南[M].北京：人民郵電出版社,2013.

[14]蔡斌.Hadoop技術(shù)內(nèi)幕：深入解析HadoopCommon和HDFS架構(gòu)設(shè)計(jì)與

實(shí)現(xiàn)原理[M].北京：機(jī)械工業(yè)出版社，2013年5月.

[15]董西成.Hadoop技術(shù)內(nèi)幕：深入解析MapReduce架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)原理

[M].北京：機(jī)械工業(yè)出版社，2013年5月.

[16]董西成.Hadoop技術(shù)內(nèi)幕：深入解析YARN架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)原理[M].

北京：機(jī)械工業(yè)出版社，2014年1月.

[17]ApacheHadoopProject,https://hadoop.apache.org.

[18]ApacheSparkProject,https：//spark,apache,org.

[19]TheHadoopEcosystemTabIe.

https://hadoopecosystemtabIe.github.io

[20]高校大數(shù)據(jù)課程公共服務(wù)平臺(tái).

http://dbIab.xmu.edu.cn/post/bigdata-teaching-pIatform.

[21]林子雨.中國(guó)大學(xué)M00C《大數(shù)據(jù)技術(shù)原理與應(yīng)用》.

https://www.icourse163.org/course/XMU-1002335004.

其它教學(xué)

學(xué)堂云：大數(shù)據(jù)技術(shù)原理及應(yīng)用

資源

開(kāi)學(xué)第一課

1.明確該課程的教學(xué)目標(biāo)。

2.明確該課程的教學(xué)進(jìn)度、教材、參考資料、上機(jī)軟件。

3.明確該課程的考核方式。

4.熟悉學(xué)堂云、雨課堂的使用方法。

目的要求第1章大數(shù)據(jù)概述

1.理解大數(shù)據(jù)的概念（重點(diǎn)），了解大數(shù)據(jù)的內(nèi)涵。

2.理解大數(shù)據(jù)的4V特征：Volume（海量化）、Variety（多樣化）、Value（價(jià)值

密度低）、Velocity（快速化）。（重點(diǎn)）

3.了解大數(shù)據(jù)處理關(guān)鍵技術(shù)：數(shù)據(jù)采集與預(yù)處理、數(shù)據(jù)存儲(chǔ)與管理、數(shù)據(jù)處理與

分析、數(shù)據(jù)可視化。（難點(diǎn)）

4.了解大數(shù)據(jù)產(chǎn)業(yè)。

5.理解大物云智5G技術(shù)，掌握大物云智5G之間的關(guān)系。（重點(diǎn)難點(diǎn)）

6.了解大數(shù)據(jù)的崗位。

7.了解大數(shù)據(jù)的學(xué)習(xí)路線。

開(kāi)學(xué)第一課

1.自我介紹。

2.課程地位、先修及后續(xù)課程。

3.教學(xué)目標(biāo)及知識(shí)圖譜。

4.課時(shí)分配（理論+實(shí)驗(yàn)）及進(jìn)度、教材、參考資料、上機(jī)軟件。

5.考核方式：平時(shí)+實(shí)臉+期末。

6.學(xué)堂云、雨課堂的使用方法。

教學(xué)內(nèi)容第1章大數(shù)據(jù)概述

1.1大數(shù)據(jù)內(nèi)涵（重點(diǎn)）

1.2大數(shù)據(jù)特征（重點(diǎn)）

1.3大數(shù)據(jù)關(guān)鍵技術(shù)（難點(diǎn)）

1.4大數(shù)據(jù)產(chǎn)業(yè)

1.5大數(shù)據(jù)與物聯(lián)網(wǎng)、云計(jì)算、人工智能、5G的關(guān)系（重點(diǎn)，難點(diǎn)）

1.6大數(shù)據(jù)崗位介紹

1.7大數(shù)據(jù)學(xué)習(xí)路線

重點(diǎn)：大數(shù)據(jù)概念，大數(shù)據(jù)特征，大物云智5G之間的關(guān)系。

重點(diǎn)難點(diǎn)

難點(diǎn)：大數(shù)據(jù)關(guān)鍵技術(shù)，大物云智5G之間的關(guān)系。

教學(xué)方法

講授法，討論法，任務(wù)驅(qū)動(dòng)法

手段

開(kāi)學(xué)第一課

1.進(jìn)行自我介紹。

2.進(jìn)行頭腦風(fēng)暴，提問(wèn)問(wèn)題，引入為何學(xué)習(xí)此課程。

3.闡述課程地位、先修及后續(xù)課程。

4.明確該課程教學(xué)目標(biāo)，了解該課程知識(shí)思維導(dǎo)圖。

5.介紹該課程的課時(shí)分配及進(jìn)度、教材、參考資料、上機(jī)軟件。

教學(xué)步驟6.公布考核方式：平時(shí)考核30%（在線考勤、課堂表現(xiàn)、作業(yè)、在線測(cè)試）+實(shí)

驗(yàn)考核20%（實(shí)臉態(tài)度、實(shí)驗(yàn)報(bào)告）+期末考核（筆試或大作業(yè)）。

7.介紹學(xué)堂云、雨課堂的使用方法。

8.完成在線測(cè)試，對(duì)先修課程的知識(shí)和技能進(jìn)行綜合測(cè)試。

第1章大數(shù)據(jù)概述

1.提問(wèn)問(wèn)題引入“大數(shù)據(jù)”。2.精講本節(jié)內(nèi)容。3.進(jìn)行本節(jié)小結(jié)。

4.布置課后作業(yè)。

1.當(dāng)今IT界的熱門(mén)技術(shù)有哪些？

復(fù)習(xí)提問(wèn)

2.你平時(shí)用的哪些應(yīng)用使用到了云計(jì)算和大數(shù)據(jù)技術(shù)？

1.章節(jié)測(cè)試

完成線上測(cè)試“章節(jié)測(cè)試1-大數(shù)據(jù)概述”。

2.預(yù)習(xí)作業(yè)

預(yù)習(xí)“初識(shí)Hadoop”。

作業(yè)

3.思考題

(1)根據(jù)自己的專業(yè)領(lǐng)域和研究興趣，調(diào)研大數(shù)據(jù)技術(shù)在自己所屬領(lǐng)域中的應(yīng)用

現(xiàn)狀？

(2)調(diào)查分析大數(shù)據(jù)從業(yè)人員常用方法、技術(shù)與工具。

教學(xué)環(huán)節(jié)復(fù)習(xí)提問(wèn)新課講解課堂討論每課小結(jié)布置作業(yè)

時(shí)間分配(以分鐘計(jì)算))10701532

教案首頁(yè)（第2次課）

（以2課時(shí)為單元）

課序授課日期授課班次授課教師批準(zhǔn)人

2

課題第2講初識(shí)Hadoop

1.理解Hadoop是什么（重點(diǎn)），了解Hadoop的發(fā)展簡(jiǎn)史、特點(diǎn)、版本。

2.理解Hadoop生態(tài)系統(tǒng)組成及各組件基本功能。（重點(diǎn)）

3.理解Hadoop體系架構(gòu)。（重點(diǎn)）

4.了解Hadoop在國(guó)內(nèi)外應(yīng)用現(xiàn)狀。

5.理解部署Hadoop集群所需系統(tǒng)環(huán)境、Hadoop運(yùn)行模式，熟練掌握在Linux

目的要求

下部署全分布模式Hadoop過(guò)程：規(guī)劃集群、準(zhǔn)備機(jī)器及軟件環(huán)境（配置靜態(tài)

IP、修改主機(jī)名、編輯域名映射、安裝和配置Java、安裝和配置SSH免密登

錄）、安裝不口酉已置Hadoop集群（hadoop-env.sh>yarn-env.sh、mapred-env.sh^

core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml、sIaves）>

關(guān)閉防火墻、格式化文件系統(tǒng)、啟動(dòng)和驗(yàn)證Hadoop、關(guān)閉Hadoopo（重點(diǎn)難點(diǎn)）

第2章初識(shí)Hadoop

2.1Hadoop概,述（重點(diǎn)）

2.2Hadoop生態(tài)系統(tǒng)（重點(diǎn)）

教學(xué)內(nèi)容

2.3Hadoop體系架構(gòu)（重點(diǎn)）

2.4Hadoop應(yīng)用現(xiàn)狀

2.5部署和運(yùn)行Hadoop（重點(diǎn)，難點(diǎn)）

重點(diǎn):Hadoop是什么,Hadoop生態(tài)系統(tǒng)，Hadoop體系架構(gòu)，部署和運(yùn)行Hadoop。

重點(diǎn)難點(diǎn)

難點(diǎn)：部署和運(yùn)行Hadoopo

教學(xué)方法

講授法，討論法，演示法，案例法

手段

第2章初識(shí)Hadoop

1.復(fù)習(xí)提問(wèn)，講評(píng)章節(jié)測(cè)試1,導(dǎo)入本節(jié)內(nèi)容。

教學(xué)步驟2.精講本節(jié)內(nèi)容。

3.進(jìn)行本節(jié)小結(jié)。

4.布置課后作業(yè)。

1.根據(jù)你的理解，何為大數(shù)據(jù)？

復(fù)習(xí)提問(wèn)2.大數(shù)據(jù)有哪些特征？

3.大數(shù)據(jù)關(guān)鍵技術(shù)有哪些？

1.章節(jié)測(cè)試

作業(yè)

w

完成線上測(cè)試“章節(jié)測(cè)試2-初識(shí)Hadoopo

2.思考題

(1)準(zhǔn)備Hadoop系統(tǒng)環(huán)境時(shí)，安裝SSH是必須的，但是配置SSH免密登錄并

作業(yè)不是必須的，試述為何還要配置SSH免密登錄。

(2)配置Hadoop是部署Hadoop過(guò)程中較為繁瑣的步臊，試述配置Hadoop偽

分布模式和全分布式模式的異同。

預(yù)習(xí)線上資源“實(shí)臉指導(dǎo)書(shū)-實(shí)臉1部署全分布模式Hadoop集群”，了解實(shí)臉

預(yù)習(xí)內(nèi)容

目的和實(shí)驗(yàn)內(nèi)容，準(zhǔn)備實(shí)驗(yàn)環(huán)境。

教學(xué)環(huán)節(jié)復(fù)習(xí)提問(wèn)新課講解課堂討論每課小結(jié)布置作業(yè)

時(shí)間分配

10701532

(以分鐘計(jì)算)

實(shí)驗(yàn)教學(xué)教案首頁(yè)（第3次課）

（以2課時(shí)為單元）

課序：3實(shí)驗(yàn)日期:實(shí)驗(yàn)教師：****批準(zhǔn)人:****

一、實(shí)驗(yàn)名稱

實(shí)驗(yàn)1部署全分布模式Hadoop集群

二、實(shí)驗(yàn)?zāi)康摹⒁?/p>

1.熟練掌握Linux基本命令。

2.掌握靜態(tài)IP地址的配置、主機(jī)名和域名映射的修改。

3.掌握Linux環(huán)境下Java的安裝、環(huán)境變量的配置、Java基本命令的使用。

4.理解為何需要配置SSH免密登錄，掌握Linux環(huán)境下SSH的安裝、免密登錄的配

置。

5.熟練掌握在Linux環(huán)境下如何部署全分布模式Hadoop集群。

三、實(shí)驗(yàn)重點(diǎn)、難點(diǎn)

重點(diǎn)：配置全分布模式Hadoop集群。

難點(diǎn):配置SSH免密登錄。

四、實(shí)驗(yàn)器材、設(shè)備

本實(shí)驗(yàn)所需的軟硬件環(huán)境包括PC、VMwareWorkstationPro、CentOS安裝包、Oracle

JDK安裝包、Hadoop安裝包。

教學(xué)設(shè)計(jì)：

一、復(fù)習(xí)提問(wèn)，回顧部署和運(yùn)行Hadoop的關(guān)鍵點(diǎn)。教師講述本次實(shí)驗(yàn)的先修技能、實(shí)

驗(yàn)步驟和實(shí)驗(yàn)重點(diǎn)難點(diǎn)。

二、采用實(shí)驗(yàn)法教學(xué)，學(xué)生按照本次實(shí)驗(yàn)的實(shí)驗(yàn)指導(dǎo)書(shū)進(jìn)行實(shí)驗(yàn)，教師指導(dǎo)。實(shí)驗(yàn)步驟

如下：

1?酬?掌握

2.熟練簟提Java基本命令

先修技能3.理解SSH安全通信協(xié)議

4.理解Hadoop艇礎(chǔ)知識(shí)：運(yùn)行環(huán)境、運(yùn)行模式、生態(tài)系統(tǒng)、體系

架構(gòu)、配M文件等

集群架內(nèi)規(guī)劃：主節(jié)點(diǎn)、從節(jié)點(diǎn)、IPi也址、運(yùn)行服務(wù)、軟硬件配置

1,規(guī)劃部善--------------------------------------------------------------

-------------軟件選擇：虛擬機(jī)工具、Linux攆作系統(tǒng)、Java、SSH、Hadoop

2,準(zhǔn)母機(jī)卷

配置一

修改主機(jī)€

3.準(zhǔn)省軟件環(huán)境,編場(chǎng)域名映射

,安裝和配置Java

f安裝和配置SSH免堂登錄

4,下新安裝Hadoop

Wrj4hddoop.sh:添1?HADOOP_HOME到系統(tǒng)處PATH

配Mhadoop-env.sh:JAVA_HOME,HADOOP_SSH_OPTS,

HADOOP_PID_DIR^

SKmapred-env.sh:JAVAHOME,

HADOOP_MAPRED_PID_DIR^

gBHyarn-env.sh:JAVA_HOME.YARN_PID_DIR^

￡Kcore-site.xml:fs.defaultFS,io.file.buffer.size,

?5.配置全分布便式Hadoop集群hadoop.tmp.di售

部署全分布模式

實(shí)驗(yàn)步驟fiiRhdfs-sitejcml:.dir,

Hadoop集群dfs.datanode.data.dir.node.checkpointdir,

dfs.replication等

配芭mapred-site*ml:等

gBMyarn-4ite.xml:yarn.re$ourcemanager.hostname,

yam-nodemanager.aux-services等

SBslaves

6.關(guān)閉防火墻

7.格式化文件系統(tǒng)

start-dfs.sh

start-yanxsh

啟動(dòng)Hadoopmr-jobhistory-daemon.shstarthistoryserver

8.啟動(dòng)和驗(yàn)證Hadoop方法1：jps查看進(jìn)程

蹈EHadoop方法2:WebUliS看界面

方法3:向Hadoopffe^提交MapReduce應(yīng)用?J?JWordCount

mr-jobhistory-daemon.shstophistoryserver

stop-yam.sh

9.關(guān)閉Hadoopstop-dfs.sh

圖實(shí)驗(yàn)1部署全分布模式Hadoop集群知識(shí)地圖

1.規(guī)劃部署。

2.準(zhǔn)備機(jī)器。

3.準(zhǔn)備軟件環(huán)境：配置靜態(tài)IP；修改主機(jī)名；編輯域名映射；安裝和配置Java；安裝

和配置SSH免密登錄。

4.獲取和安裝Hadoop。

5.配置全分布模式Hadoop集群。

6.關(guān)閉防火墻。

7.格式化文件系統(tǒng)。

8.啟動(dòng)和驗(yàn)證Hadoop。

9.關(guān)閉Hadoopo

三、布置課后作業(yè)

1.完成本次實(shí)驗(yàn)的電子版《實(shí)驗(yàn)報(bào)告》，并與本周日前上傳至平臺(tái)。

2.預(yù)習(xí)“HDFS體系架構(gòu)和文件存儲(chǔ)機(jī)制”。

教案首頁(yè)（第4次課）

（以2課時(shí)為單元）

課序授課日期授課班次授課教師批準(zhǔn)人

4

課題第3講HDFS體系架構(gòu)和文件存儲(chǔ)機(jī)制

1.了解大數(shù)據(jù)存儲(chǔ)對(duì)文件系統(tǒng)的挑戰(zhàn)，理解HDFS文件系統(tǒng)特點(diǎn)。

2,理解HDFS體系架構(gòu)，掌握NameNode與DataNode的作用與關(guān)系，掌握HDFS

目的要求元數(shù)據(jù)文件的組成。（重點(diǎn)）

3.理解HDFS文件存儲(chǔ)機(jī)制：塊，副本策略。（重點(diǎn)）

4.掌握HDFS數(shù)據(jù)讀寫(xiě)過(guò)程及涉及到的關(guān)鍵類。（重點(diǎn)）

第3章分布式文件系統(tǒng)HDFS

3.1HDFS簡(jiǎn)介

教學(xué)內(nèi)容3.2HDFS體系架構(gòu)（重點(diǎn)）

3.3HDFS文件存儲(chǔ)機(jī)制（重點(diǎn)）

3.4HDFS數(shù)據(jù)讀寫(xiě)過(guò)程（重點(diǎn)）

重點(diǎn)：HDFS體系架構(gòu)，HDFS文件存儲(chǔ)機(jī)制，HDFS數(shù)據(jù)讀寫(xiě)過(guò)程。

重點(diǎn)難點(diǎn)

難點(diǎn)：無(wú)。

教學(xué)方法

講授法，討論法，演示法，案例法

手段

第3章分布式文件系統(tǒng)HDFS

1.復(fù)習(xí)提問(wèn)，講評(píng)章節(jié)測(cè)試2和實(shí)驗(yàn)1,導(dǎo)入本節(jié)內(nèi)容。

教學(xué)步驟2.精講本節(jié)內(nèi)容。

3.進(jìn)行本節(jié)小結(jié)。

4.布置課后作業(yè)。

復(fù)習(xí)提問(wèn)簡(jiǎn)述部署全分布模式Hadoop集群的基本步驟。

作業(yè)無(wú)

預(yù)習(xí)內(nèi)容預(yù)習(xí)“實(shí)戰(zhàn)HDFS“、"HDFS高可靠性機(jī)制

教學(xué)環(huán)節(jié)復(fù)習(xí)提問(wèn)新課講解課堂討論每課小結(jié)布置作業(yè)

時(shí)間分配

10701532

（以分鐘計(jì)算）

教案首頁(yè)（第5次課）

（以2課時(shí)為單元）

課序授課日期授課班次授課教師批準(zhǔn)人

5

課題第4講實(shí)戰(zhàn)HDFS

1.掌握HDFSWebUI的使用，熟練掌握HDFSShelI常用命令使用和HDFS

JavaAPI編程。（重點(diǎn)，難點(diǎn)）

目的要求

2.了解HDFS高可靠性機(jī)制：元數(shù)據(jù)備份、SecondaryNameNode>BackupNode

備份、HDFSNameNodeHA^HDFSNameNodeFederation、HDFSSnapshotso

第3章分布式文件系統(tǒng)HDFS

3.5實(shí)戰(zhàn)HDFS（重點(diǎn),難點(diǎn)）

3.5.1HDFSWebUI

教學(xué)內(nèi)容

3.5.2HDFSShelI

3.5.3HDFSJavaAPI編程

3.6HDFS高可靠性機(jī)制（了解）

重點(diǎn)：HDFS體系架構(gòu)，HDFS文件存儲(chǔ)機(jī)制，HDFS數(shù)據(jù)讀寫(xiě)過(guò)程。

重點(diǎn)難點(diǎn)

難點(diǎn)：無(wú)。

教學(xué)方法

講授法，討論法，演示法，案例法

手段

第3章分布式文件系統(tǒng)HDFS

教學(xué)步驟1.復(fù)習(xí)提問(wèn)，導(dǎo)入本節(jié)內(nèi)容。

2.精講本節(jié)內(nèi)容。3.進(jìn)行本節(jié)小結(jié)。4.布置課后作業(yè)。

1.簡(jiǎn)述HDFS是什么。2.簡(jiǎn)述HDFS體系架構(gòu)。3.簡(jiǎn)述HDFS文件存儲(chǔ)機(jī)制。

復(fù)習(xí)提問(wèn)

4.簡(jiǎn)述HDFS數(shù)據(jù)讀寫(xiě)過(guò)程。

1.章節(jié)測(cè)試

完成線上測(cè)試“章節(jié)測(cè)試3-分布式文件系統(tǒng)HDFS”。

作業(yè)2.思考題

（1）簡(jiǎn)述HDFS元數(shù)據(jù)的更新和備份過(guò)程Checkpoint。

（2）簡(jiǎn)述備份節(jié)點(diǎn)和SecondaryNameNode的區(qū)別是什么？

預(yù)習(xí)線上資源“實(shí)驗(yàn)指導(dǎo)書(shū)-實(shí)驗(yàn)2實(shí)戰(zhàn)HDFS”，了解實(shí)驗(yàn)?zāi)康暮蛯?shí)臉內(nèi)容，

預(yù)習(xí)內(nèi)容

準(zhǔn)備實(shí)驗(yàn)環(huán)境。

教學(xué)環(huán)節(jié)復(fù)習(xí)提問(wèn)新課講解課堂討論每課小結(jié)布置作業(yè)

時(shí)間分配

5751532

（以分鐘計(jì)算）

實(shí)驗(yàn)教學(xué)教案首頁(yè)（第3次課）

（以2課時(shí)為單元）

課序：6實(shí)驗(yàn)日期:實(shí)驗(yàn)教師：****批準(zhǔn)人:****

一、實(shí)驗(yàn)名稱

實(shí)驗(yàn)2實(shí)戰(zhàn)HDFS

二、實(shí)驗(yàn)?zāi)康摹⒁?/p>

1.理解HDFS體系架構(gòu)。

2.理解HDFS文件存儲(chǔ)原理和數(shù)據(jù)讀寫(xiě)過(guò)程。

3.熟練掌握HDFSWebUI界面的使用。

4.熟練掌握HDFSShell常用命令的使用。

5.熟練掌握HDFS項(xiàng)目開(kāi)發(fā)環(huán)境的搭建。

6.掌握使用HDFSJavaAPI編寫(xiě)HDFS文件操作程序。

三、實(shí)驗(yàn)重點(diǎn)、難點(diǎn)

重點(diǎn)：使用HDFSWebUI、HDFSSheikHDFSJavaAPI編程。

難點(diǎn)：使用HDFSJavaAPI編程。

四、實(shí)驗(yàn)器材、設(shè)備

本實(shí)驗(yàn)所需的軟件環(huán)境包括全分布模式Hadoop集群、Eclipse。

教學(xué)設(shè)計(jì)：

一、復(fù)習(xí)提問(wèn)，回顧使用HDFSWebUI、HDFSSheikHDFSJavaAPI編程的關(guān)鍵點(diǎn)。

教師講述本次實(shí)驗(yàn)的先修技能、實(shí)驗(yàn)步驟和實(shí)驗(yàn)重點(diǎn)難點(diǎn)。

二、采用實(shí)驗(yàn)法教學(xué)，學(xué)生按照本次實(shí)驗(yàn)的實(shí)驗(yàn)指導(dǎo)書(shū)進(jìn)行實(shí)驗(yàn)，教師指導(dǎo)。實(shí)驗(yàn)步驟

如下:

1熟練掌握Linux基本命令

2.掌握J(rèn)ava編程

3.熟練掌握全分布模式Hadoop集群的使用

先修技能

4.理解HDFS基礎(chǔ)知識(shí)：功能、體系架構(gòu)、文件存儲(chǔ)原理HDFS接

口等

1啟動(dòng)Hadoop集群

會(huì)2.使用HDFSShell

★3.蝴HDFSWebUI

4.搭建HDFS開(kāi)發(fā)環(huán)境Eclipse

在Eelipse中創(chuàng)建Java項(xiàng)目

—

實(shí)戰(zhàn)HDFS實(shí)驗(yàn)步驟在項(xiàng)目中添加所需JAR包

F*5.使用HDFSJavaAPI編程的目中新建包

戶編寫(xiě)Java程序

編譯運(yùn)行程序

6.關(guān)閉Hadoop集群

★童點(diǎn)：使用HDFSWeb5、HDFSShell.HDFSJavaAPI編程

實(shí)驗(yàn)重點(diǎn)難點(diǎn)，難點(diǎn)：使用HDFSJavaAPI編程

rHDFSNameNodeHA高可用環(huán)境搭建

拓展訓(xùn)練-----------------------------

圖實(shí)驗(yàn)2實(shí)戰(zhàn)HDFS知識(shí)地圖

1.啟動(dòng)全分布模式Hadoop集群，守護(hù)進(jìn)程包括NameNode、DalaNode、

SecondaryNameNode、ResourceManager,NodeManager和JobHistoryServer(>

2.查看HDFSWeb界面。

3.練習(xí)HDFSShell文件系統(tǒng)命令和系統(tǒng)管理命令。

4.在Hadoop集群主節(jié)點(diǎn)上搭建HDFS開(kāi)發(fā)環(huán)境Eclipse?

5.使用HDFSJavaAPI編寫(xiě)HDFS文件操作程序，實(shí)現(xiàn)上傳本地文件到HDFS的功能，

采用本地執(zhí)行和集群執(zhí)行的兩種執(zhí)行方式測(cè)試，觀察結(jié)果。

6.使用HDFSJavaAPI編寫(xiě)HDFS文件操作程序，實(shí)現(xiàn)查看上傳文件在HDFS集群中

位置的功能，采用本地執(zhí)行和集群執(zhí)行的兩種執(zhí)行方式測(cè)試，觀察結(jié)果。

7.關(guān)閉全分布模式Hadoop集群。

三、布置課后作業(yè)

1.完成本次實(shí)驗(yàn)的電子版《實(shí)驗(yàn)報(bào)告》，并與本周日前上傳至平臺(tái)。

2.預(yù)習(xí)“MapReduce概述和作業(yè)執(zhí)行流程”。

教案首頁(yè)（第7次課）

（以2課時(shí)為單元）

課序授課日期授課班次授課教師批準(zhǔn)人

7

課題第5講MapReduce概述及作業(yè)執(zhí)行流程

1.理解MapReduce編程思想。（重點(diǎn)）

2.掌握MapReduce應(yīng)用程序WordCount中Mapper類、Reducer類、main。方

法的編寫(xiě)（重點(diǎn)、難點(diǎn)），并熟練掌握向Hadoop集群提交MR作業(yè)和查看結(jié)果

目的要求的方法（重點(diǎn)）。

3.理解MapReduce作業(yè)執(zhí)行流程的五個(gè)階段，理解MapReduce2.0作業(yè)執(zhí)行

時(shí)體系架構(gòu)。（重點(diǎn)）

4.理解Shuffle機(jī)制。（難點(diǎn)）

第4章分布式計(jì)算框架MapReduce

4.1MapReduce簡(jiǎn)介（重點(diǎn)）

分而治之：鍵值對(duì)〈key,vaIue>

4.2第一個(gè)MapReduce案例:WordCount（重點(diǎn)）

教學(xué)內(nèi)容

Mapper類、Reducer類、main。方法的編寫(xiě)

4.3MapReduce作業(yè)執(zhí)行流程（重點(diǎn)）

InputFormat,Map,ShuffIe,Reduce,OutputFormat

4.5Shuffle機(jī)制（難點(diǎn)）

重點(diǎn)：MapReduce編程思想；WordCount中Mapper類、Reducer類、main（）方

法的編寫(xiě)；MapReduce作業(yè)執(zhí)行流程。

重點(diǎn)難點(diǎn)

難點(diǎn)：WordCount中Mapper類、Reducer類、main。方法的編寫(xiě)；Shuffle機(jī)

制。

教學(xué)方法

講授法，演示法，案例法

手段

1.復(fù)習(xí)提問(wèn)，講評(píng)章節(jié)測(cè)試3和實(shí)驗(yàn)2,導(dǎo)入本節(jié)內(nèi)容。2.精講教學(xué)內(nèi)容。

教學(xué)步驟

3.進(jìn)行本節(jié)小結(jié)。4.布置課后作業(yè)。

復(fù)習(xí)提問(wèn)簡(jiǎn)述HDFS的體系架構(gòu)和接口。

作業(yè)自行編寫(xiě)MapReduce程序WordCountDIY,并提交Hadoop集群運(yùn)行。

預(yù)習(xí)內(nèi)容預(yù)習(xí)“MapReduce數(shù)據(jù)類型與格式”、“在MapReduce中自定義組件”。

教學(xué)環(huán)節(jié)復(fù)習(xí)提問(wèn)新課講解課堂討論每課小結(jié)布置作業(yè)

時(shí)間分配

10701532

（以分鐘計(jì)算）

教案首頁(yè)（第8次課）

（以2課時(shí)為單元）

課序授課日期授課班次授課教師批準(zhǔn)人

8

課題第6講MapReduce數(shù)據(jù)類型和自定義組件

1.掌握MapReduce數(shù)據(jù)類型（重點(diǎn)），理解序列化和反序列化（難點(diǎn)）。

目的要求2.了解自定義輸入組件、自定義排序組件、自定義分區(qū)組件、自定義輸出組

件的編寫(xiě)。（難點(diǎn)）

第4章分布式計(jì)算框架MapReduce

4.4MapReduce數(shù)據(jù)類型與格式

序列化，反序列化

IntWritable,LongWritable,FloatWritabIe,DoubleWritabIe,ByteWritabIe

BooIeanWritabIe,Text,NuIIWritabIe

4.6在MapReduce中自定義組件

輸入組件：org.apache,hadoop.mapreduce.InputFormat,RecordReader,重

教學(xué)內(nèi)容

寫(xiě)createRecordReader()

排序組件：自定義類實(shí)現(xiàn)ComparabIe或WritabIeComparabIe,重寫(xiě)

compareToO

分區(qū)組件：org.apache.hadoop.mapreduce.Partitioner,重寫(xiě)

getPartition()

輸出組件：org.apache.hadoop.mapreduce.OutputFormat,RecordWriter,重

寫(xiě)getRecordWriter()

重點(diǎn):MapReduce數(shù)據(jù)類型。

重點(diǎn)難點(diǎn)

難點(diǎn)：序列化和反序列化；MapReduce自定義組件編寫(xiě)。

教學(xué)方法

講授法，演示法，案例法

手段

1.復(fù)習(xí)提問(wèn)，導(dǎo)入本節(jié)內(nèi)容。

教學(xué)步驟

2.精講教學(xué)內(nèi)容。3.進(jìn)行本節(jié)小結(jié)。4.布置課后作業(yè)。

復(fù)習(xí)提問(wèn)簡(jiǎn)述MapReduce作業(yè)執(zhí)行流程。

作業(yè)重讀MapReduce示例程序WordCount,深入理解其中的數(shù)據(jù)類型。

預(yù)習(xí)內(nèi)容預(yù)習(xí)“實(shí)戰(zhàn)MapReduce”、“其它主流計(jì)算框架

教學(xué)環(huán)節(jié)復(fù)習(xí)提問(wèn)新課講解課堂討論每課小結(jié)布置作業(yè)

時(shí)間分配

5701555

（以分鐘計(jì)算）

實(shí)驗(yàn)教學(xué)教案首頁(yè)（第9次課）

（以2課時(shí)為單元）

課序：9實(shí)驗(yàn)日期:實(shí)驗(yàn)教師：****批準(zhǔn)人:****

一、實(shí)驗(yàn)名稱

實(shí)驗(yàn)3MapReduce編程（1）

二、實(shí)驗(yàn)?zāi)康摹⒁?/p>

1.理解MapReduce編程思想。

2.理解MapReduce作業(yè)執(zhí)行流程。

3.理解MR-App編寫(xiě)步驟，掌握使用MapReduceJavaAPI進(jìn)行MapReduce基本編程，

熟練掌握如何在Hadoop集群上