Hadoop集群搭建教學(xué)單元名稱Linux環(huán)境準備教學(xué)目標能力目標具有較強的動手能力。知識目標掌握靜態(tài)IP的修改方法掌握主機名的修改方法綁定主機名和IP地址的對應(yīng)關(guān)系配置免密登錄素質(zhì)目標接受新知識、自主學(xué)習(xí)、創(chuàng)新的能力教學(xué)重點掌握講臺IP的修改方法、掌握主機名的修改方法、綁定主機名和IP地址的對應(yīng)關(guān)系教學(xué)難點免密登錄教學(xué)方法項目向?qū)?、任?wù)驅(qū)動、分組討論教學(xué)時數(shù)4學(xué)時教學(xué)過程設(shè)計教學(xué)環(huán)節(jié)教學(xué)內(nèi)容教師活動學(xué)生活動新課引入介紹CentOS7操作系統(tǒng)安裝介紹IP地址、主機名和免密登錄講解聽講記錄任務(wù)描述提出本次學(xué)習(xí)的任務(wù)——Linux環(huán)境準備講解聽講記錄任務(wù)部署1CentOS7操作系統(tǒng)安裝，掌握靜態(tài)IP的修改方法，掌握主機名的修改方法，綁定主機名和IP地址的對應(yīng)關(guān)系，配置免密登錄講解搜集資料、交流任務(wù)實施1修改靜態(tài)IP修改主機IP地址的操作步驟如下：①切換到/etc/sysconfig/network-scripts/目錄下，命令如下所示：cd/etc/sysconfig/network-scripts/②編輯該目錄下的ifcfg-ens33文件，命令如下所示：viifcfg-ens33③修改ifcfg-ens33中的內(nèi)容，默認情況下是dhcp動態(tài)IP地址，需要靜態(tài)IP地址，此時將BOOTPROTO的值改為static；需要開機時啟動網(wǎng)卡，將ONBOOT的值改為yes，需要添加網(wǎng)絡(luò)配置信息，包括靜態(tài)IP地址參數(shù)IPADDR、網(wǎng)關(guān)參數(shù)GATEWAY、子網(wǎng)掩碼參數(shù)NETMASK、DNS配置參數(shù)DNS1。④網(wǎng)卡信息修改完成后，保存并退出VI編輯器，需要重新啟動網(wǎng)絡(luò)服務(wù)，使修改的內(nèi)容生效，命令如下所示：systemctlrestartnetwork⑤網(wǎng)卡重啟完成后，可以查看網(wǎng)絡(luò)配置信息，命令如下所示：ipaddrshow講解演示模仿操作修改主機名①修改主機名的配置文件位于/etc目錄下，文件名為hostname。編輯/etc/hostname文件，命令如下：vi/etc/hostname②在該文件中刪除原來的主機名，添加要修改的主機名master，添加內(nèi)容如下：master③保存并退出/etc/hostname文件，并且使用reboot命令重啟使修改內(nèi)容生效。講解演示模仿操作綁定主機名和IP對應(yīng)關(guān)系①修改/etc/hosts文件，命令如下所示：vi/etc/hosts在該文件末尾添加如下內(nèi)容：28master32slave130slave2需要在另外兩個節(jié)點上綁定主機名和IP對應(yīng)關(guān)系，此時不需要在每一個節(jié)點上修改/etc/hosts文件，只需要使用scp命令，將已經(jīng)配置好的/etc/hosts文件拷貝到另外兩個節(jié)點上，拷貝命令如下：scp-r/etc/hostsroot@29:/etc/hostsscp-r/etc/hostsroot@30:/etc/hosts②三個節(jié)點都配置完成后，使用如下命令測試三個節(jié)點之間網(wǎng)絡(luò)是否互通。在master節(jié)點上執(zhí)行如下命令：pingslave1pingslave2在slave1節(jié)點上執(zhí)行如下命令：pingmasterpingslave2在slave2節(jié)點上執(zhí)行如下命令：pingmasterpingslave1免密登錄①分別在三個節(jié)點上生成秘鑰文件，分別在master、slave1和slave2三個節(jié)點上執(zhí)行如下命令：ssh-keygen執(zhí)行ssh-keygen命令時，會要求確認秘鑰文件的存儲位置（SSH密鑰默認保留在~/.ssh目錄中），輸入并確認私鑰的密碼即可，也可以直接按“Enter”即可，表示將私鑰密碼空著。生成的id_rsa是本機的私鑰文件，id_rsa.pub是本機的公鑰文件。②分別在master、slave1和slave2三個節(jié)點上執(zhí)行以下命令，該命令是將自身的公鑰信息復(fù)制并追加到全部節(jié)點的授權(quán)文件authorized_keys中。ssh-copy-idmasterssh-copy-idslave1ssh-copy-idslave2③分別在master、slave1和slave2三個節(jié)點上執(zhí)行ssh命令以下命令，來測試SSH免密登錄。教學(xué)小結(jié)學(xué)生演示：按照任務(wù)要求進行演示。教師點評：根據(jù)學(xué)生安裝情況進行驗收點評，并提出改進，在此基礎(chǔ)上進行練習(xí)。講解學(xué)生記錄布置作業(yè)靜態(tài)IP的修改方法掌握主機名的修改方法綁定主機名和IP地址的對應(yīng)關(guān)系配置免密登錄Hadoop集群搭建教學(xué)單元名稱JDK安裝和Hadoop安裝教學(xué)目標能力目標具有較強的動手能力。知識目標掌握JDK的安裝過程掌握Hadoop的安裝過程素質(zhì)目標接受新知識、自主學(xué)習(xí)、創(chuàng)新的能力教學(xué)重點1、JDK的安裝過程2、Hadoop的安裝過程教學(xué)難點JDK環(huán)境變量的配置教學(xué)方法項目向?qū)?、任?wù)驅(qū)動、分組討論教學(xué)時數(shù)4學(xué)時教學(xué)過程設(shè)計教學(xué)環(huán)節(jié)教學(xué)內(nèi)容教師活動學(xué)生活動新課引入介紹Hadoop架構(gòu)運行基礎(chǔ)介紹環(huán)境變量對JDK和Hadoop的重要作用講解聽講記錄任務(wù)描述提出本次學(xué)習(xí)的任務(wù)——JDK安裝和Hadoop安裝講解聽講記錄任務(wù)部署1將JDK上傳至CentOS7操作系統(tǒng)中，再將JDK安裝到該系統(tǒng)中，同時完成環(huán)境變量配置和測試安裝是否成功。講解搜集資料、交流任務(wù)實施11．下載JDK講解演示模仿操作①下載jdk-8u211-linux-x64.tar.gz。②將下載的JDK安裝包jdk-8u211-linux-x64.tar.gz傳到虛擬機master的/usr/local/src目錄下。③在虛擬機master上安裝JDK，安裝過程就是解壓的過程，解壓命令如下：tar-zxvf/usr/local/src/jdk-8u211-linux-x64.tar.gz-C/usr/local/src④為方便配置JDK系統(tǒng)環(huán)境變量，可以修改JDK安裝目錄名，命令如下：mv/usr/local/src/jdk-1.8.0/usr/local/src/jdk⑤配置JDK系統(tǒng)環(huán)境變量，修改文件/etc/profile，命令如下：vi/etc/profile在文件的末尾添加如下內(nèi)容：exportJAVA_HOME=/usr/local/src/jdkexportPATH=$PATH:$JAVA_HOME/bin/etc/profile文件為系統(tǒng)的每個用戶設(shè)置環(huán)境變量信息，此文件的修改會影響到所有用戶，這個文件是每個用戶登錄時都會運行的環(huán)境變量設(shè)置。提示：exportPATH=$PATH:$JAVA_HOME/bin中的=兩邊沒有空格，$PATH不能忽略寫。⑥/etc/profile文件配置完成之后，需要使剛剛修改的內(nèi)容生效，執(zhí)行如下命令：source/etc/profile⑦驗證JDK是否安裝成功，執(zhí)行java-version命令，如果出現(xiàn)版本信息，則安裝成功。安裝成功出現(xiàn)如下內(nèi)容：javaversion"1.8.0_211"Java(TM)SERuntimeEnvironment(build1.8.0_211-b12)JavaHotSpot(TM)64-BitServerVM(build25.211-b12,mixedmode)⑧拷貝整個jdk安裝目錄到另外兩個節(jié)點，執(zhí)行如下命令：scp-r/usr/local/src/jdkroot@slave1:/usr/local/srcscp-r/usr/local/src/jdkroot@slave2:/usr/local/src⑨拷貝/etc/profile文件到另外兩個節(jié)點，執(zhí)行如下命令：scp-r/etc/profileroot@slave1:/etc/profilescp-r/etc/profileroot@slave2:/etc/profile⑩在slave1和slave2節(jié)點上，刷新/etc/profile文件，使得剛剛修改的內(nèi)容生效，執(zhí)行如下命令：source/etc/profile?驗證slave1和slave2節(jié)點上的JDK是否安裝成功，執(zhí)行java-version命令，如果出現(xiàn)版本信息，則安裝成功。講解演示模仿操作任務(wù)部署2將Hadoop上傳至CentOS7操作系統(tǒng)中，再將Hadoop安裝到該系統(tǒng)中，同時完成環(huán)境變量配置和測試安裝是否成功。講解搜集資料、交流任務(wù)實施21．下載Hadoop講解演示模仿操作安裝Hadoop①在Hadoop官網(wǎng)上下載hadoop-2.9.2.tar.gz安裝包。②使用WinSCP軟件，將下載完成的hadoop-2.9.2.tar.gz安裝包傳到master節(jié)點上的/usr/local/src目錄下③將hadoop-2.9.2.tar.gz解壓到/usr/local/src目錄下，執(zhí)行以下命令：tar-zxvf/usr/local/src/hadoop-2.9.2.tar.gz-C/usr/local/src④為了方便配置Hadoop系統(tǒng)環(huán)境變量，可以修改目錄名，命令如下：mv/usr/local/src/hadoop-2.9.2/usr/local/src/hadoop⑤配置Hadoop系統(tǒng)環(huán)境變量，修改文件/etc/profile，命令如下：vi/etc/profile在文件的末尾添加如下內(nèi)容：exportHadoop_HOME=/usr/local/src/hadoopexportPATH=$Hadoop_HOME/bin:$Hadoop_HOME/sbin:$PATH⑥/etc/profile文件配置完成之后，需要使剛剛修改的內(nèi)容生效，執(zhí)行如下命令：source/etc/profile⑦驗證Hadoop是否安裝成功，執(zhí)行Hadoopversion命令，如果出現(xiàn)如下版本信息，則安裝成功。Hadoop2.9.2講解演示模仿操作、歸納總結(jié)、記錄教學(xué)小結(jié)學(xué)生演示：按照任務(wù)要求進行演示。教師點評：根據(jù)學(xué)生安裝情況進行驗收點評，并提出改進，在此基礎(chǔ)上進行練習(xí)。講解學(xué)生記錄布置作業(yè)1、JDK的下載與安裝，環(huán)境變量配置及測試；2、Hadoop的下載，環(huán)境變量配置及測試。Hadoop集群搭建教學(xué)單元名稱Hadoop分布式環(huán)境搭建教學(xué)目標能力目標具有獨立自主的開發(fā)能力知識目標掌握Hadoop分布式環(huán)境配置掌握常用的hadoop命令素質(zhì)目標接受新知識、自主學(xué)習(xí)、創(chuàng)新的能力教學(xué)重點1、掌握Hadoop分布式環(huán)境配置2、掌握常用的hadoop命令教學(xué)難點Hadoop分布式環(huán)境的配置教學(xué)方法項目向?qū)?、任?wù)驅(qū)動、分組討論教學(xué)時數(shù)4學(xué)時教學(xué)過程設(shè)計教學(xué)環(huán)節(jié)教學(xué)內(nèi)容教師活動學(xué)生活動新課引入介紹環(huán)境變量對分布式環(huán)境配置的重要作用講解聽講記錄任務(wù)描述提出本次學(xué)習(xí)的任務(wù)——Hadoop分布式環(huán)境配置講解聽講記錄任務(wù)部署1完成hadoop偽分布式環(huán)境的配置講解搜集資料、交流任務(wù)實施1①修改配置文件hadoop-env.sh在該文件中修改JAVA_HOME環(huán)境變量，將其值修改為JDK的安裝路徑，修改內(nèi)容如下所示：exportJAVA_HOME=/usr/local/src/jdk②修改全局參數(shù)配置文件core-site.xml將<configuration>和</configuration>中的標簽中的內(nèi)容修改如下所示：<configuration><property><name>fs.defaultFS</name><value>hdfs://master:9000</value></property><property><name>hadoop.tmp.dir</name><value>/usr/local/src/hadoop/tmp</value></property></configuration>③修改hdfs參數(shù)配置文件hdfs-site.xml，將<configuration>和</configuration>中的標簽中的內(nèi)容修改如下所示：<configuration><property><name>.dir</name><value>/usr/local/src/hadoop/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>/usr/local/src/hadoop/dfs/data</value></property><property><name>node.secondary.http-address</name><value>slave1:50090</value></property></configuration>④修改從節(jié)點配置文件slaves該配置文件需要把啟動DataNode進程的節(jié)點加入到該文件中，首先需要進入該文件的編輯狀態(tài)，執(zhí)行如下命令：vislaves在slaves中加入如下內(nèi)容：masterslave1slave2⑤在/usr/local/src/hadoop下創(chuàng)建dfs目錄，在/usr/local/src/hadoop目錄下執(zhí)行mkdirdfs命令，該目錄用來存放數(shù)據(jù)HDFS文件系統(tǒng)的元信息保存位置和HDFS文件系統(tǒng)的數(shù)據(jù)保存位置。⑥拷貝整個Hadoop安裝目錄到另外兩個節(jié)點，如下命令：scp-r/usr/local/src/hadooproot@slave1:/usr/local/srcscp-r/usr/local/src/hadooproot@slave2:/usr/lo