1、、Hadoop集群配置1. 環(huán)境說(shuō)明集群中所用的機(jī)器均為虛擬機(jī)，操作系統(tǒng)為64位的CentOS6.5，已經(jīng)安裝VMtools，方便虛擬機(jī)和主機(jī)的文件移動(dòng)。集群中包含三個(gè)節(jié)點(diǎn)：1個(gè)Master，2個(gè)Slave，節(jié)點(diǎn)之間局域網(wǎng)連接，可以相互ping通，節(jié)點(diǎn)的IP地址分布如下：機(jī)器名稱IP地址Master1.hadoop30Slave1.hadoop28Slave2.hadoop192,168.160.129三個(gè)節(jié)點(diǎn)上均有個(gè)相同用戶grid1.1網(wǎng)絡(luò)配置1）查看當(dāng)前機(jī)器名hostname2）修改當(dāng)前主機(jī)名vim /etc/sysconfig/net

2、work3）修改hosts配置文件vim /etc/hosts配置主機(jī)名到IP地址的映射關(guān)系1.2JDK安裝1）oracle官網(wǎng)下載JDK，jdk1.8.0_912）在usr下創(chuàng)建一個(gè)文件夾存放java包mkdir /usr/java3）將壓縮包移動(dòng)到j(luò)ava文件夾并解壓mv jdk-8u91-linux-x64-gz /usr/javatar zxvf jdk-8u91-linux-x64-gz4）配置環(huán)境變量vim /etc/profile在末尾追加#set java environmentexport JAVA_HOME=/usr/java/jdk1.8.0_91/export JRE_

3、HOME=/usr/java/jdk1.8.0_91/jreexport CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/libexport PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin5）使其立即生效source /etc/profile6）輸入javac檢驗(yàn)是否成功7）其余機(jī)器也是如此2. 配置SSH免密碼登錄2.1安裝ssh和rsync服務(wù)1）檢查是否已經(jīng)安裝了ssh和rsync服務(wù)rpm qa | grep opensshrpm qa | grep rsync2)如果沒(méi)有安裝，可通過(guò)下面的命令安裝yum

4、install ssh 安裝SSH協(xié)議yum install rsync rsync是一個(gè)遠(yuǎn)程數(shù)據(jù)同步工具，可以通過(guò)LAN/WAN快速同步數(shù)據(jù)service sshd restart 啟動(dòng)服務(wù)2.2配置Master無(wú)密碼登錄所有的slave1）SSH免密碼原理Master作為客戶端如果要實(shí)現(xiàn)免密碼連接到Slave，Master需要先生成一個(gè)密鑰對(duì)，包括一個(gè)公鑰和一個(gè)私鑰，并將公鑰賦值到Slave上，當(dāng)Master通過(guò)SSH連接Slave的時(shí)候，Slave就會(huì)生成一個(gè)隨機(jī)數(shù)并用Master的公鑰加密傳送給Master，Master收到后用自己的私鑰將隨機(jī)數(shù)解密出來(lái)傳送給Slave，Slave確認(rèn)

5、密碼無(wú)誤后就允許Master登錄了，期間不需要用戶手動(dòng)輸入密碼，關(guān)鍵是將Master的公鑰發(fā)送給Slave。2）Master上生成密鑰對(duì)ssh-keygen t rsa P 在.ssh下會(huì)生成id_rsa 和 id_rsa.pub兩個(gè)文件3）將id_rsa.pub追加到授權(quán)的key里面去cat /.ssh/id_rsa.pub >> /.ssh/authorized_keys4)修改authorized_keys權(quán)限chmod 600 /.ssh/authorized_keys5）設(shè)置SSH配置用root用戶修改文件vim /etc/ssh/sshd_config6）重啟SSH服務(wù)

6、service sshd restart7）退出root，用grid賬戶驗(yàn)證ssh localhost8）將公鑰賦值到所有slave節(jié)點(diǎn)上scp r /.ssh/id_rsa.pub grid28:/9）在slave上對(duì)id_rsa.pub的操作mkdir /.ssh 創(chuàng)建.ssh目錄，如果在slave上也生成了密鑰對(duì)則不需要chmod 700 /.ssh對(duì)該目錄權(quán)限控制cat /id_rsa.pub >> /.ssh/authorized_keys 將Master的公鑰追加到認(rèn)證文件chmod 600 /.ssh/authorized_keys 權(quán)限控制

7、10）修改slave上的/etc/ssh/sshd_config并重啟服務(wù)11）用Master無(wú)密碼登錄Slave2.3配置所有Slave無(wú)密碼登錄Master1）在slave上生成密鑰對(duì)ssh-keygen t rsa P 2）將生成的公鑰追加到Master的authorized_keys直接復(fù)制即可3）成功后的結(jié)果3. Hadoop集群安裝3.1安裝hadoop在root權(quán)限下：1）將下載的hadoop-2.7.2.tar.gz復(fù)制到/usr2）進(jìn)入/usr并解壓cd /usrtar zxvf Hadoop-2.7.2.tar.gz 3）將讀取權(quán)限分配給gridchown R grid:g

8、rid Hadoop-2.7.24）配置hadoop的環(huán)境變量vim /etc/profile5）刷新配置source /etc/profile3.2配置hadoop所有的配置文件都在/usr/Hadoop-2.7.2/etc/hadoop中，缺少的文件可以從template中復(fù)制過(guò)來(lái)1） hadoop-env.sh配置jdk的安裝路徑2） yarn-env.sh配置jdk的安裝路徑3)slaves配置從節(jié)點(diǎn)的IP（或者主機(jī)名）4） core-site.xmlfs.defaultFS hdfs:/cluster1-默認(rèn)的HDFS路徑，當(dāng)多個(gè)集群同時(shí)工作時(shí)，用戶如果不寫集群名稱，使用的默認(rèn)路徑。

9、Hadoop.temp.dir 臨時(shí)文件存放目錄5） hdfs-site.xmlhdfs.replication -指定數(shù)據(jù)節(jié)點(diǎn)存儲(chǔ)的副本數(shù)量，默認(rèn)為3，需要根據(jù)節(jié)點(diǎn)數(shù)取值6） -指定運(yùn)行mapreduce的環(huán)境是yarn,與hadoop1不同7）yarn-site.xml4. 集群的啟動(dòng)和檢驗(yàn)4.1集群的啟動(dòng)1）格式化namenode2）啟動(dòng)hdfs 3）啟動(dòng)yarn4.2集群的檢驗(yàn)1）格式化之后，應(yīng)該顯示successful2）啟動(dòng)hdfs后，用/usr/java/jdk1.8.0_91/bin/jps檢驗(yàn)Mas

10、ter端Slave端3）啟動(dòng)yarn之后5. 遇到的問(wèn)題及解決方法5.1格式化時(shí)候遇到如下問(wèn)題解決：1） 在2） 解壓到hadoop-2.7.2/lib/native，覆蓋原有文件./tar xvf hadoop-native-64-2.7.0.tar C /usr/Hadoop-2.7.2/lib/native/5.2jps查看時(shí)datanade未啟動(dòng)可能解決1：保持slave中 /usr/Hadoop-2.7.2/name/current/VERSION與Master中的該文件一致。可能解決2：刪除datanode下的current文件5.3namenode未啟動(dòng)描述：slave的data

11、node啟動(dòng)了，master的secondarynode也啟動(dòng)了，但是namenode未啟動(dòng)解決：重新格式化namenode，注意要先自己創(chuàng)建好tmp文件夾描述：日志中出現(xiàn)There appears to be a gap in the edit log解決：namenode元數(shù)據(jù)破壞，需要修復(fù)Hadoop namenode recover Y c5.4注意需要自己在/usr/Hadoop-2.7.2中創(chuàng)建name、data、tmp文件夾6. 運(yùn)行WordCount程序6.1 創(chuàng)建兩個(gè)文本文件6.2在hdfs創(chuàng)建輸入目錄6.3運(yùn)行wordcount程序./bin/hadoop jar /usr/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /input /output輸出路徑不能事先創(chuàng)建6.4運(yùn)行結(jié)果附1：HDFS操作命令上傳文件到HDFSbin/hadoop fs -put ./jdk-7u25-linux-x86.tar.gz ./in將HDFS的文件復(fù)制到本地bin/hadoop fs -get 刪除HDFS下的文檔bin/hadoop fs -rmr 查看