1、Hadoop的安裝與配置及示例程序wordcount的運行目錄 TOC o 1-5 h z HYPERLINK l bookmark33 o Current Document 前言1 HYPERLINK l bookmark36 o Current Document 1機器配置說明2 HYPERLINK l bookmark39 o Current Document 2查看機器間是否能相互通信（使用ping命令）2 HYPERLINK l bookmark1 o Current Document 3 ssh設置及關閉防火墻21）fedora裝好后默認啟動sshd服務，如果不確定的話可以查一下g

2、aronhzau01$ service sshd status3 HYPERLINK l bookmark49 o Current Document 2）關閉防火墻（NameNode和DataNode都必須關閉）34安裝jdk1.6（集群中機子都一樣）3 HYPERLINK l bookmark53 o Current Document 安裝hadoop（集群中機子都一樣）4 HYPERLINK l bookmark56 o Current Document 配置hadoop4 HYPERLINK l bookmark60 o Current Document 1）配置JAVA環境4 HYPE

3、RLINK l bookmark63 o Current Document 2）配置 conf/core-site.xml、conf/hdfs-site.xml、conf/mapred-site.xml 文件53）將NameNode上完整的hadoop拷貝到DataNode上，可先將其進行壓縮后直接scp過去或是用盤拷貝過去7 HYPERLINK l bookmark73 o Current Document 4）配置 NameNode 上的 conf/masters 和 conf/slaves7 HYPERLINK l bookmark77 o Current Document 運行 had

4、oop7 HYPERLINK l bookmark81 o Current Document 1）格式化文件系統7 HYPERLINK l bookmark85 o Current Document 2）啟動 hadoop7 HYPERLINK l bookmark89 o Current Document 3）用jps命令查看進程，NameNode上的結果如下： 8 HYPERLINK l bookmark92 o Current Document 4）查看集群狀態8 HYPERLINK l bookmark95 o Current Document 運行 Wordcount.java 程序

5、8 HYPERLINK l bookmark99 o Current Document 1）先在本地磁盤上建立兩個文件f1和f28 HYPERLINK l bookmark102 o Current Document 2）在 hdfs 上建立一個input目錄9 HYPERLINK l bookmark105 o Current Document 3） 將f1和f2 拷貝到U hdfs的input目錄下9 HYPERLINK l bookmark108 o Current Document 4）查看hdfs上有沒有f1,f29 HYPERLINK l bookmark111 o Current

6、 Document 5）執行 wordcount （確保hdfs上沒有output目錄）9 HYPERLINK l bookmark114 o Current Document 6）運行完成，查看結果9前言最近在學習Hadoop，文章只是記錄我的學習過程，難免有不足甚至是錯誤之處，請大家諒 解并指正！ Hadoop版本是最新發布的Hadoop-0.21.0版本，其中一些Hadoop命令已發生變 化，為方便以后學習，這里均采用最新命令。具體安裝及配置過程如下：1機器配置說明總共有 3 臺機器：hzau01、hzau02、hzau03IP 地址分別為：、7、操作系統為：Linux-85.fc13.

7、i686.PAEjdk 版本為：jdk1.6.0_23hadoop 版本為：hadoop-0.21.0hzau01 作為 NameNode、JobTracker，其他兩臺臺作為 DataNode、TaskTracker2查看機器間是否能相互通信（使用ping 命令）用root登錄，在NameNode上修改/etc/hosts文件，加入三臺機器的IP地址和機器名，如下： hzau017 hzau02 hzau03設置好后驗證下各機器間是否ping通，用機器名或是IP地址都可以，例如ping hzau02 或 ping 7Hadoop要求所有機器上hadoop的部署目錄結構要相同并且有一個相同的用

8、戶名的帳戶，我 的默認路徑為/home/garon3 ssh設置及關閉防火墻IIj1）fedora裝好后默認啟動sshd服務，如果不確定的話可以查一下garonhzau01 $ service sshd status如沒有啟動的話，先啟動roothzau01 # service sshd start建立 ssh 無密碼登錄，在 NameNode 上garonhzau01 ssh-keygen -t dsa -P -f /.ssh/id_dsa（”為兩個單引號）會在/.ssh/生成兩個文件：id_dsa和id_dsa.pub，這兩是成對出現的，把id_dsa.pub文件追加 到 DataNode

9、 上的 authorized_keysgaronhzau01 $ scp /.ssh/id_dsa.pub hzau02:/home/garon/.ssh 注意其中目標機器后面的： 與要傳到的文件路徑之間沒有空格，即sc706:與/home/hadoop/N間沒有空格）scp /.ssh/id_dsa.pub hzau03:/home/garon/.ssh登錄到U DataNode 上，garonhzau02 $ cat /.ssh/id_dsa.pub /.ssh/authorized_keys， 其 余一臺一樣，注意：追加完后必須修改NameNode和DataNode上的.ssh和auth

10、orized_keys 的權限，chmod命令，參數600，完成后測試下，例如ssh hzau02時不需要密碼就可以登錄， 就可以知道ssh設置成功。2）關閉防火墻（NameNode和DataNode都必須關閉）roothzau01 # service iptables stop注意：每次重新開機啟動hadoop前都必須關閉4安裝jdk1.6（集群中機子都一樣）下載 jdk-6u23-ea-bin-b03-linux-i586-18_oct_2010.bin，之后直接安裝，我的安裝路徑為： /usr/java/jdk1.6.0_23，安裝后添加如下語句到I/etc/profile 中：expo

11、rt JAVA_HOME=/usr/java/jdk1.6.0_23” export JRE_HOME=/usr/java/jdk1.6.0_23/jreexport CLASSPATH=.:$JAA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexport PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH5安裝hadoop（集群中機子都一樣）在官網 HYPERLINK /hadoop/core/%e4%b8%8b%e8%bd%bd /hadoop/core/下載 hadoop-0.21.0.tar.gzgaronhzau01 $ tar x

12、zvf hadoop-0.21.0.tar.gz將hadoop的安裝路徑添加到/etc/profile中：export HADOOP_HOME=/home/garon/hadoop-0.21.0export PATH=$HADOOP_HOME/bin:$PATH為了讓/etc/profile 生效，source 一下 garonhzau01 $ source /etc/profile配置 hadoop其配置文件在/conf目錄下1）配置JAVA環境garonhzau01 $ vi /hadoop/hadoop-0.21.0/conf/hadoop-env.shexport JAVA_HOME=

13、/usr/java/jdk1.6.0_232 ）配置 conf/core-site.xml、conf/hdfs-site.xml、 conf/mapred-site.xml 文件garonhzau01 hadoop-0.21.0$ vi conf/core-site.xmlhadoop.tmp.dir/home/garon/hadoopgaronhdfs:/hzau01/garonhzau01 hadoop-0.21.0$ vi conf/mapred-site.xmlmapred.jobtracker.address hzau01:9001 garonhzau01 hadoop-0.21.0

14、$ vi conf/hdfs-site.xml.dir/home/garon/hadoopnamedfs.data.dir/home/garon/hadoopdatadfs.replication13）將NameNode上完整的hadoop拷貝到DataNode上，可先將其進行壓縮后直接scp過去或是用盤拷貝過去4）配置 NameNode 上的 conf/masters 和 conf/slavesmasters:slaves:7運行 hadoop1）格式化文件系統garonhzau01 bin$ hdfs namenode -format注意：格式化時要防止NameNode的namespace

15、 ID與DataNode的namespace ID的不一致， 因為每格式化一次會產生Name、Data、tmp等臨時文件記錄信息，多次格式化會產生很多， 會導致ID的不同，造成hadoop不能運行2）啟動 hadoopgaronhzau01 bin$ start-dfs.sh garonhzau01 bin$ start-mapred.sh3）用jps命令查看進程，NameNode上的結果如下:5334 JobTracker5215 SecondaryNameNode5449 Jps5001 NameNode4）查看集群狀態garonhzau01 bin$ hdfs dfsadmin -rep

16、ort確保運行的DataNode個數是正確的，我的是2個，這樣可以查看哪個DataNode沒有運行運行 Wordcountjava 程序1）先在本地磁盤上建立兩個文件fl和f2garonhzau01 bin$ echo ”Hello world Bye world /input/f1garonhzau01 bin$ echo hello hadoop bye hadoop” /input/f22）在hdfs上建立一個i叩ut目錄garonhzau01 bin$ hadoop fs -mkdir /tmp/input3）將fl和f2拷貝到hdfs的input目錄下garonhzau01 bin$ hadoop fs -put /home/garon/input /tmp4）查看hdfs上有沒有f1,f2garonhzau