1、ubuntu 下安裝配置 hadoop 1.0.4 第一次搞hadoop ，折騰我2天,功夫不負有心人，終于搞好了，現在來分享下， 我的環境 操作系統：wmv虛擬機中的ubuntu12.04 hadoop 版本：hadoop-1.0.4（聽說是穩定版就下了 ） eclipse 版本：eclipse-jee-indigo-SR2-win32 1. 先安裝好jdk，然后配置好jdk的環境變量，在這里我就不累贅了！網上多的是 2. 安裝ssh這個也不用說了 2. 把 hadoop-1.0.4.tar.gz 拖到虛擬機中， 解壓，比如 /home/wys/Documents/hadoop-1.0.4/

2、 （有的還單獨建了個用戶，為了舍去不必要的麻煩 我都是用root用戶來操作的） 3. 修改 hadoop-1.0.4/conf 下面的 core-site.xml 文件，如下： hdfs:/28:9000 hadoop.tmp.dir /home/wys/Documents/tmp 28 這個是虛擬機中 ubuntu 的ip,聽說用localhost , 都不行，我 沒試過，直接寫上ip地址了 tmp是預先創建的一個目錄 4. 修改 hadoop-env.sh 把export JAVA_HOM

3、E=xxxxxx 這行的#號去掉，寫上jdk的目錄路徑 5. 修改 hdfs-site.xml 如下： dfs.replication 1 dfs.permissions false 說明：為了以后用 eclipse開發出現各種問題，就把權限關了! 6. 修改 mapred-site.xml mapred.job.tracker 28:9001 這里我也用了本機ip 7.啟動 hadoop 為了方便啟動，我就把 hadoop配置到了環境變量（配置完記得重啟）: export HADOOP_HOME=/home/wys/Documents/hadoop-1.0.4 ex

4、port JAVA_HOME=/home/wys/Documents/jdk1.6.0_24 export JRE_HOME=$JAVA_HOME/jre export PATH=$PATH:$HADOOP_HOME/bin 把這個復制到/etc/profile 文件中HADOOP_HOME JAVA_HOME 根據實際情況而定! 重啟之后格式化分布式文件系統： hadoop namenode -format 接著啟動hadoop : start-all.sh 成功后會看到一下信息： starting namenode, logging to /home/wys/Documents/hadoo

5、p-1.0.4/libexec/./logs/h adoop-root-namenode-ubuntu.out localhost: starting datanode, logging to /home/wys/Documents/hadoop-1.0.4/libexec/./logs/hadoop-root-datanode-ubu ntu.out localhost: starting secondarynamenode, logging to /home/wys/Documents/hadoop-1.0.4/libexec/./logs/hadoop-root-secondarynam

6、 enode-ubuntu.out starting jobtracker, logging to /home/wys/Documents/hadoop-1.0.4/libexec/./logs/hadoop-root-jobtracker-ubu ntu.out localhost: starting tasktracker, logging to /home/wys/Documents/hadoop-1.0.4/libexec/./logs/hadoop-root-tasktracker-ub untu.out 現在就可以在瀏覽器中輸入地址: 28:5

7、0030 28:50070 地址無法訪問是因為hadoop.tmp.dir 這個沒 指定文件夾 至此hadoop 已安裝配置完成! Eclipse 連接hadoop 開發程序入門 前面一遍博文介紹了如何安裝配置 hadoop 地址：http:/ 這里就來介紹一下用 eclipse如何連接hadoop開發 由于我用的是虛擬機中的系統來做測試，多少有點不正確，還請諒解! 1.首先 要下載eclipse hadoop 插件我用的是hadoop 1.0.4 的版本，這里有個已經做好了 的版本 下載地址： hadoop-eclipse-plugin-1.0.4.ja

8、r 下載下來直接把jar文件放到eclipse/plugins/ 文件夾中，然后重啟eclipse 2. 之后會到看到 如下圖：然后設置下右邊的 hadoop 根目錄 均可以查看到一些信息 假如這個 28:50070 沒有的話說明插件沒安裝成功！ 3.切換到 Map/Reduce 視圖： 扇CMS Repo5itory Exploring & Debog lij Database Development 爭Debug Java J Java Brewsing ? Java EE (deffluk Java Type Hierarchy JavaSc

9、ri pt “PA 山Map/Reduce Planning 企 Plug-in Development 下面有個黃色的大象： Tasks 徊 Javadoc Map/Reduce Lccations Master node i | L New H訝dqap 甘tioris 為 Edit Hadoop tcc-tior. 育 Delete 4.右擊新建一個 hadoop 地址 IJser name:妙伊 把紅框的都填下: Map/Reduce host port: 這 2 個是要根據 conf/mapred-site.xml 這個來定的 DFS Master port : 這個是對應你 con

10、f/core-site.xml 這個文件中 這個 屬性的值 右邊的Advanced parameters 就不用改了! 完成后再看工程視圖： | _t Project Explorer 富 _ = |奇 DFS Lgatk)n&| -* M hadoop t & (1 一步一步展開 DFS Locations General Advanred paranneters Location name： hadccp DPS Master J U&e* M/R Master host Host! Port; Location name : 這個隨

11、便寫個 SOCKS proxy 當出現ConnectException 異常時，只要檢查下你寫的地址跟端口是否跟 hadoop 配置文 件中一樣即可！ 5.連接成功之后類似這個樣子: Proj ect Exp lore r 臼免 | 丁 77 口 口 # 土 DFS Locations J hadoop -& B home (1) J & wys (1) J 心 Docunnenti (1) # B tmp (1) J 歸 mapred & system (1) J o btra cker. i nfo (4.0 艮 rlj 6.新建一個 MapReduce Proje

12、ct 把 hadoop-1.0.4srcexamplesorgapachehadoopexamplesWordCount.java 制到你的工程 7.在eclipse里，創建遠程目錄命名為 wordCount ,建完之后刷新就可以看到了 J W (1) A L Document 己 Unp fit i i. - 。口惘n!gd from DFS.” j Cre ate new d ire-ctary. 1Upload files to DFS cop Upload directory to DFSu. 。Refresh M DM依 8.然后從本地上傳一個 word.txt文件J Documen

13、ts (1) LT tmp L3 mapred n，wqrrlr rrurrt CfTl - Download from DF5,“ Create new direclory . Upload filss tc DFS. Unload directory to DFS,. Refresh Delete word.txt 內容： java c+ python c java c+ javascript helloworld hadoop mapreduce java hadoop hbase 當出現 node.SafeModeEx

14、ception: 異常，這時就 要把 hadoop 安全模式關閉，命令：hadoop dfsadmin -safemode leave 9.上傳之后run as WordCount.java 記得帶上參數，用空格隔開 Mame： Word Count O Nain (x)= Arguments jJlJRE 丁 Classpath華 DurtE Environment L Program arguments； h d f寶 /192.16S.116.12E: 9000/h o me/wys/Oocu mentt /t m p/wor d Coe nt/wo rd.bd h dfs! 19 2.

15、16 盅 1152 也 SOOO/h。tne-vys/ Do cu ments /t m p/word Count/out Variables., 這個時候會出現 Exception in thread main java.io.IOException: Failed to set permissions of path: tmphadoop-wysmapredstagingwys1479426331.staging to 0700 異常，是因為沒有權限，網上說替換 hadoop-core-xx.jar 包中的 org.apache.hadoop.fs.FileUtil.class 文件，除此

16、之外我還沒找到其他的方法了! 文件地址：FileUtil 10.替換之后刷新工程，再次執行 WordCount.java 文件 當控制臺打印下面這些說明已經執行成功! 再看 DFS Locations 下面會多出來一個文件夾和 2個文件， J 4 tmp 日 maprd (1) & gyHern (1) & wordCount (2) J &聶 邕.SUCCESS (0,0 b. r3) 宣 paFrr-00000781,0 b?r9) 2 word.txi (83.0 b. r3) 打開part-r-00000 文件這個就是你想要的: I I hdfs:/719N15

17、8,115,1 蹈歸00O/ho me/s/Documents/tmpAvordCount/auVp 目rt-r-CKKXX) S3 13/E1/10 1VE1/19 13/01/10 L3/01/10 LJ/ei,13 1 13/61/10 J VE l/10 u/ei/10 13/1/13 13/01/10 ivei/ 13/01/10 13/01/10 13/P1/10 13/01/10 13/01/10 ay頑 ： 心 09;32;42 09:32:42 09:32:42 09:32=42 09:3?:42 89:32:42 09:32:42 0i9:J2:42 09:32:42 09

18、:32:42 09:32:42 09;32： ：42 39:31:42 32:42 99:32:42 09:32:42 B9:32-4? 明；3,42 09:32： ：v2 IN1-0 INFO INFO INFO INTO INFO INFO INK) INFO IIUO INFO INFO TNFO INFO JHFQ INFO 1MP0 INFO INTO INFO INFO INFO mprwd. JobCJient: ikipred. JobClintz tuprcd.JD&Client: wpr 7obC)lent: tuprcd. JobClient: naprd. DobClint na口 red. JobClient: 伯 pr也 dL JsbCli&nti iidpfed. Julient; naprd. JcbCli&nt: iwpr etl. JobCHent: napred.JobCli&nt: mprd. QbCl 1 ent r napred.JobClient: ii 叩Ed- JpbCli&nt: mapred. JobCli