1、WARN util.NativeCoader: Unable to load native-hadoop library for your platform. using builtin-java classes where applicable主從機構主：jobtracker從：tasktracker四個階段：1、 Split2、 Mapper：key-value（對象） 3、 Shufflea)分區（partition，HashPartition：根據 key 的 hashcode 值 和 Reduce 的數量 模運算），可以自定義分區，運算速度要快。一定要解決數據傾斜和 reduce 的

2、負載均衡。b)排序：默認按照字典排序。partor（比較）合并：減少當前 mapper 輸出數據，根據 key 相同（比較），把分組（key 相同（比較），value 組成一個集合）（merge）4、 Reducea)輸入數據：key + 迭代器value 進行合并。Hadoop2.5 HA 搭建四臺機器：hadoop1，hadoop2，hadoop3，hadoop41.core-site.xmlfs.defaultFShdfs:/bjsxtha.zookeeper.quorumhadoop1:2181,hadoop2:2181,hadoop3:2181NNDNZKZKFCJNRMNM（任務管

3、理）Hadoop1YYYHadoop2YYYYYYYHadoop3YYYYHadoop4YYYhadoop.tmp.dir/op hdfs-site.xmldoop2.dameservibjsxtnodes.bjsxtnn1,nn2damenodc-address.bjsxt.nn1hadoop1:8020damenodc-address.bjsxt.nn2hadoop2:8020damenode.http-address.bjsxt.nn1hadoop1:50070damenode.http-address.bjsxt.nn2hadoop2:50070damenode.shared.edit

4、s.dirqjournal:/hadoop2:8485;hadoop3:8485;hadoop4:8485/t.failovvider.bjsxte.node.ha.ConfiguredFailovroxyProvider/valudfs.ha.fencing.methodssshfencedfs.ha.fencing.ssh.private-key-files/root/.ssh/id_dsadfs.journalnode.edits.dir/opdoop/datadfs.ha.automatic-failover.enabledtrue準備 zookeeper三臺 zookeeper：ha

5、doop1，hadoop2，hadoop3編輯 zoo.cfg 配置文件3.修改 dataDir=/opt/zookeeper server.1=hadoop1:2888:3888 server.2=hadoop2:2888:3888server.3=hadoop3:2888:3888i.ii.c)在 dataDir 目錄中創建一個 myid 的文件，文件內容為 1，2，3配置 hadoop 中的 slaves啟動三個 zookeeper：./zkServer.sh start啟動三個 JournalNode：./hadoop-daemon.sh start journalnode.8.在其中一個 namenode 上格式化：hdamenode -format把剛剛格式化之后的元數據拷貝到另外一個 namenode 上a)啟動剛剛格式化的 namenode :hadoop-daemone.sh start namenode在沒有格式化的 namenode 上執行：hd啟動第二個 namenode在其中一個 namenode 上初始化 zkfc