第三章Hadoop集群的搭建及配置1搭建完全分布式集群目錄搭建偽分布式集群2偽分布式集群搭建準備工作：1.Linux操作系統搭建完好。2.PC機、服務器、環境正常。3.搭建Hadoop需要的軟件包（hadoop-2.7.6、jdk1.8.0_171）。偽分布式模式：存儲采用分布式文件系統HDFS，但是，HDFS的名稱節點和數據節點都在同一臺機器上；偽分布式集群搭建步驟1：1、關閉防火墻systemctlstopfirewalld.service永久關閉防火墻systemctldisablefirewalld.service查看防火墻systemctlstatusfirewalld.service2、上傳安裝包并解壓使用rz上傳壓縮包至master的/opt/soft/（根據實際情況來）cd/opt/soft/packages/（需要事先創建packages目錄）3、解壓tar-zxvfhadoop-2.7.6.tar.gz-C/opt/soft/tar–zxvfjdk-8u171-linux-x64.tar.gz–C/opt/soft偽分布式集群搭建步驟2：1、配置環境變量vim/etc/profileJAVA_HOME=/opt/soft/jdk1.8.0_171HADOOP_HOME=/opt/soft/hadoop-2.7.6ExportPATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH2、重新加載環境變量source/etc/profile偽分布式集群搭建步驟3（修改Hadoop配置文件）：1、vim編輯hadoop-env.sh，追加以下內容：exportJAVA_HOME=/opt/soft/jdk1.8.0_171exportHDFS_NAMENODE_USER=root

exportHDFS_DATANODE_USER=root

exportHDFS_SECONDARYNAMENODE_USER=root

exportYARN_RESOURCEMANAGER_USER=root

exportYARN_NODEMANAGER_USER=root

2、vim編輯core-site.xml，修改以下配置：<property><name>fs.defaultFS</name><value>hdfs://master:9000</value></property><property><name>hadoop.tmp.dir</name><value>/opt/soft/hadoop-2.7.6/tmp</value></property><property><name>erval</name><value>1440</value></property>偽分布式集群搭建步驟3（修改Hadoop配置文件）：3、vim編輯hdfs-site.xml，修改以下配置：<property><name>dfs.replication</name><value>1</value></property><property><name>dfs.permissions</name><value>false</value></property>

4、vim編輯mapred-site.xml.template：

重命名：cpmapred-site.xml.templatemapred-site.xml，并且修改以下配置：<property><name></name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>master:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>master:19888</value></property>偽分布式集群搭建步驟3（修改Hadoop配置文件）：5、vim編輯hdfs-site.xml，修改以下配置：<property><name>dfs.replication</name><value>1</value></property><property><name>dfs.permissions</name><value>false</value></property>6、slavesmaster偽分布式集群搭建步驟4：1、執行名稱節點格式化hdfsnamenode-format2、啟動Hadoopstart-dfs.sh3、Hadoop啟動完成后，可以通過如下命令來判斷是否成功啟動jps1搭建完全分布式集群目錄搭建偽分布式集群2完全分布式搭建準備工作：1.Linux操作系統搭建完好。2.PC機、服務器、環境正常。3.搭建Hadoop需要的軟件包（hadoop-2.7.6、jdk1.8.0_171）。4.搭建三臺虛擬機。（master、node1、node2）存儲采用分布式文件系統HDFS，而且，HDFS的名稱節點和數據節點位于不同機器上。

完全分布式搭建一、修改Hadoop配置文件：1.core-site.xml<property><name>fs.defaultFS</name><value>hdfs://master:9000</value></property><property><name>hadoop.tmp.dir</name><value>/opt/soft/hadoop-2.7.6/tmp</value></property><property><name>erval</name><value>1440</value></property>2.hadoop-env.shexportJAVA_HOME=/opt/soft/jdk1.8.0_1713.*hdfs-site.xml<property><name>dfs.replication</name><value>3</value></property><property><name>dfs.permissions</name><value>false</value></property>完全分布式搭建4.mapred-site.xml.template重命名文件cpmapred-site.xml.templatemapred-site.xml修改配置文件<property><name></name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>master:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>master:19888</value></property>5.yarn-site.xml<property><name>yarn.resourcemanager.hostname</name><value>master</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.log-aggregation-enable</name><value>true</value></property><property><name>yarn.log-aggregation.retain-seconds</name><value>604800</value></property>完全分布式搭建6.slavesmasternode1node2配置文件修改完成完全分布式搭建二、分發配置文件到node1、node2：cd/opt/soft/scp-rhadoop-2.7.6/node1:`pwd`scp-rhadoop-2.7.6/node2:`pwd`三、格式化namenode（第一次啟動的時候需要執行）hdfsnamenode-format四、啟動Hadoop集群start-all.sh五、檢查master、node1、node2上的進程六、關閉Hadoop集群stop-all.shHadoop安裝目錄解讀執行命令配置文件日志文件啟動命令軟件jar包Hadoop集群—文件監控http://master:50070Hadoop集群—文件監控http://master:50070Hadoop集群—文件監控http://master:50070Hadoop集群—文件監控http://master:50070Hadoop集群—文件監控http://master:50070Hadoop集群—文件監控http://master:50