第四章Hadoop基礎操作1HDFS基礎操作目錄學習查看Hadoop集群2運行單個MapReduce任務3管理多個MapReduce任務4查看Hadoop集群信息存儲系統信息在WEB瀏覽器的地址欄輸入“http://master:50070/”查看Hadoop集群信息存儲系統信息hdfsdfsadmin-report[-live][-dead][-decommissioning]

在集群服務器的終端，輸入相關的查詢命令“hdfsdfsadmin-report”就可以獲得。hdfsdfsadmin-report命令的基本格式如下。各個子選項的用法說明如下。-report：輸出文件系統的基本信息及相關數據統計。-report-live：輸出文件系統中在線節點的基本信息及相關數據統計。-report-dead：輸出文件系統中失效節點的基本信息及相關數據統計。-report-decommissioning：輸出文件系統中停用節點的基本信息及相關數據統計。通過命令查詢集群信息：查看Hadoop集群信息數據節點信息查看Hadoop集群信息計算資源信息在瀏覽器的地址欄輸入“http://master:8088/cluster/nodes”1HDFS基礎操作目錄學習查看Hadoop集群2運行單個MapReduce任務3管理多個MapReduce任務4Hadoop命令—HDFS常用shell命令1.查看集群數據節點：#hdfsdfsadmin-reportHadoop命令—HDFS常用shell命令2.查看hadoop相關信息#hadoopHadoop命令—HDFS常用shell命令3.查看hdfs相關信息#hdfsHadoop命令—HDFS常用shell命令4.查看hdfs或hadoop子命令的幫助信息，如ls子命令#hdfsdfs/hdfsdfs-helpls/hadoopfs-helplsHadoop命令—HDFS常用shell命令5.查看指定目錄下內容

命令：hadoopfs/hdfsdfs-ls[-h][-R][<path>...]path指定目錄路徑 -h人性化顯示文件size -R遞歸查看指定目錄及其子目錄#hadoopfs-ls[-h][-R][<path>...]Hadoop命令—HDFS常用shell命令6.創建規劃目錄

命令:hadoopfs/hdfsdfs-mkdir[-p]<path>...

path為待創建的目錄 -p選項的行為與Unixmkdir-p非常相似，它會沿著路徑創建父目錄。#

hadoopfs-mkdir[-p]<path>...Hadoop命令—HDFS常用shell命令7.上傳文件到指定目錄下（1）

命令:hadoopfs/hdfsdfs-put[-f][-p]<localsrc>...<dst>-get下載指定文件：從hdfs端下載到本地-put上傳指定文件：將本地文件上傳到hdfs端 -f覆蓋目標文件（已存在下）

-p保留訪問和修改時間，所有權和權限。 localsrc本地文件系統（客戶端所在機器） dst目標文件系統（HDFS）#

hadoopfs-put[-f][-p]<localsrc>...<dst>-getHadoop命令—HDFS常用shell命令7.上傳文件到指定目錄下（2）命令：hadoopfs/hdfsdfs-moveFromLocal<localsrc>...<dst>和-put功能意義，只不過上傳結束，源數據會被刪除#

hadoopfs-moveFromLocal<localsrc>...<dst>Hadoop命令—HDFS常用shell命令8.查看HDFS文件內容（1）

命令：hadoopfs/hdfsdfs-cat<src>...讀取指定文件全部內容，顯示在標準輸出控制臺。注意：對于大文件內容讀取，慎重。#

hadoopfs-cat<src>...查看HDFS文件內容（2）命令：hadoopfs-head<file>查看文件前1KB的內容。#

hadoopfs-head<file>Hadoop命令—HDFS常用shell命令8.查看HDFS文件內容（3）命令：hadoopfs/hdfsdfs-tail[-f]<file>查看文件最后1KB的內容-f選擇可以動態顯示文件中追加的內容#

hadoopfs-tail[-f]<file>Hadoop命令—HDFS常用shell命令9.下載HDFS文件（1）命令：hadoopfs/hdfsdfs-get[-f][-p]<src>...<localdst>下載文件到本地文件系統指定目錄，localdst必須是目錄-f覆蓋目標文件（已存在下）-p保留訪問和修改時間，所有權和權限。#

hadoopfs-get[-f][-p]<src>...<localdst>Hadoop命令—HDFS常用shell命令9.合并下載HDFS文件（2）命令：hadoopfs/hdfsdfs-getmerge[-nl][-skip-empty-file]<src><localdst>下載多個文件合并到本地文件系統的一個文件中。-nl選項表示在每個文件末尾添加換行符#

hadoopfs-getmerge[-nl][-skip-empty-file]<src><localdst>Hadoop命令—HDFS常用shell命令10.拷貝HDFS文件命令：hadoopfs/hdfsdfs-cp[-f]<src>...<dst>（是從hdfs的一端拷貝到hdfs的另一端）-f覆蓋目標文件（已存在下）#

hadoopfs-cp[-f]<src>...<dst>Hadoop命令—HDFS常用shell命令11.追加數據到HDFS文件中命令：hadoopfs/hdfsdfs-appendToFile<localsrc>...<dst>將所有給定本地文件的內容追加到給定dst文件。dst如果文件不存在，將創建該文件。如果<localSrc>為-，則輸入為從標準輸入中讀取。#

hadoopfs-appendToFile<localsrc>...<dst>Hadoop命令—HDFS常用shell命令13.查找文件findHadoop命令—HDFS常用shell命令14.查看HDFS磁盤空間命令：hadoopfs/hdfsdfs-df[-h][<path>...]顯示文件系統的容量，可用空間和已用空間Hadoop命令—HDFS常用shell命令15.查看HDFS文件使用的空間量命令：hadoopfs/hdfsdfs-du[-s][-h]<path>...-s：表示顯示指定路徑文件長度的匯總摘要，而不是單個文件的摘要。-h：選項將以“人類可讀”的方式格式化文件大小.Hadoop命令—HDFS常用shell命令16.HDFS數據移動操作命令：hadoopfs/hdfsdfs-mv<src>...<dst>移動文件到指定文件夾下可以使用該命令移動數據，重命名文件的名稱.1HDFS基礎操作目錄學習查看Hadoop集群2運行單個MapReduce任務3管理多個MapReduce任務4運行單個MapReduce任務

示例程序包hadoop-mapreduce-examples-2.7.6.jar運行單個Mapreduce任務模塊名稱內容multifilewc統計多個文件中單詞的數量。pi應用quasi-MonteCarlo算法來估算圓周率π的值。randomtextwriter在每個數據節點隨機生成1個10GB的文本文件。wordcount對輸入文件中的單詞進行頻數統計。wordmean計算輸入文件中單詞的平均長度。wordmedian計算輸入文件中單詞長度的中位數。wordstandarddeviation計算輸入文件中單詞長度的標準差。示例程序包hadoop-mapreduce-examples-2.7.6.jar運行單個Mapreduce任務hadoopjar用法：執行Jar文件運行單個MapReduce任務

實例：hadoopjarhadoop-mapreduce-examples-2.7.6.jarpi10100(計算圓周率的值）1HDFS基礎操作目錄學習查看Hadoop集群2運行單個MapReduce任務3管理多個MapReduce任務4管理多個Mapreduce任務查詢MapReduce任務在瀏覽器輸入：“http://master:8088”管理多個Mapreduce任務查詢MapReduce任務提交一個任務后：它的狀態值為“RUNN