基礎環境搭建與配置主講：李強項目介紹Linux，全稱GNU/Linux，是一套免費使用和自由傳播的類Unix操作系統，是一個基于POSIX的多用戶、多任務、支持多線程和多CPU的操作系統。Linux不僅系統性能穩定，而且是開源軟件，其核心防火墻組件性能高效、配置簡單，保證了系統的安全。由于Linux操作系統在安全性、穩定性等方面的優秀表現，在服務器領域承擔著十分重要的角色，另外更重要的是因為Linux開放權限，讓用戶能自由地操作Linux系統，在命令運行錯誤時能根據錯誤提示找到原因，所以一般Hadoop環境部署在Linux操作系統上。在Linux操作系統中，當今最受歡迎的主流免費操作系統當屬Ubuntu和CentOS。項目介紹Ubuntu是一個以桌面應用為主的Linux操作系統；CentOS是一款企業級Linux發行版，它使用紅帽企業級Linux中的免費源代碼重新構建而成。對于初學者來說CentOS更適合入門，筆者經過一些比較和調研后，建議選擇CentOS操作系統。本項目的主要目標為提供一個搭建Hadoop大數據平臺部署的基礎環境的指南，由于本手冊教材主要面向應用型和職業教育類的學生，所以本項目將介紹在Windows操作系統上如何搭建平臺需要的三個節點的CentOS虛擬機環境和SSH工具連接虛擬機，以及如何進行Hadoop平臺安裝部署所需要的基礎環境配置。任務安排和學習目標任務安排任務1搭建虛擬機任務2連接Xshell和Xftp工具任務3Hadoop平臺基礎環境配置學習目標（1）熟悉虛擬機的搭建和配置。（2）熟悉Xshell和Xftp工具連接。（3）掌握系統基礎環境配置。（4）掌握SSH免密配置。（5）掌握JDK的安裝與配置。1.1搭建虛擬機任務描述本手冊的任務是學習Hadoop完全分布式集群環境部署和其生態圈主要組件的安裝配置和應用，由于在Hadoop環境中，所有的服務器節點僅劃為兩種角色，分別是master（主節點，1個）和slave（從節點，多個），因為當Hadoop集群數為（2n+1）時容錯性能是較好的，又考慮到大部分讀者的電腦配置條件，所以集群數定為（n=1）3節點，即集群架構包含一個主節點和兩個從節點，節點基本信息如表1-1所示。其中IP地址請參考任務1.1.3，根據本地實際情況設置。表1-1集群節點信息本任務將完成在Windows操作系統上搭建Hadoop完全分布式集群平臺需要的三個節點的CentOS虛擬機。序號主機名IP1master192.168.88.1812slave1192.168.88.1823slave2192.168.88.183表1-1集群節點信息任務分析要求讀者本地基本配置為Windows7或以上操作系統（64位）、8GB+內存、100GB+可用磁盤。本任務利用虛擬機軟件先創建master節點的虛擬機，并進行基本的網絡配置；在master節點的基礎上克隆slave1和slave2，并進行相應的網絡配置修改，以便SSH遠程終端工具能夠正常連接訪問。1.1安裝虛擬機軟件虛擬機軟件可以在計算機平臺和終端用戶之間建立一種環境，而終端用戶則是基于這個軟件所建立的環境來操作軟件。常用虛擬機軟件有：VirtualBox，VMwareWorkstation，VirtualPC等，其中VMwareWorkstation是一款功能強大的電腦桌面虛擬計算機軟件，提供用戶可在單一的桌面上同時運行不同的操作系統，和進行開發、測試、部署新的應用程序的最佳解決方案。VMwareWorkstation可在一部實體機器上模擬完整的網絡環境，以及可便于攜帶的虛擬機器，其更好的靈活性與先進的技術勝過了市面上其他的虛擬計算機軟件。本任務選擇VMwareWorkstationPro16作為虛擬機安裝軟件，讀者可以在官網下載。雙擊安裝包如圖1-1所示，開始安裝。圖1-1虛擬機軟件1.1安裝虛擬機軟件加載一會時間后進入安裝頁面，如圖1-2所示，單擊【下一步】按鈕。圖1-2虛擬機軟件安裝過程11.1安裝虛擬機軟件在如圖1-3所示中，選擇【我接受許可協議中的條款】，然后單擊【下一步】按鈕。圖1-3虛擬機軟件安裝過程21.1安裝虛擬機軟件在如圖1-4所示中，可以單擊右上角的【更改...】設置軟件安裝的路徑，建議安裝在非系統盤下，具體路徑讀者自行設置，如果默認目錄安裝可以直接單擊【下一步】按鈕。圖1-4虛擬機軟件安裝過程31.1安裝虛擬機軟件在如圖1-5所示中，將用戶體驗設置均取消，單擊【下一步】按鈕，在下一個窗口上直接單擊【下一步】按鈕，在下一個窗口上，單擊【安裝】按鈕，開始軟件的安裝過程。圖1-5虛擬機軟件安裝過程41.1安裝虛擬機軟件圖1-6虛擬機軟件安裝過程5等待安裝過程結束出現如圖1-6所示，單擊【完成】按鈕完成軟件的安裝。1.2安裝master節點虛擬機1.2安裝master節點虛擬機在程序菜單中打開VMware16虛擬機，出現使用界面如圖1-7所示，在頁面上選擇【創建新的虛擬機】。圖1-7虛擬機創建過程11.2安裝master節點虛擬機配置類型選擇如圖1-8所示，在圖中選擇【典型(推薦)】，再單擊【下一步】按鈕。圖1-8虛擬機創建過程21.2安裝master節點虛擬機出現安裝客戶機操作系統頁面如圖1-9所示，在安裝客戶機操作系統頁面上，選擇【安裝程序光盤映像文件(iso)】，并單擊【瀏覽】。圖1-9虛擬機創建過程31.2安裝master節點虛擬機進入選擇光盤文件的頁面選擇安裝CentOS操作系統用的ISO文件，如圖1-10所示，在圖中的文件路徑中選擇光盤ISO文件所在的目錄，選擇光盤ISO文件后回到圖1-9的頁面上，單擊【下一步】按鈕。圖1-10虛擬機創建過程41.2安裝master節點虛擬機如果光盤文件有效，在下面會出現“已檢測到CentOS764位”信息，如圖1-11所示，單擊【下一步】按鈕。圖1-11虛擬機創建過程51.2安裝master節點虛擬機進入到虛擬機命名頁面如圖1-12所示，在名稱那里輸入“master”，在位置那里輸入master虛擬機文件要存儲的目錄，筆者在本地E盤，創建了一個\hadoopbigdata的目錄，并在該目錄下創建了master、slave1和slave2文件夾，此處選擇master文件夾，單擊【下一步】按鈕。圖1-12虛擬機創建過程61.2安裝master節點虛擬機進入虛擬機磁盤容量設置頁面如圖1-13所示，選用建議的20GB大小，并選擇【將虛擬機磁盤拆分成多個文件】，單擊【下一步】按鈕。圖1-13虛擬機創建過程71.2安裝master節點虛擬機進入虛擬機按照概要文件頁面如圖1-14所示，可以看到前面配置的相關信息，如虛擬機的名稱和文件路徑名稱等，單擊【完成】按鈕。圖1-14虛擬機創建過程81.2安裝master節點虛擬機開始虛擬機的安裝過程，這個過程視讀者的系統情況時間會不同，等安裝配置到出現如圖

1-15所示的窗口，選擇語言為【中文】，然后單擊【繼續】。圖1-15虛擬機創建過程91.2安裝master節點虛擬機此時安裝程序會進行一個簡短的加載過程后，出現如圖1-16所示的頁面，現在發現右下角的【開始安裝】按鈕為灰色無效狀態，在頁面上選擇【日期和時間】進入下一個頁面。圖1-16虛擬機創建過程101.2安裝master節點虛擬機在如圖1-17所示的頁面上進行時區和時間的設置，注意對比日期和時間是否與本地同步，如不同步請修改調整，修改后單擊【完成】按鈕退出該頁面。圖1-17虛擬機創建過程111.2安裝master節點虛擬機回到如圖1-16所示的主頁面上后往下滑動，如圖1-18所示，選擇【安裝位置】進入下一個頁面。圖1-18虛擬機創建過程121.2安裝master節點虛擬機在如圖1-19所示頁面上，直接單擊【完成】按鈕。回到如圖1-16所示的主頁面上，經過前面的幾項設置，如圖1-20所示的頁面右下角的【開始安裝】按鈕變成了藍色有效狀態，單擊【開始安裝】。圖1-19虛擬機創建過程131.2安裝master節點虛擬機單擊如圖1-20所示【開始安裝】后進行安裝圖1-20虛擬機創建過程141.2安裝master節點虛擬機如圖1-21所示，這個過程大概需要幾分鐘到幾十分鐘不等，在這個過程中，可以單擊【ROOT密碼】設置默認root用戶的登錄密碼。圖1-21虛擬機創建過程151.2安裝master節點虛擬機在如圖1-22所示的界面上，兩次輸入同一個root用戶的密碼，筆者這里設為“master”，單擊【完成】按鈕，回到安裝過程頁面繼續等待安裝。

圖1-22虛擬機創建過程161.2安裝master節點虛擬機安裝完成后，出現如圖1-23所示，單擊【重啟】，即可進入虛擬機節點的設置任務。圖1-23虛擬機創建過程171.3master節點的網絡配置1.3master節點的網絡配置創建的master節點虛擬機雖然可以正常使用了，但是該虛擬機的IP是動態生成的，再不斷的開停過程中很容易改變，不利于實際應用，因此需要對網絡環境進行配置。1．登錄系統接1.1.2小節，重啟后，出現如圖1-24所示，頁面上【localhostlogin：】表示輸入登錄的用戶，這里輸入默認的root用戶，然后回車；會提示【Password：】，表示輸入上一個任務鐘所設置的密碼，本手冊這里為：“master”，請初學者特別注意，這里輸入密碼，光標不會動，也不會顯示輸入的密碼，請在輸入完整的密碼后回車，如果輸入錯誤會提示重新輸入用戶和密碼。圖1-24master登錄首頁1.3master節點的網絡配置2．查看網絡配置信息輸入正確用戶密碼后，進入到Linux的交互終端，選擇菜單【編輯】中的【虛擬網絡編輯器】，如圖1-25所示。圖1-25虛擬機配置頁面1.3master節點的網絡配置進入如圖1-26所示的【虛擬網絡編輯器】頁面，在虛擬網絡編輯器頁面上，選擇圖中的VMnet8NAT模式，這時候，下面會顯示子網IP，筆者本地是：（后面配置中會參考這個，請讀者記下本地的子網IP信息，后面的設置中據此進行調整）。圖1-26虛擬網絡編輯器1.3master節點的網絡配置3．設置節點IP地址在master節點，輸入【servicenetworkrestart】重啟網絡，結果如圖1-27所示。修改IP地址命令如代碼1-1所示。代碼1-1修改IP命令vi/etc/sysconfig/network-scripts/ifcfg-ens33圖1-27master設置頁面1.3master節點的網絡配置執行代碼1-1，如果打開的是一個空白的文件，說明地址或文件名出入錯誤，請退出后重新輸入；輸入正確會出現如圖1-28所示的網絡配置信息。圖1-28masterIP設置頁面1.3master節點的網絡配置進入配置文件后，修改內容如表1-2所示，其中“192.168.88”請改為讀者自己在上一節中記下的本地信息，如第2節中子網IP是“”，那么此處的IPADDR就改為“81”，GATEWAY就設為“”。保存配置文件后，再次輸入【servicenetworkrestart】重啟網絡，如果沒有提示出錯，輸入【ipa】命令回車執行，可以在顯示的內容中找到如圖1-29所示中的：“81”的IP地址，說明IP地址配置成功。圖1-29masterIP查詢頁面表1-2IP設置修改內容#將下面兩項的配置進行修改：BOOTPROTO=staticONBOOT=yes#在文件末尾添加以下內容：IPADDR=81NETMASK=GATEWAY=DNS1=1.4克隆Slave節點克隆slave1節點將master虛擬機關機，并雙擊master節點之后，右擊master節點，在右擊菜單中選擇【管理】，然后選擇【克隆】，如圖1-30所示。圖1-30slave1虛擬機克隆1克隆slave1節點進入到如圖1-31所示頁面，選擇【虛擬機中的當前狀態】，單擊【下一頁】。在如圖1-32所示的頁面上選擇【創建完整克隆】，單擊【下一頁】。圖1-31slave1虛擬機克隆2圖1-32slave1虛擬機克隆3克隆slave1節點將虛擬機名稱改為slave1，單擊位置輸入框后的【瀏覽】，進入到虛擬機存放的路徑下，讀者本地為“E:\hadoopbigdata\slave1”的文件夾，然后確定使用該文件夾，效果如圖1-33所示，然后單擊【完成】按鈕。圖1-33slave1虛擬機克隆4克隆slave1節點克隆虛擬機很快，完成后在左邊的節點導航中出現了slave1節點，如圖1-34所示。圖1-34slave1虛擬機克隆5克隆slave1節點開啟slave1虛擬機，并使用root用戶和密碼（跟master節點一致）登錄slave1，參考master節點設置IP的方法設置slave1的IP地址。修改IP地址命令