1.安裝完成Cloudera大數據平臺環境搭建CDH5.13.1版）版本vl.O作者郭維忠發布日期2018-03-10目錄基礎環境軟件環境配置規劃』所需要的軟件資源修改機器名（所有節點）設置防火墻（所有節點）配置免密碼登錄SSH17關閉SELTNUX（所有節點）1.8.修改Linux內核參數（所有節點）亠其他安裝與配置（所有節點）110.配置NTP月服務安裝oracleJDK1.8（所有節點）Mysql安裝（主節點）安裝CM傳包，解包2^創建數據庫創建用戶制作本地YUM源拷貝jar包修改cloudera—scm—agent配置啟動CMServer和Agent訪問CM安裝CDH登錄后界面選擇CM版‘本指定主機選擇CDH版本出現“主機運行狀態不良”錯誤檢查主機正確性選擇安裝的服務角色分配數據庫設置測試連接報錯：群集設置開始安裝警告信息：常見錯誤—初始化數據庫錯誤：4.2一未能連接到HostMonitor基礎環境軟件環境本文將介紹Centos7.4離線安裝CDH和ClouderaManager過程，軟件版本如下：NO.軟件名稱版本1.操作系統Centos7.464位2.JDKjdk-8ul51-linux-x643.ClouderManager5.13.14.CDH5.13.15.數據庫Mysql5.76.JDBCmysql—connector—java—.jar配置規劃本次安裝共5臺服務器，服務器配置及用途如下NO.機器名稱內網IP配置用途1.node1688C/32Gb/1TB主，CM，MysqlDB2.node16998C/32Gb/1TB從3.node170708C/32Gb/1TB從4.node171718C/32Gb/1TB從5.node172728C/32Gb/1TB從所需要的軟件資源JDK環境：JDK版本：51jdk-8u151-linux-x64.rpm下載地址：CM包：CM版本：5.13.1下載地址：CDH包CDH版本：5.13.1，.sha1；manifest.json下載地址：JDBC連接jar包：jar包版本：5.1.43，mysql-connector-java-5.1.43.jar下載地址：修改機器名(所有節點)修改機器名稱#hostnamectlset-hostnamexxx//設置機器名#hostname//查看本機名這種方式，在Centos7中可以永久性改變主機名稱。每個節點機器，都要配置hosts#vi/etc/hosts內容都改為：llocalhost//建議保留此行nodel68node169nodel70nodel71nodel72設置防火墻（所有節點）注：為了簡便，可以先關閉防所有節點火墻，安裝完成后，再按照下面步驟設置。防火墻常用命令：#firewall-cmd--state（查詢防火墻狀態）#systemctlstopfirewalld.service（關閉防火墻）#systemctlstartfirewalld.service（開啟防火墻）#systemctldisablefirewalld.service（禁止firewall開機啟動）設置防火墻策略，在所有節點執行下面腳本（執行前要啟動防火墻）://集群機器間可以相互訪問firewall-cmd一permanent一add-rich-rule="rulefamily='ipv4'sourceportprotocol二'tcp'port二'0-65535'accept"firewall-cmd--permanent--add-rich-rule二"rulefamily二'ipv4'sourceportprotocol二'tcp'port二'0-65535'accept"firewall-cmd--permanent--add-rich-rule二"rulefamily二'ipv4'sourceportprotocol二'tcp'port二'0-65535'accept"firewall-cmd--permanent--add-rich-rule二"rulefamily二'ipv4'sourceportprotocol二'tcp'port二'0-65535'accept"firewall-cmd--permanent--add-rich-rule二"rulefamily二'ipv4'sourceportprotocol二'tcp'port二'0-65535'accept"http://設置可以訪問的端口firewall-cmd--permanent--add-port=0-65535/tcpfirewall-cmd—reload注意：需要在所有的節點上執行，因為涉及到的端口太多了，臨時開放所有端口是為了安裝起來方便，安裝完畢后可以根據需要設置防火墻策略，保證集群安全。配置免密碼登錄SSH將子節點設置為從主節點ssh無密碼登陸（主節點訪問從節點需要無密碼互通，否則后面會出現問題）在主節點上執行：#cd~//進入到根目錄#ssh—keygen-trsa一路回車，生成無密碼的密鑰對。把公鑰拷貝至node169服務器上？:〔輸入node169〔輸入node169機器上root用戶密碼拷備成功登錄到node169服務器上:然后在node169服務器上，把公鑰的內容追加到authorized_keys文件末尾（這個文件也在隱藏文件夾.ssh下，如果沒有可以新建）：#catid_rsa.pub〉〉~/.ssh/authorized_keys如果提示下面信息，則需要創建./ssh目錄：—bash:/root/.ssh/authorized_keys:Nosuchfileordirectory//創建/.ssh目錄，再追加公鑰內容#mkdir~/.ssh#catid_rsa.pub〉〉~/.ssh/authorized_keys并設置authorized_keys的訪問權限：#chmod600~/.ssh/authorized_keys測試：在node168點上執行sshnode169，正常情況下，不需要密碼就能直接登陸進去了。在node168節點出現下面表示成功登錄node169節點：以同樣的方式將公鑰拷貝至其他節點服務器上。關閉SELINUX（所有節點）關閉linuxSELINUX安全內核#setenforceO（臨時生效）修改/etc/selinux/config下的SELINUX=disabled（重啟后永久生效）#vi/etc/selinux/config內容增加：|SELINUX二disabled重啟后生效：#reboot查看SELINUX是否關閉：#sestatus（在Centos7中遇到SELINUX無法關閉的問題，重新啟動機器恢復正常）修改Linux內核參數（所有節點）為避免安裝過程中出現的異常問題，首先調整Linux內核參數。1）設置swappiness，控制換出運行時內存的相對權重,Cloudera建議將swappiness設置為10：//查看swappiness#cat/proc/sys/vm/swappiness//永久性修改，執行下面兩條命令#sysctl—wvm.swappiness=10#echovm.swappiness=10〉〉/etc/sysctl.conf關閉透明大頁面：自CentOS6版本開始引入了TransparentHugePages(THP)，從CentOS7版本開始，該特性默認就會啟用。盡管THP的本意是為提升內存的性能，不過某些數據庫廠商還是建議直接關閉THP，否則可能會導致性能出現下降。首先查看透明大頁是否啟用，[always]never表示已啟用，always[never]表示已禁用：#cat/sys/kernel/mm/transparent_hugepage/defrag[always]madvisenever#cat/sys/kernel/mm/transparent_hugepage/enabled[always]madvisenever以上狀態就說明是啟用的。臨時關閉(重啟機器會變回默認開啟狀態)：#echonever>/sys/kernel/mm/transparent_hugepage/defrag#echonever>/sys/kernel/mm/transparent_hugepage/enabled永久關閉：//編輯/etc/rc.d/rc.local#vi/etc/rc.d/rc.local//在文件后添加下面內容：iftest-f/sys/kernel/mm/transparent_hugepage/enabled;thenechonever>/sys/kernel/mm/transparent_hugepage/enabledfiiftest-f/sys/kernel/mm/transparent_hugepage/defrag;thenechonever〉/sys/kernel/mm/transparent_hugepage/defragfi保存退出，然后賦予rc.local文件執行權限：#chmod+x/etc/rc.d/rc.local重啟系統，以后再檢查THP狀態，顯示狀態被禁用了。3）修改文件句柄數：修改系統文件句柄數限制：//查看文件句柄數，顯示1024，顯然太小#ulimit-n1024//修改限制#vi/etc/security/limits.conf//在文件后加入下面內容：*softnofile100000*hardnofile100000修改后需要重啟機器。其他安裝與配置（所有節點）為避免安裝過程中出現異常問題，安裝相關依賴包：#yum-yinstallpsmiscMySQL-pythonatbcbindTibsbind-utilscups-clientcupsTibscyrus-sasl-gssapicyrus-sasl-plainedfusefuseTibshttpdhttpd-#yuminstall-ypython-lxml#yuminstallkrb5—develcyrus—sasl—gssapicyrus—sasl—develibxml2—devellibxslt—develmysqlmysql—developenldap—develpython-develpython-simpl#chmod+x/etc/rc.d/rc.local#yum—yinstallrpcbind#systemctlstartrpcbind#echo"systemctlstartrpcbind"〉〉/etc/rc.d/rc.local配置NTP服務集群中所有主機必須保持時間同步，如果時間相差較大會引起各種問題。具體建設過程如下：所有節點安裝相關組件：#yum?install??ntp??ntpdate??-yNTP服務端（主節點）：1）查找時間同步服務器：打開網址，內容如下：2）編輯/etc/ntp.conf#vi/etc/ntp.conf〃在文件中輸入上面網頁內容：serverserverserverserver3）啟動ntp服務：#systemctlstart?ntpd4）配置開機啟動：#systemctl?enable??ntpd.service?chronyd?并且是開機自注意：如果ntpd開機啟動失效，有可能是因為安裝了啟狀態，所以導致ntpdchronyd?并且是開機自#查看?chronyd設置狀態#systemctlstatuschronyd顯示如下：以面表明，hd顯示為開機啟動狀態。chronyd將hd設為禁用狀態：chronyd|#systemctldisablechronyd.service此時，NTP的服務開機自啟動完成！5）檢查是否設置成功：#ntpq??-p〃更新時間#timedatectl?NTP客戶端（所有從節點）：6）遠程客戶端時間同步測試#date#ntpdate是NTP服務端IP，顯示如下信息，測試成功：7）客戶端設置計劃任務，每30分鐘同步時間#crontab-e〃加入內容：0-59/30****/usr/sbin/ntpdate&&/sbin/hwclock-w8）設置定時任務開機啟動//設置開機啟動#systemctlenablecrond.service//查看狀態#systemctlstatuscrond1?11?安裝oracleJDK1.8（所有節點）下載rpm安裝包jdk-8u151-linux-x64.rpmCentOS系統一般自帶Openjdk,需要卸載掉自帶的Openjdk,使用#rpm-qa|grepjava查詢java相關的包，使用#rpm-e-nodeps+包名強制卸載掉，下面安裝oralceJDKrpm—ivhjdk—8ul51—linux—x64.rpm配置JAVA_HOME環境變量：修改/etc/profile文件配置環境變量，執行命令:#vi/etc/profile在profile文件最后，輸入下面內容，保存并退出。exportJAVA_HOME=/usrexportPATH=$PATH:$JAVA_HOME/bin執行下面命令，讓配置生效source/etc/profile//使修改立即生效#echo$PATH〃查看PATH值echo$JAVA_HOME〃查看JAVA_HOME值在Centos7中修改/etc/profile文件配置環境變量，機器啟動后有時不生效，可以修改/et。人?口文件配置環境變量:vi#/vi#//etcbashrc〃在文件最后加入：exportJAVA_HOME=/usrexportPATH=$PATH:$JAVA_HOME/bin〃使修改立即生效#source/etc/bashrc〃查看JAVA_HOME值#echo$JAVAHOME1.12.Mysql安裝（主節點）到官網選擇對應安裝包1）下載安裝包按common->libs->client-〉server的順序安裝:#rpm-ivh#rpm-ivh#rpm-ivh#rpm-ivh#rpm-ivh〃安裝下面包，否則Hue安裝報連接錯誤#rpm-ivh4）啟動數據庫#systemctlstartmysqld查看狀態：#systemctlstatusmysqld5）修改MySQL初始密碼1、先修改配置文件/etc/f令MySQL跳過登錄時的權限檢驗，在［mysqld］下加入一行：skip-grant—tables2、重啟MySQL#servicemysqldrestart3、免密碼登錄MySQL。#mysql4、mysql客戶端執行如下命令，修改root密碼mysql>usemysql;mysql>UPDATEuserSETauthentication_string二password（'your-password'）WHEREhost二'localhost'ANDuser二'root';mysql>selecthost,user,authentication_string,password_expiredfromuser;mysql>updateusersetpassword_expired二'N'wherepassword_expired二'Y'/密碼不過期mysql>updateusersethost二'％'whereuser二'root'andhost二'localhost';/遠程可訪問mysql>flushprivileges;〃刷新mysql>exit;〃退出5、修改配置文件/etc/f刪除此前新增那一行skip-grant-tables，并重啟MySQL（這一步非常重要，不執行可能導致嚴重的安全問題）#servicemysqldrestart//重啟Mysql安裝CM傳包，解包在主節點上下載相關軟件包，這里將軟件包下載到/data/cdh/目錄下。#cd/data/cdh下載MysqlJDBC包:#wget#wget.shal#wget將CM解壓到/opt/目錄:#tar-zxvf-C/opt/#ls/opt/clouderacm—5.13.1創建數據庫在主節點上：#mysql-uroot-p//加參數-指定本機方式，否則可能不允許執行grantEnterpassword:\\輸入數據庫密碼//在MariaDB[(none)]〉命令狀態輸入下面腳本：createdatabasehiveDEFAULTCHARSETutf8COLLATEutf8_general_ci;createdatabaseamonDEFAULTCHARSETutf8COLLATEutf8_general_ci;createdatabasehueDEFAULTCHARSETutf8C0LLATEutf8_general_ci;createdatabasemonitorDEFAULTCHARSETutf8COLLATEutf8_general_ci;createdatabaseoozieDEFAULTCHARSETutf8COLLATEutf8_general_ci;grantallprivilegeson*.*toroot@localhostidentifiedby'root'withgrantoption;grantallon*.*toroot@"%"Identifiedby"root";flushprivileges;exit;//復制MysqlJDBC包到/opt/cm-5.13.1/share/cmf/lib/目錄#cp/opt/cm-5.13.1/share/cmf/lib///初始化CM,執行下面腳本#mysqlcm-hnode168-uroot-proot--scm-hostnodel68scmscmscm//如果出現下面錯誤：:Accessdeniedforuser'root'@'localhost'(usingpassword:YES)//解決辦法：在/etc/hosts文件中，加上Ilocalhost.nodel68主節點/etc/hosts內容:腳本/scm_prepare_database.sh執行成功界面：創建用戶在所有節點上執行：#useradd--system--home=/opt/cm-5.13.1/run/cloudera-scm-server--shell二/bin/false--comment"ClouderaSCMUser"cloudera-scm制作本地YUM源在主節點上：//進入軟件包目錄#cd/data/cdh//拷貝三個文件到/opt/cloudera/parcel-repo/目錄#cpCDHmanifest.json/opt/cloudera/parcel-repo///進入/opt/cloudera/parcel-repo/目錄#cd/opt/cloudera/parcel-repo///修改文件名#mv1.cdh此時/opt/cloudera/parcel-repo/目錄下文件：拷貝jar包在所有節點上：//如果沒有/usr/share/java/目錄，則創建#cp/usr/share/java/mysql-connector-java.jar在主節點上：//將mysqlJDBCjar包拷貝到/opt/cm-5.13.1/share/cmf/lib/目錄#cp/opt/cm-5.13.1/share/cmf/lib/修改cloudera-scm-agent配置在主節點上，修改/opt/cm-5.13.1/etc/cloudera-scm-agent/config.ini文件：//將config.iniserver_host二localhost內容改為server_host#sed-i"s/server_host二localhost/server_host/opt/cm-5.13.1/etc/cloudera-scm-agent/config.ini在主節點上：//將cm-5.13.1打包，并復制到其他節點#cd/opt#tarczfcm-5.13.l.tar.gzcm-5.13.1///復制到其他節點#scpcm-5.13.l.tar.gznodel69:/opt/#scpcm-5.13.l.tar.gznodel70:/opt/#scpcm-5.13.l.tar.gznode171:/opt/#scpcm-5.13.l.tar.gznode172:/opt/在所有從節點上解壓：//將cm-5.13.1包解壓#cdopt#tar-xzvfcm-5.13.l.tar.gz//解壓后刪除#rm-rfcm-5.13.l.tar.gz啟動CMServer和Agent在主節點上，啟動cloudera-scm-server：#/opt/cm-5.l3.l/etc/init.d/cloudera-scm-serverstart啟動過程較慢，可通過/opt/cm-5.13.1/log/cloudera-scm-server日志，查看啟動過程。在所有節點上，啟動cloudera-scm-agent：#/opt/cm-5.13.1/etc/init.d/cloudera-scm-agentstart訪問CM地址：主節點IP:7l80用戶名、密碼：admin安裝CDH登錄后界面接受協議：選擇CM版本本文檔選擇ClouderaExpress免費版。指定主機在搜索主機名和IP地址框輸入node[169-172],這里輸入的內容支持正則表達式。輸入后點【搜索】按鈕，出現機器列表：選擇“當前管理的主機“選擇項卡,點【繼續】。選擇CDH版本這里需要選擇制作本地源時的版本,如果選擇別的版本的就會去官網下載,那樣安裝速度會很慢。點【繼續】按鈕,進入安裝界面。3.4.1.出現“主機運行狀態不良”錯誤遇到節點“主機運行狀態不良”的提示,解決辦法是刪除故障節點Agent服務cm_guid文件：|#rm-rfcloudera-scm-agent/cmguid重新啟動故障節點Agent服務：etc/init.d/cloudera-scm-agentrestart重啟故障節點Agent服務后，故障消失：注：出現故障原因是，因為我之前在故障節點啟動過cloudera-scm-agent服務。檢查主機正確性確保全部驗證通過。選擇安裝的服務本文選擇的是安裝所有服務。角色分配這里應該根據實際需求和服務器的硬件參數自己選擇數據庫設置指定的數據庫名稱，要與2.2節創建的數據庫(hive,monitor,oozie,hue)保持一致，并輸入對應的數據庫用戶名和密碼，為了簡便這里用的是root賬號名和密碼。全部輸入完，之后【測試連接】：3.8.1.測試連接報錯：測試連接，Hue測試報錯：Unabletoverifydatabaseconnection：原因是缺少Mysq