1、Transwarp Data Hub Version 4.7安裝手冊星環信息科技（上海）版本號 T00147x-01-011, 2017-02-23目錄1. 簡介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1.1. Transwarp Data Hub介紹 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1.2. 集群結構 . . . . . . . . . . . . . . . . . .

2、. . . . . . . . . . . . . . . . . . . .222444556678889910101010101111111111121213141414152223272732323535372.安裝準備 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ...硬件環境要求操作系統要求Java環境要求支持的瀏覽器. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3、 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3.安裝前的檢查 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4、 . ....3.7.系統磁盤分區要求 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .內存容量要求 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .網絡設置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .集群和網絡拓撲要求 . . . . . . . . . . . .

5、. . . . . . . . . . . . . . . . . . . . .NTP服務設置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .安全設置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .系統的推薦設置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4.TDH服務的. . . . . . .

6、 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7、 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

8、 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .....4.9.Zookeeper HDFSYARNHyperbase Inceptor Stream Sqoop Kafka Oozie4.10. HUE4.11. Elasticsea

9、rch. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5.6.操作系統安裝 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .Transwarp Manager的安裝 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..6.3.安裝前系統配置改動 . . . . . . . . . . . . . . . . . . .

10、. . . . . . . . . . . . . .安裝介質 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .安裝Transwarp Manager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7.用Transwarp Manager配置集群 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..7.3.添加集群服務器 . . .

11、. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .刪除集群中的服務器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .其他配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .8.用Transwarp Manager安裝服務 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

12、 . ...Guardian的安裝和配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .安裝Discover前的環境準備 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .選擇服務 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .服務的分配 . . . . . . . . . . . . . . . . . . . .

13、. . . . . . . . . . . . . . .8.5. 服務的配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .8.6. 服務安裝 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9. 用Transwarp Manager安裝新增服務 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .38444651515252525

14、35353555757575758585858585959595959606.10.4.證的激活與認證 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .證管理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .證激活和使用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .查看證管理 . . . .

15、. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .證過期11. 卸載TDH . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .11.1. 使用方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .11.

16、2. 常見問題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .12. 安裝和設置問題及回答 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .附錄 A: 集群服務使用的網絡端口 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .A.1.A.2.A.3.A.4.A.5.A.6.A.7.A.8.A.9.A.10.A.11.A.12.A.13.A.

17、14.Zookeeper相關端口 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .HDFS相關端口 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .YARN相關端口 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .Hyperbase相關端口 . . . . . . . . . . . . . . . . . . . . . .

18、. . . . . . . . . . .Inceptor相關端口 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .Discover相關端口 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .StreamSQL相關端口 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .Kafka相關端口Oozie相關端口Sqoop相關端口. . . . . . .

19、 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .HUE相關端口 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .Elasticsearch相關端口 . . . . . .

20、 . . . . . . . . . . . . . . . . . . . . . . . . .Transwarp Manager相關端口 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .Kerberos相關端口 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .客戶服務 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .免責本說明

21、書依據現有信息制作,其內容更改,恕不另行通知。星環信息科技（上海）有限公司在編寫該說 明書的時候已盡最大努力保證期內容準確可靠,但星環信息科技（上海）任。具體不對本說明書中的遺漏、使用請以實際使用為準。確或印刷錯誤導致的損失和損害承擔責注釋: Hadoop® 和 SPARK® 是ApacheTM 軟件商標。 Java® 是 Oracle公司在美國和其他和Xeon® 是英特爾公司在美國、中國和其他在美國和其他的商標或的的商標或的商標或的商標。 Intel®的商標。所有 © 2013年-2017年星環信息科技（上海）。保留所利。©

22、;星環信息科技（上海）修改權。本說明書 的所有,并保留對本說明書及本的最終解釋權和歸星環信息科技（上海）所有。未得到星環信息科技（上海）的,任何人 不得以任何方式或形式對本說明書內的任何部分進行業用途。、摘錄、備份、修改、翻譯成其他語言、或將其全部或部分用于商手冊版本信息版本號: T00147x-01-011發布日期: 2017-02-23Preface | 11. 簡介1.1. Transwarp Data Hub介紹Transwarp Data Hub（簡稱TDH）是國內首個全面支持Spark的Hadoop版，也是國內落地案例最多的商業版本，是國內外領先的高性能平臺，比開源基于Hadoop

23、 MapReduce計算框架的版本快10x100x倍。TDH應用范圍覆蓋各種規模和不同數據量的企業，通過內存計算、高效索引、執行優化和高度容錯的技術，使得一個平臺能夠處理GB級到PB級的數據，并且在每個數量級上，都能比現有技術提供更快的性能；企業客戶不再需要混合架構，TDH可以伴隨企業客戶的數據增長，動態不停機擴容，避免MPP或混合架構數據遷移的棘手問題。星環科技的大數據平臺TDH包含五個組成部分: Hadoop企業版，Inceptor分布式內存分析引擎，Hyperbase分布式實時據平臺。數據處理引擎，Stream流處理引擎和Discover學習引擎，五個組件了完整的大數在統一的分布式之上數

24、據平臺上通過YARN提供統一的管理調度，結合LDAP與Kerberos提供完備的權限管理，不同的部門以及使用租戶可以按需創建計算集群其數據，包括基于Spark計算框架的SQL類統計分析應用與數據挖掘類應用，或者基于MapReduce計算框架的應用。同時，平臺通過使用Hyperbase結合Inceptor，為用戶提供基于SQL的高并發的以及分析能力。在數據導入與交換方面，數據平臺提供多樣的數據導入與交換形式，包括Flume（需要額外安裝）提供海量數據文件的聚合匯總到HDFS的功能，FTP Over HDFS提供文件通過FTP傳入HDFS的通道，Sqoop提供與關系型數據庫的以及Kafka消息隊列

25、集群接收實時流數據。此外，TDH數據平臺提供實時的流處理能力，通過消息隊列Kafka接收實時數據流，做到數據不丟不重，通過Stream基于Spark Streaming提供類似與批處理系統的計算能力、健壯性、擴展性的同時，將數據時延降低至秒級甚至毫秒級。1.2. 集群結構創建一個集群前，首先必須對整個集群進行，包括集群節點、網絡、軟件模塊分布等部分。運維人員必須保證將用于構造集群的服務器滿足Transwarp Data Hub系統的基本要求。這些要求包括硬件要求、軟2 | 1. 簡介件要求、內存要求、網絡要求等。第二章將對這些要求進行詳細介紹。Transwarp DataHub通過網絡連接所有

26、服務器并實現整個集群的服務，因此架構師需要仔細計算應用服務對網絡帶寬和延遲的需求并整個網絡拓撲，如您需要幫助可以咨詢星環科技的售前和架構師。在應用中您需要根據應用的特點決定哪些軟件模塊和組件需要安裝。列出安裝前的硬件和軟件要求，在滿足這些要求的基礎上，您才可以開始進行系統安裝。系統安裝包括以下步驟：1.2.3.在集群中所有的節點上安裝所需要的操作系統。在管理節點上安裝Transwarp Manager。通過TranswarpManager來把所有的節點加到集群中、對這些節點部署相關軟件和配置，并運行服務。1. 簡介 | 32. 安裝準備2.1. 硬件環境要求Transwarp Data Hub

27、(簡稱TDH)提供集群服務來保證服務的高可用性，因此集群系統必須是3臺以上物理服務器組成，每臺服務器必須具備以下最低配置： 2顆6或以上帶超線程x86指令集CPU的服務器 64GB以上內存 2個300G以上的硬盤做RAID1，作為系統盤 4個以上的300GB容量以上的 硬盤作為數據存放硬盤 2個千兆以上網卡為實現較好的性能并實現最高的性價比，TDH 和Transwarp Manager推薦使用以下配置：集群內不同的模塊有不同的推薦配置，Namenode 2顆6核帶超線程的x86指令集CPU服務器(比如Intel(r) Xeon(r) E5-2620 v2 CPU) 128GB以上內存 6個60

28、0G以上的硬盤做RAID1作為系統盤和管理數據 2個千兆以上網口的網卡數據節點（Datanode）的硬件配置應該根據不同應用的特點進行選配，使用Inceptor，Discover和Stream配置的用戶需要比較高的計算能力的服務器，其數據節點的推薦配置如下： 2顆8或以上帶超線程x86指令集CPU的服務器(比如Intel® Xeon® E5-2650 v2) 128GB以上內存 2個300G以上的硬盤做RAID1，作為系統盤 10個以上的2TB容量以上的硬盤作為數據存放硬盤 2個千兆以上網卡Z系統盤可以做RAID1。但是數據盤不需要RAID，若需要RAID，請做RAID0。

29、2.2. 操作系統要求所有集群中的節點，必須運行于同一操作系統。Transwarp Data Hub支持以下操作系統。4 | 2. 安裝準備操作系統版本Red Hat Enterprise Linux6.4、6.5、6.6、6.7、6.8CentOS6.4、6.5、6.6、6.7、6.8SUSE Linux Enterprise Server11 SP3、11 SP4Asianux Server 4 (Hiranya)SP42.3. Java環境要求如果您的集群的上還沒有安裝JDK，您無需自行安裝JDK我們提供的TranswarpData Hub安裝工具會幫您安裝。如果您的上有不同版本的JDK

30、，可能會和安裝工具安裝的JDK發生。請在安裝前運行下面指令來查看您的JDK版本。Zjava -version如果版本和下面列出的不一樣，請和我們。TDH目前支持以下JDK版本： Oracle JDK 1.72.4. 支持的瀏覽器TranswarpDataHub采用Web頁面作為平臺管理界面，管理平臺支持以下瀏覽器2. 安裝準備 | 5瀏覽器版本Chrome（推薦）36.0.1985.143及以上FireFox36.0及以上Safari7.0.2及以上Internet Explorer（不推薦）不支持3. 安裝前的檢查3.1. 系統磁盤分區要求系統安裝和運行需要占用硬盤空間，在安裝前操作系統硬盤

31、必須留出200GB空間。 對磁盤進行分區時需要遵守以下幾點要求： 至少要分出swap和加載于“/”的系統分區。 推薦系統分區大小為100GB300GB，并將該分區掛載到/目錄。 推薦把每個物理磁盤掛載在/mnt/disknn (nn為1至2位的數字) 上不同的掛載點。建議使用ext4文件系統。每個這樣的目錄會被管理節點自動配置為HDFS DataNode的數據目錄。 HDFS DataNode的數據目錄不能放在系統分區，以避免空間不足和IO競爭。同時也建議不要將數據分區和系統分區放在同一塊磁盤上以避免IO競爭。除非整個HDFS上創建數據分區。空間不足，否則不要在系統分區所在磁盤例 1. 磁盤不

32、富余時的6 | 3. 安裝前的檢查某臺有兩塊硬盤，容量都為600GB，分區及掛載目錄將如下,文件類型推薦為ext4,其中/dev/sda1用作系統分區：注意，這是磁盤不富余情形下的。如果磁盤比較富余，建議操作系統安裝在單獨磁盤上，防止數據分區與系統分區造成數據讀寫競爭，如下一個例子。文件系統大小掛載目錄文件系統類型/dev/sda1100GB/ext4/dev/sda232GBswap/dev/sda3100GB/var/logext4/dev/sda4368GB/mnt/disk1ext4/dev/sdb1600GB/mnt/disk2ext4例 2. 磁盤富余時的3.2. 內存容量要求每個

33、節點必須至少GB的RAM。根據節點所安裝的TranswarpData Hub服務，節點可能需要超過64GB的RAM。下表列出在節點上運行不同服務時，該節點所需的額外內存。具體節點需要內存的計算步驟如下所示：1.2.3.確認所有會在節點上運行的TDH服務。確認每個服務要求的內存容量。將所有內存要求相加。3. 安裝前的檢查 | 7服務要求Management Server8GBHDFS NameNode32GBHDFS NameNode32GBHDFS Standby NameNode32GBHDFS DataNode4GBInceptor Server4GBInceptor executor32

34、GBYARN ResourceManager4GBYARN NodeManager4GBNodeManager分配給Container的計算數用戶指定ZooKeeper4GBHBase Master4GB某臺有6塊硬盤，容量都為600GB，分區及掛載目錄將如下,文件類型推薦為ext4,其中一塊磁盤用作系統分區：文件系統大小掛載目錄文件系統類型/dev/sda1400GB/ext4/dev/sda232GBswap/dev/sda3168GB/var/logext4/dev/sdb1600GB/mnt/disk1ext4/dev/sdc1600GB/mnt/disk2ext4/dev/sdd16

35、00GB/mnt/disk3ext4/dev/sde1600GB/mnt/disk4ext4/dev/sdf1600GB/mnt/disk5ext44. 如果相加后內存要求小于64GB，則最低內存要求為64GB。如果相加后內存要求大于64GB，則最低內存要求為相加后的和。比如，如果節點上運行以下服務： HDFS DataNode YARN ResourceManager HBase RegionServer YARN NodeManager分配給Inceptor executor為32G則節點的內存容量要求如下（生產環境實際使用內存要結合具體的應用場景）： 4GB+4GB+32GB+32GB=

36、72GB3.3. 網絡設置安裝Transwarp Data Hub需要最低的網絡為千兆以太網。當一臺裝Transwarp Data Hub之前對其進行綁定配置。上有多個網絡適配器時，用戶可以在安3.4. 集群和網絡拓撲要求決定集群中的節點數目。決定集群中的機柜數目及每個機柜的名稱。決定每個機柜中的節點數目。決定每個節點所在的子網（或多個子網）。決定每個節點的主機名和IP地址。決定哪個決定哪些是管理節點。是NameNode。決定哪些是客戶端，哪些運行TDH服務，或二者兼是。一旦主機名分配給NameNode，主機名則不能再更改。確定你知道要加入到TDH集群中的每個節點的root。管理節點必須和集群

37、中的其他節點屬于同一子網。決定在集群中使用哪些組件。決定網絡帶寬和交換機背板帶寬。決定交換機型號。決定如何連接到交換機。必須知道需要用到哪些以太網端口和是否需要綁定。確定每臺的IP地址和主機名。決定如何分配IP（使用DHCP或靜態分配）。決定如何主機名（使用DNS或/etc/hosts）。如果使用/etc/hosts，管理節點將負責更新集群中每臺的/etc/hosts。3.5. NTP服務設置決定如何進行時間同步。管理節點將負責所有服務器上的時間的同步，但您需要決定是否使用外部的NTP服務。如果不使用外部NTP服務，集群中所有服務器的時間是相同的，但這個時間有可能不是標準時間，這有可能導致集群

38、與外部連接時產生錯誤。8 | 3. 安裝前的檢查3.6. 安全設置禁掉SELinux和iptables（Transwarp Manager會自動禁掉SELinux和iptables）。3.7. 系統的推薦設置以下推薦配置可幫助確保TDH集群的性能優化和可管理性。節點的主機名。注意，主機名只能由英文、數字和“-”組成，否則之后的安裝會出現問題。要同時添加一組節點到集群中。要減少網絡延遲，集群中的所有節點都必須屬于同一子網。每個節點應配置一塊10GE的網卡，用于節點間的通信和執行集群中需要網絡連接的任務。如果節點沒有使用10GE的網卡，則可使用網卡綁定以便將多個網卡組合在一起以提升網絡流量。綁定的

39、網卡必須使用工作模式6。每個節點推薦最小的系統分區，至少有300GB的磁盤空間。每個節點應至少有6T的可用磁盤空間用于HDFS。如果可能，避免將物理磁盤分為多個邏輯分區。除了系統分區外，每個物理磁盤應當僅有一個分區，且該分區包含整個物理磁盤。僅使用物理，不要使用虛擬。虛擬機可能會明顯導致HDFS I/O的緩慢。節點所在的單個或多個子網不有其他。集群中不能同時有物理和虛擬。要確保集群中的磁盤空間。每個節點應至少不成為性能和I/O的瓶頸，所有必須有相似的硬件和軟件配置，包括RAM、CPU和GB的內存。由于服務可能生成大量日志，推薦將/var/log放置在其他邏輯分區。這可保證日志間。占滿根分區的空

40、要加快對本地文件系統的，可使用noatime選項掛載磁盤，這表示文件次數被寫回。3. 安裝前的檢查 | 94. TDH服務的要在集群中運行服務，需要指定集群中的一個或多個節點執行該服務的特定功能。這些功能被歸類為功能性的，用于定義節點能為集群中的服務提供哪些功能。分配是必須的，沒有集群將無法正常工作。 在分配前，需要了解這些的含義，以及對應于服務節點需要哪些。4.1. Zookeeper4.2. HDFS4.3. YARN4.4. Hyperbase10 | 4. TDH服務的描述ResourceManagerResourceManager負責將各個部分（計算、內存、帶寬等）安排給基礎Node

41、Manager，并與NodeManager一起啟動和監視它們的基礎應用程序。TimelineServer提供對YARN的作業歷史日志信息的展現服務。NodeManagerNodeManager管理一個YARN集群中的每個節點。提供集群中每個節點的服務，從監督對一個容器的終生管理到監視和跟蹤節點的狀態。描述NameNodeHDFS系統中的節點用于維護文件系統中所有文件的目錄結構并跟蹤文件數據于哪些數據節點。當客戶端需要從HDFS文件系統中獲得文件時，它通過和NameNode通訊來知道客戶端哪個數據節點上有客戶端需要的文件。一個集群中只能有一個NameNode。NameNode不能被賦予其他。Da

42、taNode在HDFS中，DataNode是用來數據塊的節點。Standby NameNodeStandby模式的NameNode元數據（Namespcae information 和 Block locations map）都是和ActiveNameNode中的元數據是同步的，一旦切換成Active模式，馬上就可以提供NameNo de服務。JournalNodeStandby NameName和Active NameNode通過JournalNode通信，保持信息同步。描述Zookeeper一個或多個運行Zookeeper服務的節點。Zookeeper服務是指包含一個或多個節點的集群提供服

43、務框架用于集群管理。對于集群，Zookeeper服務提供的功能包括維護配置信息、命名、提供Hyperbase的分布式同步，以及當HMaster停止時觸發master選擇。Hyperbase需要有一個Zookeeper集群才能工作。 推薦在Zookeeper集群中至少有3個節點。4.5. Inceptor4.6. Stream4.7. Sqoop4.8. Kafka4.9. Oozie4. TDH服務的| 11描述Kafka ServerKafka的任務管理工具。描述SqoopSqoop是一款用于在(Inceptor,Hyperbase)與傳統的數據庫(MySql、Postgresql)間進行數

44、據的傳遞的工具描述JobServerStream的任務管理工具描述MetaStore表結構及其元數據信息Inceptor ServerInceptor運行的節點，幫助和管理HDFS的大型數據集。Inceptor Server提供工具從文件系統中提取、轉換和裝載數據，實施數據格式結構，以及提供HDFS或Hyperbase的直接文件。描述Master節點實現Hyperbase數據庫以下功能: 配區域給RegionServers，平衡整個集群。1.確認RegionServer在運行中。 2.如果沒找到參考值，刪除parents。3.管理數據庫表。 4.在RegionServers中分發消息。5. R

45、egionServers以決定是否有必要執行恢復，如果是，則執行恢復。可以分配HMaster 給一個或多個節點以進行備份切換。如果你分配 給多個節點，這將創建一個active-standby狀態的HMaster節點的集群，即一個節點處于active狀態而集群中的另一個節點處于standby狀態。如果active狀態的HMaster停止，Zookeeper集群將選出一個inactive狀態的HMaster來作為active狀態的HMaster。RegionServer負責服務和管理Hyperbase區域的節點。Hyperbase ThriftThrift Client API開放的節點，客戶端可

46、通過Thrift和Hyperbase通訊。HBase-restHyperbase的restAPI。4.10. HUE4.11. Elasticsearch12 | 4. TDH服務的描述Elasticsearch serverTDH上的Elasticsearch是一個開源、子包含的小型庫，可與TDH上的工作進行交互。描述HUE serverHUE是一組可與您的集互的網絡應用程序。HUE應用能瀏覽HDFS和工作, 管理metastore,運行Inceptor，瀏覽Sqoop出口數據,提交MapReduce程序,構建自定義的搜索引擎與Solr,與Oozie一起調度重復性的工作流。描述Oozie s

47、erverOozie的任務管理工具。5. 操作系統安裝在安裝Transwarp Data Hub之前，集群中的所有節點必須滿足安裝準備和安裝前的檢查中所列舉的所有要求。可以使用兩種方式來安裝集群中的服務器的操作系統，單獨安裝方式和PXE安裝方式。其中單獨安裝方式是使用Red Hat Enterprise Linux for Servers、CentOS系列或SUSE Linux EnterpriseServer的安裝光盤在每臺服務器上安裝操作系統。注意：對于Red Hat Enterprise Linux for Servers、CentOS 系列的操作系統，需要使用visudo命令打開/et

48、c/sudoers配置文件：# visudo將該文件中的“Defaults requiretty”注釋掉 如要使用非root用戶安裝，使用的用戶必須擁有sudo權限。所以，管理員需要向/etc/sudoers文件中添加sudo用戶。方法為在該文件以下部分最后一行的內容：Z# # # # # # # # #Next comes the main part: which users can run what software on which machines (the sudoers file can be shared between multiple systems).Syntax:user

49、MACHINE=COMMANDSThe COMMANDS section may have other options added to it.#Allow root to run any commands anywhererootALL=(ALL)ALLsudo用戶ALL=(ALL)NOPASSWD: ALL例如，如果為用戶admin添加sudo權限，在文件的末尾增添的內容是：admin ALL=(ALL) NOPASSWD:ALL5. 操作系統安裝 | 136. Transwarp Manager的安裝本章節將詳細描述如何在管理節點上安裝Transwarp Manager。6.1. 安裝前

50、系統配置改動如果您有DNS，那么您可以直接跳到下一節。如果您沒有DNS，在安裝前，請打開管理節點下的/etc/hosts文件，查看該文件是否包含管理節點的hostname和它IP地址的對應，例如：2 tw-node2022如果/etc/hosts文件不包含這一行，請添加。登入到管理節點使用 hostname 命令檢查管理節點的名字名字和上述/etc/hosts里設置的名字相同：#hostname #tw-node2022注意，/etc/hosts文件的第一行必須為的前主機名寫在該行中。通常如下：，不能將此行注釋掉，不能將當Zlocalho

51、st6.2. 安裝介質如果有安裝光盤可將安裝光盤服務器CD/DVD ROM中直接運行。由于安裝過程中會使用到操作系統的安裝介質，建議用戶將OS的ISO文件事先拷貝到管理服務器上。如客戶服務代表或技術支持提供的是壓縮包，請將壓縮文件導入服務器中。請找到名稱以“transwarp-”為起始的安裝文件，例如transwarp-transwarp-4.7-Final-45071-zh.el6.x86_64.tar.gz，解壓并 cd 進入目錄，運行下面的install，開始安裝TDH系統：$ cd $package #進入解壓后的目錄$ ./install#執行install二進制文件14 | 6.

52、Transwarp Manager的安裝1. 安裝包中有如下六種壓縮文件。其中 * 表示文件的版本信息。a.b.3rd_party_tools-*-*-*.tar.gz：用于Discover的安裝rstudio-server-rhel-*-*.tar.gz：用于實現R IDE和Discover的對接，官網地址：midas_transwarp-*-*-*-*.tar.gz：安裝Midas Servermidas-client_transwarp-*-*-*-*.tar.gz：用于安裝Midas ClientZc.d.e.f.tda_transwarp-*-*-*-*.tar.gz：實時同步工具T

53、DA的安裝包transwarp-*-*-*-*.tar.gz：TDH安裝包6.3. 安裝Transwarp Manager1.系統首先需要您閱讀Java。閱讀完畢，點擊“Accept”進入下一步。2.系統將自動檢查管理節點的環境配置，主要包括時間、日期、時區及主機名信息并確認。顯示在屏幕上，請6. Transwarp Manager的安裝 | 153.取決于管理節點上的網卡數量，您需要進行如下操作： 如果管理節點上只有一塊網卡，安裝結束后，您會被要求設置Transwarp口“8180”。Manager端口，推薦默認端 如果管理節點上有多塊網卡，系統會要求您從中選擇一塊網卡，用于Transwarp 他節點通信。在這一步，您應該選擇用于集群內部通信的網卡。Manager和集群中其4.安裝Transwarp Manager需要一個包含對應版本操作系統的庫（repo）。這一步中，您需要決定是否清除當前集群上已有的庫配置。如果您的操作系統為CentOS或者Red Hat，您會看到如下提示：16 | 6. Transwarp Manager的安裝如果您的操作系統為SUSE，您會看到如下提示：在這一步，取