1、RHEL 6.4 (RHCS) 集群安裝與配置RHEL 6.4 (RHCS) 集群安裝與配置目錄1、概述：22、原理介紹：2RHEL 6.4 (RHCS) 集群安裝與配置4一、配置YUM源4二、配置RHEL6 HA 環(huán)境5三、配置集群6四、集群常用命令10補充一：Linux作為磁盤陣列客戶端進行測試17補充二：內(nèi)容讀寫測試18補充三：注意事項18補充四：GFS2191、概述：試驗環(huán)境: 節(jié)點1：節(jié)點2：任務(wù): 使用基于Web管理方式的Conga工具創(chuàng)建、管理兩節(jié)點Cluster,然后以一個簡單的web服務(wù)(httpd)作切換測試. 基本概念:Cong

2、a: 分為Luci(管理工具,Server端)及 Ricci(用于接收和傳遞Luci指令的服務(wù)程序,Agent)兩部分,其中Luci安裝在任一管理工作站上,Ricci安裝在被管理的Cluster節(jié)點上.腦裂(Head-split):當(dāng)前激活的Cluster 節(jié)點因為處理器忙或者其他原因暫時停止響應(yīng)時,其他節(jié)點可能誤認為該節(jié)點”已死”,從而奪取共享磁盤的訪問權(quán),此時極有可能假死節(jié)點重新對共享文件系統(tǒng)產(chǎn)生讀寫操作,從而導(dǎo)致共享磁盤文件系統(tǒng)損壞.Fence:為了防止”腦裂”現(xiàn)象的產(chǎn)生,使用fence設(shè)備對”故障”節(jié)點進行”屏蔽”措施,如重啟該設(shè)備,從而嘗試恢復(fù)其節(jié)點功能. Fence 設(shè)備可以是交換

3、機,或者IPMI等. 這里我們采用PE2900的BMC充當(dāng)Fence設(shè)備.Cman:cluster manager,Cluster組件之一,該服務(wù)用于cluster的配置,控制,查詢,仲裁計算等.Rgmanager:Resource group manager,Cluster組件之一,提供用戶定義的資源組的切換服務(wù).Failover domain: cluster 環(huán)境中服務(wù)failover的區(qū)域.2、原理介紹：cman集群管理器cman是一個基于內(nèi)核的對稱通用集群管理器。它由兩部分組成：連接管理器(cnxman)，用于處理成員、消息、投票數(shù)、事件通知和過渡；服務(wù)管理器(SM)，用于處理那些需

4、要通過各種方式進行集群管理的應(yīng)用及外部系統(tǒng)。cman是RHCS中最核心的服務(wù)，可通過系統(tǒng)中的serivce命令進行啟/停操作；DLM、GFS、CLVM及Fence都依賴于cman群集管理器。rgmanager資料組管理器rgmanager(Resource Group Manager)基于cman并使用DLM動態(tài)鎖管理機制。與cman一樣，rgmanager也是RHCS中的一個核心服務(wù)，可通過系統(tǒng)中的serivce命令進行啟/停操作；rgmanager管理并為集群中的Service(服務(wù))和Resources(資源)提供Failover錯誤切換功能。Service(服務(wù))每個服務(wù)都被指定存在于

5、一個Failover Domain中，并與多個Resources(資源)關(guān)聯(lián)。每個服務(wù)可以理解為實際操作中的一個應(yīng)用，如Web服務(wù)器、Java中間件、數(shù)據(jù)庫、文件共享系統(tǒng)、郵件系統(tǒng)等。這些應(yīng)用在運行時不但對應(yīng)用程序本身有要求(如某個運行指令或多個運行腳本的組合)，還要提供對諸如虛擬IP、文件系統(tǒng)等資源的支持。Failover Domain(錯誤切換域)每個Failover Domain都與兩個或兩個以上的Node(服務(wù)器節(jié)點)進行綁定，F(xiàn)ailover Domain指定了集群中某個Service運行時的范圍，也就是指定此Service將會由哪些服務(wù)器提供Failover錯誤切換功能。每個Nod

6、e都允許與多個Failover Domain進行綁定，也就是說每個Node都可以為多個Service服務(wù)，因此可以實現(xiàn)主動/主動(雙活動)方式的集群配置。Resources(資源)Resources指的是組成一個應(yīng)用所需的各種組件，通常包括：應(yīng)用程序、虛擬IP、文件系統(tǒng)。資源與Service組合時，往往還會體現(xiàn)出一定的層次關(guān)系，例如：通常系統(tǒng)都要求確認虛擬IP及文件系統(tǒng)都已經(jīng)正常連接及掛載后，才可以運行某個應(yīng)用程序，這個順序一旦調(diào)轉(zhuǎn)，就會使應(yīng)用程序運行出錯。Fence機制在RHCS集群運行時，為了避免因出現(xiàn)不可預(yù)知的情況而造成的腦裂現(xiàn)象(如：心跳線斷連，此時兩臺服務(wù)器都無法找到對方，無法向?qū)Ψ?/p>

7、發(fā)出操作指令，都各自認為自己是主節(jié)點；又或者主服務(wù)器系統(tǒng)崩潰，系統(tǒng)能接收到備用服務(wù)器的操作指令，但無法返回運行情況的確認信號，導(dǎo)致備用服務(wù)器無法獲知系統(tǒng)資源的使用情況)，系統(tǒng)要求通過Fence機制來保障系統(tǒng)切換時的I/O使用安全。如上所述，F(xiàn)ence主要就是通過服務(wù)器或存儲本身的硬件管理接口，又或者是外部電源管理設(shè)備，來對服務(wù)器或存儲發(fā)起直接的硬件管理指令，控制服務(wù)器或存儲鏈路的開關(guān)。因此，F(xiàn)ence機制也被稱為I/O屏障技術(shù)。當(dāng)腦裂發(fā)生時徹底斷開問題服務(wù)器的所有I/O連接，保證問題服務(wù)器不能對集群中的I/O資源(共享的文件系統(tǒng)資源)進行任何操作，嚴格保證集群環(huán)境中企業(yè)核心數(shù)據(jù)的完整性。配置共

8、享存儲a)從存儲分配所需共享磁盤給兩臺機器（兩臺機器共享一個磁盤）b)存儲若是多路徑.pvcreate/dev/mapper/mpath(n)e)創(chuàng)建vgvgcreatevg01/dev/mapper/mpath(n)f)創(chuàng)建lvlvcreatel10240nlv01vg01g)格式化lv(若是裸設(shè)備的話，跳過)mkfs.ext4/dev/vg01/lv01h)兩臺機器創(chuàng)建存儲掛載點mkdir/usr/sapRHEL 6.4 (RHCS) 集群安裝與配置一、配置YUM源1、創(chuàng)建CDROM 掛載目錄并掛載光盤#mkdir /rhel6#mount /dev/sr0 /rhel62、創(chuàng)建新的rep

9、o文件# cp /etc/yum.repos.d/rhel-source.repo /etc/yum.repos.d/rhel6.repo3、編輯rhel6.repo文件# vi /etc/yum.repos.d/rhel-source.reporhel6.repo文件內(nèi)容以下：5、安裝HA軟件包# yum install cluster-glue resource-agents pacemaker# yum install luci ricci cman openais rgmanager lvm2-cluster gfs2-utils二、配置RHEL6 HA 環(huán)境1、 編輯hosts文件#

10、vim /etc/hosts2、 啟動HA服務(wù)# service luci start# service ricci start# service rgmanager start# service cman start3、 設(shè)置HA服務(wù)自啟動# chkconfig ricci on # chkconfig luci on 做到該步可以通過某個節(jié)點，通過luci提供的https地址,進行下面的配置，配置后cman rgmanager服務(wù)會自動開啟的。# chkconfig cman on # chkconfig rgmanager onchkconfi NetworkManager off 該服

11、務(wù)必須關(guān)閉，否則集群加node會報錯4、 修改ricci用戶密碼 使 用 passwd ricci 命 令 為 用 戶 ricci 將 ricci 密 碼 設(shè) 定 為 root用戶的密碼 # passwd ricci兩個節(jié)點分別修改完密碼并都重新ricci服務(wù)。三、配置集群1、 登錄HA的配置用 Firefox瀏覽器打開7:8084/用root登錄2、 創(chuàng)建一個群集3、 添加節(jié)點名稱和成員 4、 配置fence設(shè)備添加fence設(shè)備點節(jié)點名稱，關(guān)聯(lián)節(jié)點和Fence設(shè)備ip為共享存儲地址5、 創(chuàng)建失效域添加故障切換域優(yōu)先級小的優(yōu)先6、 創(chuàng)建資源7、 創(chuàng)建集群服務(wù)

12、在服務(wù)組中將資源中的信息加入進去。 集群測試環(huán)節(jié)1、關(guān)機測試（將主節(jié)點關(guān)機備節(jié)點接管過來沒有問題）2、將主節(jié)點的網(wǎng)卡 down測試（默認切換失敗）如果切換失敗：1、看相關(guān)服務(wù)是否啟動2.通過日志看問題（message /var/log/cluster/.）動態(tài)查看日志(tail f)該命令用以觀察群集日志時特別有用，可看到群集何時進行磁盤mount，IP地址切換，服務(wù)啟動等信息。常用命令：Tail f /var/log/message四、集群常用命令使用clustat顯示HA服務(wù)# clustat查看HA的日志# tail -f /var/log/cluster/rgmanager.log查看

13、ORACLE實例是否啟來# ps -ef | grep ora+維護篇+一、啟動RHCS集群 RHCS集群的核心進程有cman和rgmanager，要啟動集群，依次在集群的每個節(jié)點執(zhí)行如下命令即可： service cman start service rgmanager start 需要注意的是，執(zhí)行這兩個命令是有先后順序的，需要首先啟動cman，然后在啟動rgmanager。在集群所有節(jié)點成功啟動cman服務(wù)后，然后繼續(xù)依次在每個節(jié)點啟動rgmanager服務(wù)。 二、關(guān)閉RHCS集群 與啟動集群服務(wù)剛好相反，關(guān)閉RHCS集群的命令為： service rgmanager stop serv

14、ice cman stop 首先在集群的每個節(jié)點依次關(guān)閉rgmanager服務(wù)，等待所有節(jié)點的rgmanager服務(wù)成功關(guān)閉后，再依次關(guān)閉每個節(jié)點的cman服務(wù)即可完成真?zhèn)€集群服務(wù)的關(guān)閉。 有時在關(guān)閉cman服務(wù)時，可能會提示關(guān)閉失敗，此時可以檢查本機的共享存儲GFS2文件系統(tǒng)是否已經(jīng)卸載，還可以檢查其它節(jié)點的rgmanager服務(wù)是否都已經(jīng)正常關(guān)閉。 三、管理應(yīng)用服務(wù) 集群系統(tǒng)啟動后，默認是自動啟動應(yīng)用服務(wù)的，但是如果某個應(yīng)用服務(wù)沒有自動啟動，就需要通過手工方式來啟動。管理應(yīng)用服務(wù)的命令是clusvcadm，通過這個命令可以啟動、關(guān)閉、重啟、切換集群中的應(yīng)用服務(wù)。 1. 啟動某個應(yīng)用服務(wù) 可

15、以通過如下方式啟動某個節(jié)點的應(yīng)用服務(wù)： clusvcadm -e -m 其中： Service：表示集群中創(chuàng)建的應(yīng)用服務(wù)名稱。l Node：表示集群節(jié)點名稱。l 例如，要啟動節(jié)點web1上的webserver服務(wù)，操作如下： rootweb1 # clusvcadm -e webserver -m web1 Member web1 trying to enable service:webserver.Success service:webserver is now running on web1 可以通過/var/log/messages文件查看啟動應(yīng)用服務(wù)的詳細信息。當(dāng)webserver啟動

16、后，與服務(wù)相關(guān)的集群資源：如虛擬IP、應(yīng)用程序服務(wù)腳本也隨之啟動，可以通過如下命令查看集群資源是否已經(jīng)正常加載： 2. 關(guān)閉某個應(yīng)用服務(wù) 可以通過如下方式關(guān)閉某個節(jié)點的應(yīng)用服務(wù)： clusvcadm -s -m 例如，要關(guān)閉節(jié)點Mysql1上的mysqlserver服務(wù)，操作如下： rootMysql1 # clusvcadm -s mysqlserver -m Mysql1 Member Mysql1 stopping service:mysqlserver.Success 可以通過/var/log/messages文件查看關(guān)閉應(yīng)用服務(wù)的詳細信息。當(dāng)mysqlserver關(guān)閉后，與服務(wù)相關(guān)的

17、集群資源：如虛擬IP、應(yīng)用程序服務(wù)腳本也隨之釋放。 3. 重啟某個應(yīng)用服務(wù) 可以通過如下方式重啟某個節(jié)點的應(yīng)用服務(wù)： clusvcadm -R -m 例如，要重啟節(jié)點web1上的webserver服務(wù)，操作如下： rootweb2 # clusvcadm -R webserver -m web1 Member web1 trying to restart service:webserver.Success 這個命令是在web2節(jié)點上執(zhí)行的，但是也能成功將web1節(jié)點上的webserver進行重啟，由此可知，clusvcadm命令在集群任意節(jié)點執(zhí)行都是可以的。 4. 切換某個服務(wù) 可以通過如下方

18、式將一個應(yīng)用服務(wù)從一個節(jié)點切換到另一個節(jié)點： clusvcadm -r -m 例如，要將節(jié)點web1的服務(wù)切換到節(jié)點web2上，操作如下： rootweb1 # clusvcadm -r webserver -m web2 Trying to relocate service:webserver to web2.Success service:webserver is now running on web2四、監(jiān)控RHCS集群狀態(tài) 通過對RHCS的監(jiān)控，有助于了解集群每個節(jié)點的健康狀況，并能發(fā)現(xiàn)問題，及時解決問題，RHCS集群提供了豐富的狀態(tài)查看命令，這里主要介紹下cman_tool、clus

19、tat、ccs_tool的使用方法。 1. cman_tool命令 cman_tool的參數(shù)比較多，但是用法比較簡單，基本用法格式為： cman_tool options 下面列舉幾個簡單的使用例子： rootweb1 # cman_tool nodes -a Node Sts Inc Joined Name 0 M 0 2010-08-23 01:24:00 /dev/sdb7 1 M 2492 2010-08-23 01:22:43 web2 Addresses: 40 2 M 2492 2010-08-23 01:22:43 Mysql1 Addresses: 1

20、31 3 M 2492 2010-08-23 01:22:43 Mysql2 Addresses: 32 4 M 2488 2010-08-23 01:22:43 web1 Addresses: 30 此命令顯示了節(jié)點名稱，以及對應(yīng)的節(jié)點IP地址和加入集群的時間。 如果要了解更多集群節(jié)點信息，可以通過如下命令： rootweb1 # cman_tool status Version: 6.2.0 Config Version: 35 #集群配置文件版本號 Cluster Name: mycluster #集群名稱 Clust

21、er Id: 56756 Cluster Member: Yes Cluster Generation: 2764 Membership state: Cluster-Member Nodes: 4 #集群節(jié)點數(shù) Expected votes: 6 #期望的投票數(shù) Quorum device votes: 2 #表決磁盤投票值 Total votes: 6 #集群中所有投票值大小 Quorum: 4 #集群法定投票值，低于這個值，集群將停止服務(wù) Active subsystems: 9 Flags: Dirty Ports Bound: 0 177 Node name: web1 Node I

22、D: 4 #本節(jié)點在集群中的ID號 Multicast addresses: 46 #集群廣播地址 Node addresses: 30 #本節(jié)點對應(yīng)的IP地址 2. clustat命令 clustat命令使用非常簡單，詳細的使用方法可以通過“clustat -h”獲取幫助信息，這里僅僅列舉幾個例子。 rootweb1 #clustat -i 3 Cluster Status for mycluster Mon Aug 23 18:54:15 2010 Member Status: Quorate Member Name ID Status -

23、 - - - web2 1 Online, rgmanager Mysql1 2 Online, rgmanager Mysql2 3 Online, rgmanager web1 4 Online, Local, rgmanager /dev/sdb7 0 Online, Quorum Disk Service Name Owner (Last) State - - - - - service:mysqlserver Mysql1 started service:webserver web1 started 對輸出內(nèi)容含義如下： clustat的“-i”參數(shù)可以實時的顯示集群系統(tǒng)中每個節(jié)點以

24、及服務(wù)的運行狀態(tài)，“-i 3”表示每三秒刷新一次集群狀態(tài)。 在這個輸出中，可以看到每個節(jié)點都處于“Online”狀態(tài)，表明每個節(jié)點都運行正常，如果某個節(jié)點退出了集群，對應(yīng)的狀態(tài)應(yīng)該是“Offline”，同時還可以看到，集群的兩個服務(wù)也處于“started”狀態(tài)，分別運行在Mysql1節(jié)點和web1節(jié)點。 另外，通過“ID”一列可以知道集群節(jié)點的對應(yīng)關(guān)系，例如，web2在此集群中對應(yīng)的就是“Node 1”節(jié)點，同理，web1對應(yīng)的是“Node 4”節(jié)點。了解集群節(jié)點順序有助于對集群日志的解讀。 3. ccs_tool命令 ccs_tool主要用來管理集群配置文件cluster.conf，通過cc

25、s_tool可以在集群中增加/刪除節(jié)點、增加/刪除fence設(shè)備、更新集群配置文件等操作。 下面是ccs_tool的幾個應(yīng)用實例： 當(dāng)在一個節(jié)點修改完配置文件后，可以執(zhí)行“ccs_tool update”指令將配置文件在所有節(jié)點進行更新，例如： rootweb1 cluster# ccs_tool update /etc/cluster/cluster.conf Proposed updated config file does not have greater version number. Current config_version : 35 Proposed config_versio

26、n: 35 Failed to update config file. ccs_tool是根據(jù)cluster.conf中的“config_version”值來決定是否進行更新的，因此在修改完cluster.conf文件后，一定要將cluster.conf的config_version值進行更新，這樣執(zhí)行ccs_tool時才能更新配置文件。 rootweb1 cluster# ccs_tool update /etc/cluster/cluster.conf Config file updated from version 35 to 36 Update complete.五、管理和維護GFS2

27、文件系統(tǒng) GFS2文件系統(tǒng)提供了很多管理和維護工具，常用的有g(shù)fs2_fsck、gfs2_tool、gfs2_jadd、gfs2_quota、gfs2_convert等，這里重點介紹前三個命令的用法。 1. gfs2_fsck命令 類似與ext3文件系統(tǒng)下的fsck.ext3命令，主要用于檢測和修復(fù)文件系統(tǒng)錯誤。其實GFS2還有一個fsck.gfs2命令，此命令與gfs2_fsck命令完全一致。 gfs2_fsck的用法如下： gfs2_fsck -afhnpqvVy 下面列舉幾個使用例子： rootMysql1 # gfs2_fsck -y /dev/sdb5 Initializing fs

28、ck Validating Resource Group index. Level 1 RG check. (level 1 passed) Starting pass1 Starting pass1c Pass1c complete Pass5 complete gfs2_fsck complete 2. gfs2_tool命令 gfs2_tool命令參數(shù)較多，但使用并不復(fù)雜，它主要用來查看、修改GFS2文件系統(tǒng)的相關(guān)參數(shù)信息。 下面列舉幾個使用例子： 1）查看GFS2文件系統(tǒng)掛載信息 rootweb1 # gfs2_tool df /gfs2 /gfs2: SB lock proto =

29、lock_dlm SB lock table = mycluster:my-gfs2 SB ondisk format = 1801 SB multihost format = 1900 Block size = 4096 Journals = 4 Resource Groups = 19 Mounted lock proto = lock_dlm Mounted lock table = mycluster:my-gfs2 Mounted host data = jid=2:id=65539:first=0 Journal number = 2 Lock module flags = 0 L

30、ocal flocks = FALSE Local caching = FALSE Type Total Blocks Used Blocks Free Blocks use% - - - - - data 1220724 136578 1084146 11% inodes 1084263 117 1084146 0% （2）gfs2_tool命令 2）鎖定與解鎖GFS2文件系統(tǒng)： rootnode1 gfs2# gfs2_tool freeze /gfs2 rootnode1 gfs2# gfs2_tool unfreeze /gfs2 GFS2文件系統(tǒng)被鎖定后，無法進行讀寫操作，直到被解鎖

31、。 3）查詢GFS2可掛載的接點數(shù) rootweb1 # gfs2_tool journals /gfs2 journal2 - 128MB journal3 - 128MB journal1 - 128MB journal0 - 128MB 4 journal(s) found. 這里顯示了可掛載節(jié)點數(shù)為4，并且每個journal的大小為128M。 4）顯示GFS2的版本信息： rootweb1 # gfs2_tool version gfs2_tool 0.1.62 (built Mar 31 2010 07:34:25) Copyright (C) Red Hat, Inc. 2004-

32、2006 All rights reserved （3）gfs2-jadd命令 gfs2-jadd主要用來配置GFS2的Journals數(shù)量和大小，用法非常簡單： gfs2_jadd -cDhJjqV /path/to/filesystem 下面列舉幾個用例： 設(shè)置Journals的大小為64M rootMysql1 # gfs2_jadd -J 64M 將GFS2可同時掛載的節(jié)點數(shù)目增加到5個 rootMysql1 # gfs2_jadd -j 5 /gfs2 另外，另外gfs2_quota用于GFS2文件系統(tǒng)磁盤配額管理，gfs2_convert是一個數(shù)據(jù)轉(zhuǎn)換應(yīng)用程序，它可以對GFS文件系統(tǒng)的元數(shù)據(jù)進行更新，把它轉(zhuǎn)換為一個GFS2文件系統(tǒng)。要深入了解它們的使用，請參考幫助信息，這里不在進行講述。補充一：Linux作為磁盤