LinkAPP 深圳市連用科技有限公司GFS安裝配置手冊深圳市連用科技有限公司2017年6月目錄TOC\o"1-3"\h\u93721準備環境 3199252在所有存儲節點上安裝GFS 3234712．1安裝 369772．2配置 5205083在所有LFS上安裝GFS 625631．1安裝 6310652．2配置 684203高級GFS配置 790983.1如何增刪存儲節點服務器 7250773.2如何把數據從一個節點遷移到另一個節點 8320153.3如何平衡數據 9277383.4節點故障時的常見處理辦法 9208973.5日志目錄 10270174狀態查詢 10263794.1顯示卷狀態 1024374.2顯示卷信息 11207464.2顯示存儲節點狀態 11117314.測試 13319651.用DD測試命令（在客戶端的掛載目錄中運行） 1385132.用TIME配合CP命令 131準備環境在LFS服務器和所有存儲節點服務器上安裝RedHatLinux6.6或CentOSLinux6.6操作系統，在安裝過程中，選安裝包時，把開發環境也裝上。用戶用戶用戶用戶用戶用戶LFS服務器：00LFS服務器：00存儲節點服務器:01存儲節點服務器:00存儲節點服務器:01存儲節點服務器:002在所有存儲節點上安裝GFS2．1安裝解包：#tarzvxfglusterfs.tar.gz進入目錄：#cdglusterfs檢查環境：#./autogen.sh#3.5版本安裝。先執行這個#./configure會顯示如下信息：GlusterFSconfiguresummary===========================FUSEclient:yesInfinibandverbs:noepollIOmultiplex:yesargp-standalone:nofusermount:noreadline:yesgeoreplication:yesLinux-AIO:no編繹：#make會提示如下信息：creatinggluster安裝：#makeinstall卸載：#makeuninstallldconfig確認是否安裝成功：#glusterfs--version如果顯示如下類似信息，表示安裝成功了glusterfs3.6.9builtonApr21201717:37:51Repositoryrevision:git:///glusterfs.gitCopyright(c)2006-2013RedHat,Inc.</>GlusterFScomeswithABSOLUTELYNOWARRANTY.ItislicensedtoyouunderyourchoiceoftheGNULesserGeneralPublicLicense,version3oranylaterversion(LGPLv3orlater),ortheGNUGeneralPublicLicense,version2(GPLv2),inallcasesaspublishedbytheFreeSoftwareFoundation.啟動所有SERVER的服務：#serviceglusterdstart顯示如下信息，表示啟動成功Startingglusterd:[確定]再查一下進程是否存在，來確認是否啟動成功，如果存在，表示確實是在運行了：#ps-ef|grepglusterdroot34641009:31?00:00:00/usr/local/sbin/glusterdroot35163394009:32pts/100:00:00grepglusterd設置開機自動啟動服務：#chkconfigglusterdon測試環境的話，可以停掉防火墻，如果是生產環境，可以在防火墻中增加要打開的端口(自已查資料)，但通常是使用硬盤防火墻：#iptables–L#顯示防火墻情況#serviceiptablesstop測試環境中把防火墻的自啟動關掉，不然重啟機器又會起動防火墻,用ntsysv命令，然后找到iptables，取消選中：#ntsysv–level35[]iptables#取消選中2．2配置只能在其中一臺存儲節點服務器上進行配置。例如，你選了00這臺，那么下面的操作都在這臺服務器上。查詢并增加其它存儲節點進存儲集群中（本身操作的這臺機器，不用進行probe）：#glusterpeerprobe01顯示如下類型的信息，表示增加成功，如果長時間沒顯示，或顯示出錯信息，請確認本機是否能連通其它存儲節點，其它存儲節點的防火墻是否已關閉等：Probesuccessful查看是否正確增加了存儲節點：[root@Server01~]#glusterpeerstatus顯示如下類似的信息，表示增加成功：NumberofPeers:1Hostname:01Uuid:a165bbd9-158f-4ddb-9139-ecb624c14769State:PeerinCluster(Connected)確定本臺臺機器要使用的存儲目錄，以及目錄是否可以正常讀寫，這里假設你用/data作為存儲目錄并建立這個目錄：#mkdir/data注意，現在要轉到其它存儲節點服務器上確定要使用的存儲目錄了，這里假設你用/data作為存儲目錄并建立這個目錄：進入01服務器，并建立目錄#mkdir/data回到00這臺服務器，繼續配置：開始建卷，產生一個復制類型卷，就是一份數據會同時存放到這二臺服務器上，以后如果你有四臺存儲節點服務器，那么一份數據會按算法放到其中的二臺存儲節點服務器，生產環境最好是作三份復制：(glustervolumecreateNEW-VOLNAME[stripeCOUNT][replicaCOUNT][transport[tcp|rdma|tcp,rdma]]NEW-BRICK...)#glustervolumecreatemyvolumereplica2transporttcp00:/data01:/data-force如果顯示如下信息，表示產生成功：Creationofvolumemyvolumehasbeensuccessful.Pleasestartthevolumetoaccessdata.可以用命令查一下卷的信息：#glustervolumeinfo會顯示如下類似信息：VolumeName:myvolumeType:ReplicaStatus:CreatedTransport-type:tcpBricks:Brick1:00:/dataBrick2:01:/data啟用這個新產生的卷：#glustervolumestartmyvolumeStartingvolumemyvolumehasbeensuccessful至此，存儲節點服務器配置完成。接著配置LFS服務器，讓它使用這個產生的卷3在所有LFS上安裝GFS有些環境可能有多臺LFS，每臺的配置是一樣的。1．1安裝 和存儲節點服務器的安裝一樣。請參考上面所述。2．2配置裝載fuse模塊到內核：#modprobefuse并在/etc/rc.d/rc.local中增加這一行。以便在機器重啟時，自動啟動。測試是否成功裝載fuse模塊:#dmesg|grep-ifuse有如下的信息顯示，表示成功fuseinit(APIversion7.14)確認本機要使用的目錄，就是要掛載存儲集群的目錄。這里使用/test,并建立這個目錄：#mkdir/test掛載存儲集群：#mount-tglusterfs00:/myvolume/test檢查是否持載成功：#df-h顯示如下的類似信息，表示成功文件系統容量已用可用已用%掛載點glusterfs#00:/myvolume186G7.7G169G5%/test可以設成自動開機持載：在/etc/fstab中增加：00:/myvolume/testglusterfsdefaults,_netdev00說明：_netdev參數表示設備需要網絡，defaults表示其它參數使用缺省值.后面的00表示不用dump，啟動時不用檢查。也可以在/etc/rc.d/rc.local中增加,但要注意在其它程序使用前就要啟動。mount-tglusterfs00:/myvolume/test至次，LFS機器上的配置完成。LFS可以使用這個/test目錄了。所有存儲到/test目錄的文件，實際上是存儲到存儲節點服務器上。3高級GFS配置3.1如何增刪存儲節點服務器增加一個結點到集群：#glusterpeerprobe02查節點狀態：#glusterpeerstatus刪除集群中一個結點：#glusterpeerdetach02增加節點到卷中(對分布式復制卷類型，要按它的培數增加節點)：#glustervolumeadd-brickmyvolume02:/data#glustervolumeadd-brickmyvolume01:/data02:/data刪除卷中的節點（刪除后，此組節點集上的數據就不可用了，對分布式復制卷類型，要按它的培數刪除節點，并且是同一個子集）#glustervolumeremove-brickmyvolume02:/data#glustervolumeremove-brickmyvolume01:/data02:/data增加卷容量后，可以平衡卷中的數據：#glustervolumerebalancemyvolumestart#glustervolumerebalancemyvolumestatus#glustervolumerebalancemyvolumestop要刪除卷，就要先停用：#glustervolumestopmyvolume#glustervolumedeletemyvolume3.2如何把數據從一個節點遷移到另一個節點目標節點必需在集群中#glustervolumereplace-brickmyvolume3:/data22:/datastart會提示replace-brickstartedsuccessfully可以暫停：#glustervolumereplace-brickmyvolume3:/data22:/datapause可以取消：#glustervolumereplace-brickmyvolume3:/data22:/dataabort可以查狀態：#glustervolumereplace-brickmyvolume3:/data22:/datastatus正式提交節點轉移命令：（目標節點會取代源節點）#glustervolumereplace-brickmyvolume3:/data22:/datacommit查卷狀態：#glustervolumeinfo提示：VolumeName:myvolumeType:Distributed-ReplicateVolumeID:2984e45d-e1e6-40b5-90f3-68a008e8d63aStatus:StartedNumberofBricks:2x2=4Transport-type:tcpBricks:Brick1:0:/dataBrick2:1:/dataBrick3:1:/dataBrick4:2:/data如果上面的操作，提示出錯，要強行執行(可用于用新節點來代替故障節點)：#glustervolumereplace-brickmyvolume3:/data22:/datacommitforce3.3如何平衡數據只平衡目錄結構，舊數據不動，新數據分布存放#glustervolumerebalancemyvolumefix-layoutstart平衡目錄結構和舊數據#glustervolumerebalancemyvolumestart強制執行#glustervolumerebalancemyvolumestartforce查狀態#glustervolumerebalancemyvolumestatus停止#glustervolumerebalancemyvolumestop3.4節點故障時的常見處理辦法1硬盤故障因為底層做了raid配置，有硬件故障，直接更換硬盤，會自動同步數據。2一臺節點故障glusterfs2服務器一臺節點故障的情況包括以下情況：a)物理故障；b)同時有多塊硬盤故障，造成數據丟失；c)系統損壞不可修復。解決方法：找一臺和故障機器類似的機器，保證硬盤空間大小一致，安裝系統，配置和故障機同樣的ip，安裝gluster軟件，保證配置都一樣，在其他健康的節點上執行命令glusterpeerstatus，查看故障服務器的uuid，#glusterpeerstatusNumberofPeers:2Hostname:1Uuid:64b345d4-6c9c-43d8-82ef-68c228c4b7edState:PeerinCluster(Connected)Hostname:2Uuid:9133d139-f9c4-484d-acdf-d11f0452878aState:PeerinCluster(Disconnected)修改新加機器的/var/lib/glusterd/和故障機器的一樣cat/var/lib/glusterd/UUID=9133d139-f9c4-484d-acdf-d11f0452878a將正常節點的/var/lib/glusterd/peers目錄下的文件拷貝至故障節點的對應目錄里面#scp/var/lib/glusterd/peers/root@glusterfs2:/var/lib/glusterd/peers安裝glusterfs文件系統后如果glusterd啟動失敗，請刪除/var/lib/glusterd/目錄下的所有文件在任意節點上執行#glustervolumestopmyvolume#glustervolumestartmyvolumeforce#glustervolumehealmyvolumefullLaunchingHealoperationonvolumemyvolumehasbeensuccessful就會自動開始同步，但是同步的時候會影響整個系統的性能。可以查看狀態#glustervolumehealmyvolumeinfoGatheringHealinfoonvolumemyvolumehasbeensuccessful3.5日志目錄/var/log/glusterfs/4狀態查詢4.1顯示卷狀態顯示所有卷：#glustervolumestatusallStatusofvolume:myvolumeGlusterprocessPortOnlinePidBrick0:/data24009Y1872Brick1:/data24009Y1781Brick2:/data324011Y18988Brick3:/data324011Y15643NFSServeronlocalhost38467Y18605Self-healDaemononlocalhostN/AY15655NFSServeron238467Y11218Self-healDaemonon2N/AY1826NFSServeron038467Y4531Self-healDaemonon0N/AY1905NFSServeron138467Y5482Self-healDaemonon1N/AY2590NFSServeron238467Y21929Self-healDaemonon2N/AY19044可以指定卷：#glustervolumestatusmyvolume4.2顯示卷信息顯示指定卷信息:#glustervolumeinfomyvolume會顯示如下信息：VolumeName:myvolumeType:Distributed-ReplicateVolumeID:2984e45d-e1e6-40b5-90f3-68a008e8d63aStatus:StartedNumberofBricks:2x2=4Transport-type:tcpBricks:Brick1:0:/dataBrick2:1:/dataBrick3:2:/data3Brick4:3:/data3顯示所有卷信息:#glustervolumeinfoall4.2顯示存儲節點狀態#glusterpeerstatus會顯示如下的信息：NumberofPeers:5Hostname:0Uuid:d25c608f-8f20-4ec7-9772-7caa2ec83ecfState:PeerinCluster(Connected)Hostname:1Uuid:c40394a6-106c-4e65-90a5-17d85625c51bState:PeerinCluster(Connected)Hostname:2Uuid:23d2d574-0aa6-410a-a7b4-ffd3d4364c0eState:PeerinCluster(Connected)Hostname:1Uuid:92897239-4680-4288-bf2a-8d01279f7559State:PeerinCluster(Disconnected)Hostname:2Uuid:f5a7e985-3dfe-469b-815a-ca3c30e7d822State:PeerinCluster(Connected)4.測試GlusterFS性能測試，測試結果受環境各種因素影響，例如，機器配置、網卡速度、交換機速度等。#ls-lh/root/*顯示文件大小1.用DD測試命令（在客戶端的掛載目錄中運行）公司測試結果：1.1寫測試[root@localhosttest]#ddif=/dev/zeroof=./sample-file-1bs=1Mcount=128記錄了128+0的讀入記錄了128+0的寫出134217728字節(134MB)已復制，1.9435秒，69.1MB/秒1.2讀測試[root@localhosttest]#ddof=/dev/zeroif=./sample-file-1bs=1Mcount=128記錄了128+0的讀入記錄了128+0的寫出134217728字節(134MB)已復制，0.841337秒，160MB/秒if=輸入文件（或設備名稱）。

of=輸出文件（或設備名稱）。bs=bytes同時設置讀/寫緩沖區的字節數（等于設置ibs和obs）。count=blocks只拷貝輸入的blocks塊。

2.用