20232023.10伊迪艾電腦科技〔中國〕伊迪艾電腦科技GPFS安裝實施和維護AIX下GPFS安裝配置及維護鄒旭目錄1.概述 31.1IBMGPFS功能介紹 31.2GPFS體系架構介紹 3?磁盤 3?網絡共享磁盤〔NSD〕 4?GPFS文件設備 4?連接模式：如下列圖 41.3GPFS的優勢 52.GPFS安裝配置步驟 52.1GPFS安裝準備 52.2GPFS軟件的安裝 6A.GPFS軟件放在目錄 6B.升級包 6C.通過SMIT安裝命令進行安裝和升級 6D.成功的安裝完GPFS之后 7E.添加/etc/environment的執行路徑 73.創立GPFS心跳地址 74.配置GPFS集群 84.1配置節點文件 84.2建立GPFS集群 84.3確認查看GPFS集群 94.4激活GPFS授權 95配置GPFS的共享盤 105.1建立NSD〔NetworkSharedDisk〕文件 105.2生成NSD盤 105.3確認結果 115.4啟動GPFS系統 116配置GPFS的共享文件系統 116.1建立GPFS文件系統 116.2確認文件系統 126.3裝載文件系統 136.4建立目錄 137配置GPFS的屬性 137.1配置GPFS選項屬性 13實施結果 158.GPFS管理和維護 168.1主機應用的啟動順序 168.2GPFS的啟動和關閉 16節點狀態 168.3GPFS的文件系統管理 178.4GPFS的集群管理 178.5GPFS的磁盤管理 178.6GPFS的日志和安裝路徑 18其他有用的GPFS操作 181.新增一個節點 182.更換硬盤 183.停掉節點 194.修改inode數量 195.去除GPFS 191.概述1.1IBMGPFS功能介紹GPFS(GeneralParallelFileSystem)是IBM公司第一個共享文件系統，起源于IBMSP系統上使用的虛擬共享磁盤技術(VSD)。作為這項技術的核心，GPFS是一個并行的磁盤文件系統，它保證在資源組內的所有節點可以并行訪問整個文件系統。而且針對此文件系統的效勞操作，可以同時平安地在使用此文件系統的多個節點上實現。GPFS允許客戶共享文件，而這些文件可能分布在不同節點的不同硬盤上。它提供了許多標準的UNIX文件系統接口，允許應用不需修改或者重新編輯就可以在其上運行。GPFS也支持UNIX文件系統的工具，即：用戶可以像使用普通文件系統一樣使用基于GPFS的文件系統，唯一不同的在于管理GPFS文件系統的命令。GPFS提供的文件系統操作效勞可以支持并行應用和串行應用，它允許任何節點〔這些節點屬于同一個節點組〕上的并行應用同時訪問同一個文件者不同的文件。1.2GPFS體系架構介紹GPFS文件系統根本上由三層架構組成：磁盤，網絡共享磁盤〔NSD〕，GPFS文件設備，如下列圖所示。?磁盤GPFS文件系統最底層的是物理磁盤設備。原那么上可以采用系統上任何塊設備，包括磁盤，磁盤分區，邏輯卷。從物理連接上來看，GPFS支持使用所有方式連接的磁盤。包括本地IDE磁盤，本地SCSI磁盤，光纖SAN磁盤，iSCSI磁盤，等等。?網絡共享磁盤〔NSD〕NSD是由磁盤映射出來的虛擬設備，NSD與磁盤是一一對應的關系。NSD被標記了不同性來區分其用途，我們可以將磁盤標記為4種用途：DescOnly：只存儲GPFS文件系統描述信息的磁盤。DataOnly：只存儲文件系統中的數據信息。Metadataonly:只存儲文件系統中的目錄結構inode信息。Metaanddata:存儲所有信息〔默認〕。?GPFS文件設備GPFS設備是一個可被系統掛載的文件設備，由NSD創立而成，可以并行的同時掛載在多個節點上。?連接模式：如下列圖將存儲LUN/disk配置映射到GPFS集群節點–依據系統需求的不同，disk連接拓撲可能會有差異SAN存儲模式是將所有節點直接映射到所有節點NSD模式只需由作為NSDServer的節點鏈接disk混合模式可以是局部節點直接連接存儲，局部做為NSDClient，它們通過NSDServer，通過IP網絡進行IO訪問(NetworkBlockIO)1.3GPFS的優勢?高性能GPFS允許在同一節點內的多進程或者應用使用標準文件系統調用，同時訪問〔并發，讀寫〕同一個文件。通過將節點內讀寫操作分布到多個磁盤上，大大增加了文件系統的帶寬，通過整個系統的負載均衡防止了某個磁盤過大的讀寫。?跨平臺設計GPFS支持在一個集群內參加異構的平臺。支持異構的硬件環境：Systemp,Systemx。支持異構的操作系統：AIX,Linux。?數據一致性GPFS通過一套復雜的信令管理機制提供數據一致性。通過這套機制允許任意節點通過各自獨立的路徑到達同一個文件。即使節點無法正常工作，GPFS也可以找到其它的路徑。?數據平安性GPFS是一種日志文件系統，為不同節點建立各自獨立的日志。日志中記錄metadata的分布，一旦節點發生故障后，可以保證快速恢復數據。GPFS的fail-over功能通過規劃，將數據分布到不同failuregroup內到達高可用性，減少單點故障的影響。為了保證數據可用性，GPFS在多個failuregroup內為每個數據實例做備份，即使創立文件系統時沒有要求復制，GPFS也會自動在不同的failuregroup內復制恢復日志。?系統可擴展性通過GPFS，系統資源可以動態調整，可以在文件系統掛載情況下添加或者刪除硬盤。系統處于相對空閑時，用戶可以在已配置的硬盤上重新均衡文件系統以提高吞吐量。可以在不重新啟動GPFS效勞情況下添加新節點。?管理簡單GPFS自動在各個節點間同步配置文件和文件系統信息，而且在同一個節點內，對GPFS的管理可以在任一個節點上進行。2.GPFS安裝配置步驟2.1GPFS安裝準備安裝GPFS之前必須配置：-存儲到IBMP系列主機-并且安裝多路徑軟件包中存儲的高可用-訪問配置修改所有機器的/etc/hosts,將以下行參加，使得機器之間互相能解析主機名。/etc/hosts#gpfsstart1gpfs11gpfs210.66.5.51App110.66.5.52App210.66.5.53App310.66.5.54App4#gpfsend-建立主機的信任關系〔使用.rhosts)修改所有效勞器的/.rhosts,將2個NSD效勞器主機名參加/.rhostsgpfs1rootgpfs2root2.2GPFS軟件的安裝A.GPFS軟件放在目錄：/tmp/gpfsinsB.升級包放到：/tmp/gpfsins/up下并用解壓命令解壓：gzip-d-cGPFS-3.5.0.26-power-AIX.tar.gz|tar-xvf-輸出：#gzip-d-cGPFS-3.5.0.26-power-AIX.tar.gz|tar-vxf-xchangelog,2518bytes,5mediablocks.xREADME,3832bytes,8mediablocks.xU860137.gpfs.docs.data.bff,926720bytes,1810mediablocks.xU869521.gpfs.msg.en_US.bff,202328bytes,394mediablocks.xU869771.gpfs.base.bff,50028544bytes,97712mediablocks.xU869772.gpfs.gnr.bff,98106368bytes,191614mediablocks.#lsU860137.gpfs.docs.data.bffU869771.gpfs.base.bffchangelogC.通過SMIT安裝命令進行安裝和升級#smittyinstallp進入軟件安裝菜單輸出：#lslpp-lgpfs*FilesetLevelStateDescriptionPath:/usr/lib/objreposgpfs.base3.5.0.3COMMITTEDGPFSFileManagergpfs.gnr3.5.0.3COMMITTEDGPFSNativeRAIDgpfs.msg.en_US3.5.0.3COMMITTEDGPFSServerMessages-U.S.EnglishPath:/etc/objreposgpfs.base3.5.0.3COMMITTEDGPFSFileManagerPath:/usr/share/lib/objreposgpfs.docs.data3.5.0.3COMMITTEDGPFSServerManpagesandDocumentation#smittyupdate_all進入軟件升級菜單輸出#lslpp-lgpfs*FilesetLevelStateDescriptionPath:/usr/lib/objreposgpfs.base3.5.0.26COMMITTEDGPFSFileManagergpfs.gnr3.5.0.22COMMITTEDGPFSNativeRAIDgpfs.msg.en_US3.5.0.22COMMITTEDGPFSServerMessages-U.S.EnglishPath:/etc/objreposgpfs.base3.5.0.26COMMITTEDGPFSFileManagerPath:/usr/share/lib/objreposgpfs.docs.data3.5.0.4COMMITTEDGPFSServerManpagesandDocumentationD.成功的安裝完GPFS之后，運行命令#lslpp-l|grepgpfs*列出如下所示輸出：同上E.添加/etc/environment的執行路徑：/usr/lpp/mmfs/bin修改MM*路徑編輯每臺機器/etc/environment文件，在PATH字段參加mmfs路徑PATH=/usr/bin:/etc:/usr/sbin:/usr/ucb:/usr/bin/X11:/sbin:/usr/java5/jre/bin:/usr/java5/bin:/usr/lpp/mmfs:/usr/lpp/mmfs/sbin:/usr/lpp/mmfs/bin3.創立GPFS心跳地址注：假設條件允許，那么GPFS心跳地址可單獨設置在任一網卡接口上。[root@Lpar1:/]smittytcpip*HOSTNAME[gpfs1]*InternetADDRESS(dotteddecimal)[10.10.10.1]NetworkMASK(dotteddecimal)[255.255.255.0]*NetworkINTERFACEen3NAMESERVERInternetADDRESS(dotteddecimal)[]DOMAINName[]DefaultGatewayAddress(dotteddecimalorsymbolicname)[]Cost[]DoActiveDeadGatewayDetection?NoYourCABLETypeN/ASTARTNowno[root@Lpar2:/]smittytcpip*HOSTNAME[gpfs2]*InternetADDRESS(dotteddecimal)[10.10.10.2]NetworkMASK(dotteddecimal)[255.255.255.0]*NetworkINTERFACEen3NAMESERVERInternetADDRESS(dotteddecimal)[]DOMAINName[]DefaultGatewayAddress(dotteddecimalorsymbolicname)[]Cost[]DoActiveDeadGatewayDetection?NoYourCABLETypeN/ASTARTNowno[root@Lpar2:/]cat/etc/hosts#192.168.1.140LPAR1#192.168.1.141LPAR210.10.10.1LPAR110.10.10.2LPAR2注：可將hosts中其它IP暫時注釋，只保存GPFS心跳地址，因為創立GPFS集群時會解析到其它地址，待mmcrcluster這步后再恢復正常4.配置GPFS集群4.1配置節點文件vi/tmp/gpfs/nodefilegpfs1:quorumgpfs2:quorum或：[root@Lpar2:/]mkdir/usr/lpp/mmfs[root@Lpar2:/]vi/usr/lpp/mmfs/nodefilegpfs1:manager-quorumgpfs2:manager-quorum盡量用第一種方法，后面的采用多個Tiebreakerquorum盤才能生效注：1、一個集群中至少需要一個仲裁〔quorum〕節點，當一個集群中的仲裁節點少于一半，GPFS將無法啟動。2、一個集群中，建議至少要有個一主一備的配置信息效勞器。4.2建立GPFS集群〔這一步必須重啟兩臺效勞器才能執行此命令〕主管理者gpfs1同時將其作為quorum和manager節點。先確保清理干凈原先GPFS集群#mmdelnode-f#mmcrcluster-Cedin-N/usr/lpp/mmfs/nodefile-pgpfs1-sgpfs2#mmcrcluster-Cedin-Ubgbc-N/tmp/gpfs/nodefile-pgpfs1-sgpfs2#mmcrcluster-Cedin-N/usr/lpp/mmfs/nodefile-pgpfs1-sgpfs2MonOct1904:47:00CST2023:6027-1664mmcrcluster:Processingnodegpfs1MonOct1904:47:02CST2023:6027-1664mmcrcluster:Processingnodegpfs2mmcrcluster:Commandsuccessfullycompletedmmcrcluster:6027-1254Warning:NotallnodeshaveproperGPFSlicensedesignations.Usethemmchlicensecommandtodesignatelicensesasneeded.mmcrcluster:6027-1371Propagatingtheclusterconfigurationdatatoallaffectednodes.Thisisanasynchronousprocess.其中參數含義-Cbgbcrun設定集群名稱-Ubgbc定義域名-N/tmp/gpfs/nodefile指定節點文件名-pgpfs1指定主NSD效勞器為gpfs1-sgpfs2指定備NSD效勞器為gpfs24.3確認查看GPFS集群(顯示)#mmlscluster===============================================================================|Warning:||ThisclustercontainsnodesthatdonothaveaproperGPFSlicense||designation.ThisviolatesthetermsoftheGPFSlicensingagreement.||UsethemmchlicensecommandandassigntheappropriateGPFSlicenses||toeachofthenodesinthecluster.FormoreinformationaboutGPFS||licensedesignation,seetheConcepts,Planning,andInstallationGuide.|===============================================================================GPFSclusterinformation========================GPFSclustername:edin.gpfs1GPFSUIDdomain:edin.gpfs1Remoteshellcommand:/usr/bin/rshRemotefilecopycommand:/usr/bin/rcpGPFSclusterconfigurationservers:Primaryserver:gpfs1Secondaryserver:gpfs2NodeDaemonnodenameIPaddressAdminnodenameDesignation1gpfs1192.168.0.62gpfs1quorum-manager2gpfs2192.168.0.63gpfs2quorum-manager4.4激活GPFS授權#mmchlicenseserver--accept-Ngpfs1,gpfs2ThefollowingnodeswillbedesignatedaspossessingGPFSserverlicenses:gpfs1gpfs2mmchlicense:Commandsuccessfullycompletedmmchlicense:6027-1371Propagatingtheclusterconfigurationdatatoallaffectednodes.Thisisanasynchronousprocess.激活后將看不到關于License的警告信息#mmlsclusterGPFSclusterinformation========================GPFSclustername:edin.gpfs1GPFSUIDdomain:edin.gpfs1Remoteshellcommand:/usr/bin/rshRemotefilecopycommand:/usr/bin/rcpGPFSclusterconfigurationservers:Primaryserver:gpfs1Secondaryserver:gpfs2NodeDaemonnodenameIPaddressAdminnodenameDesignation1gpfs1192.168.0.62gpfs1quorum-manager2gpfs2192.168.0.63gpfs2quorum-manager5配置GPFS的共享盤5.1建立NSD〔NetworkSharedDisk〕文件:#vinsdfilehdisk1:gpfs1:gpfs2:dataAndMetadata::cddisk1hdisk2:gpfs1:gpfs2:dataAndMetadata::cddisk2hdisk3:gpfs1:gpfs2:dataAndMetadata::cddisk35.2生成NSD盤#mmcrnsd-F/usr/lpp/mmfs/nsdfilemmcrnsd:Processingdiskhdisk1mmcrnsd:Processingdiskhdisk2mmcrnsd:Processingdiskhdisk3mmcrnsd:6027-1371Propagatingtheclusterconfigurationdatatoallaffectednodes.Thisisanasynchronousprocess.此時，該文件作了轉換catnsdfile#catnsdfile#hdisk1:gpfs1:gpfs2:dataAndMetadata::cddisk1cddisk1:::dataAndMetadata:-1::system#hdisk2:gpfs1:gpfs2:dataAndMetadata::cddisk2cddisk2:::dataAndMetadata:-1::system#hdisk3:gpfs1:gpfs2:dataAndMetadata::cddisk3cddisk3:::dataAndMetadata:-1::system5.3確認結果lspv|grepgpfshdisk100f64935c14a9e3dcddisk1hdisk2nonecddisk2hdisk3nonecddisk35.4啟動GPFS系統mmstartup-aThuJun1615:52:12BEIST2023:6027-1642mmstartup:StartingGPFS...bfts1:6027-2114TheGPFSsubsystemisalreadyactive.bfts2:6027-2114TheGPFSsubsystemisalreadyactive.確認狀態#mmgetstate-aNodenumberNodenameGPFSstate1gpfs1active2gpfs2activeroot@LPAR1:/]#mmgetstate–aL–s-a所有節點-L列出仲裁數-s增加匯總信息6配置GPFS的共享文件系統6.1建立GPFS文件系統#mmcrfs/sharesharelv-F/usr/lpp/mmfs/nsdfile-Ayes-B64K-n30-vnoGPFS:6027-531Thefollowingdisksofsharelvwillbeformattedonnodegpfs1:cddisk1:size209715200KBcddisk2:size209715200KBcddisk3:size2097152KBGPFS:6027-540Formattingfilesystem...GPFS:6027-535Disksuptosize1.7TBcanbeaddedtostoragepoolsystem.CreatingInodeFileCreatingAllocationMapsCreatingLogFilesClearingInodeAllocationMapClearingBlockAllocationMapFormattingAllocationMapforstoragepoolsystemGPFS:6027-572Completedcreationoffilesystem/dev/sharelv.mmcrfs:6027-1371Propagatingtheclusterconfigurationdatatoallaffectednodes.Thisisanasynchronousprocess.參數含義如下：/share文件系統mount點名sharelv指定文件系統lv名-F指定NSD的文件名-A自動mount選項為yes-B塊大小為1024K-v校驗建立磁盤是否已有文件系統為否6.2確認文件系統#mmlsfssharelvflagvaluedescription-f2048Minimumfragmentsizeinbytes-i512Inodesizeinbytes-I8192Indirectblocksizeinbytes-m1Defaultnumberofmetadatareplicas-M2Maximumnumberofmetadatareplicas-r1Defaultnumberofdatareplicas-R2Maximumnumberofdatareplicas-jclusterBlockallocationtype-Dnfs4Filelockingsemanticsineffect-kallACLsemanticsineffect-n30Estimatednumberofnodesthatwillmountfilesystem-B65536Blocksize-QnoneQuotasenforcednoneDefaultquotasenabled--filesetdfnoFilesetdfenabled?-V13.23(3.5.0.7)Filesystemversion--create-timeMonOct1905:58:262023Filesystemcreationtime-uyesSupportforlargeLUNs?-znoIsDMAPIenabled?-L4194304Logfilesize-EyesExactmtimemountoption-SnoSuppressatimemountoption-KwhenpossibleStrictreplicaallocationoption--fasteayesFastexternalattributesenabled?--inode-limit412032Maximumnumberofinodes-PsystemDiskstoragepoolsinfilesystem-dcddisk1;cddisk2;cddisk3Disksinfilesystem--perfileset-quotanoPer-filesetquotaenforcement-AyesAutomaticmountoption-ononeAdditionalmountoptions-T/shareDefaultmountpoint--mount-priority0Mountpriority大多數選項可用mmchfs來修改6.3裝載文件系統#mount/dev/sharelv#df-gFilesystemGBblocksFree%UsedIused%IusedMountedon/dev/hd40.250.0675%1035640%//dev/hd22.620.0599%5180475%/usr/dev/hd9var0.560.2360%895814%/var/dev/hd32.001.6617%631%/tmp/dev/hd10.060.061%51%/home/dev/hd11admin0.120.121%51%/admin/proc-----/proc/dev/hd10opt0.380.1561%1042023%/opt/dev/livedump0.250.251%41%/var/adm/ras/livedump/dev/sharelv402.00401.481%40361%/share6.4建立目錄[App1][root][/]>mkdir/share/user1work[App1][root][/]>chownuser1:bea/share/user1work[App1][root][/]>chmod700/share/user1work[App1][root][/]>mkdir/share/user1temp[App1][root][/]>chownuser1:bea/share/user1temp[App1][root][/]>chmod750/share/user1temp同樣在另3臺機器建立其他目錄并修改相應所有者即權限，即work目錄只有所有者可操作，temp目錄可讀可進入。7配置GPFS的屬性7.1配置GPFS選項屬性a.在節點開機后自動啟動GPFS#mmchconfigautoload=yesmmchconfig:Commandsuccessfullycompletedmmchconfig:6027-1371Propagatingtheclusterconfigurationdatatoallaffectednodes.Thisisanasynchronousprocess.b.采用多個Tiebreakerquorum盤？？？？#mmchconfigTiebreakerdisk="cddisk1;cddisk2;cddisk3"mmchconfig:6027-1377Attention:Unknownattributespecified:Tiebreakerdisk.PresstheENTERkeytocontinue.mmchconfig:6027-1573Commandcompleted:Nochangesmadec.更改pagepool大小#mmchconfigpagepool=512mmmchconfig:Commandsuccessfullycompletedmmchconfig:6027-1371Propagatingtheclusterconfigurationdatatoallaffectednodes.Thisisanasynchronousprocess.d.顯示GPFS屬性〔注意下面的區別〕#mmlsconfigConfigurationdataforclusteredin.gpfs1:myNodeConfigNumber1clusterNameedin.gpfs1autoloadyesdmapiFileHandleSize32pagepool512madminModecentralFilesystemsinclusteredin.gpfs1:/dev/sharelv#mmlsconfigConfigurationdataforclusteritas.bfts1:clusterNameitas.bfts1clusterIdclusterTypelcautoloadyesminReleaseLeveldmapiFileHandleSize32pagepool512mtiebreakerDisksitasgpfs1;itasgpfs2;itasgpfs3Filesystemsinclusteritas.bfts1:/dev/gpfs_itas至此GPFS的安裝配置完成#mmgetstate-aNodenumberNodenameGPFSstate1gpfs1active2gpfs2active實施結果最終，通過userid的不同，在gpfs1的共享目錄/share下，user1只能讀寫自己文件夾的文件，對其它用戶的temp目錄可讀，對其它用戶的work目錄不能讀寫。[App1][/share]>ls-latrdrwx2user1bea2048Jun2817:21user1workdrwxr--x--2user1bea2048Jun2817:21user1tempdrwx2502bea2048Jun2817:22user2workdrwxr--x2502bea2048Jun2817:22user2tempdrwx2503bea2048Jun2817:22user3workdrwxr-x--2503bea2048Jun2817:22user3tempdrwxr2504bea2048Jun2817:22user4workdrwxr-x2504bea2048Jun2817:23user4temp[App1][user1][/share]>cduser2workksh:user2temp:Permissiondenied.[App1][user1][/share]>cduser2temp[App1][user1][/share]>>aThefileaccesspermissionsdonotallowthespecifiedaction.ksh[2]:a:0403-005Cannotcreatethespecifiedfile.[App1][user1][/share]>cd/user1temp[App1][user1][/share/user1temp]>>a[App1][user1][/share/user1temp]>ls-l-rw-r1user1bea0Aug1318:47a[App1][user1][/share/xhtemp]>rma[App1][user1][/share/xhtemp]>ls-l[App1][/share]>ls-latrdrwxr2user1bea2048Jun2817:21user1workdrwxr2user1bea2048Jun2817:21user1tempdrwxr2502bea2048Jun2817:22user2workdrwxr2502bea2048Jun2817:22user2tempdrwxr2503bea2048Jun2817:22user3workdrwxr2503bea2048Jun2817:22user3tempdrwxr2504bea2048Jun2817:22user4workdrwxr2504bea2048Jun2817:23user4temp同樣，在其它3臺機器也有類似我們希望的結果。8.GPFS管理和維護8.1主機應用的啟動順序啟動GPFSmmstartup–adf–g/gpfs1啟動HACMPsmittyclstart啟動ORACLE數據庫#su–oracle$>sqlplus“/assysdba〞SQL>startup8.2GPFS的啟動和關閉GPFS的啟動mmstartup–aroot@LPAR1:/]#mmstartupLPAR1//單節點啟動root@LPAR1:/]#mmstartup-NLPAR1,LPAR2//多節點啟動root@LPAR1:/]#mmstartup–a//多有節點啟動GPFS的關閉mmshutdown–aroot@LPAR1:/]#mmshutdownLPAR1//關閉單節點root@LPAR1:/]#mmshutdownLPAR1，LPAR2//關閉多節點root@LPAR1:/]#mmshutdown-a//關閉所有節點單個節點gpfs的啟動和關閉mmstartup/mmshutdown節點狀態root@LPAR1:/]#mmgetstate–aL–s-a所有節點-L列出仲裁數-s增加匯總信息GPFS的進程監控ps–ef|grepmmfsdmmgetstate-a8.3GPFS的文件系統管理Mount文件系統mount/dev/gpfs1Umount文件系統umount/dev/gpfs1刪除文件系統mmdelfsmmdelfsgpfs1mmchfsmmlsfsmmlsfsgpfs1mmdfmmdfgpfs18.4GPFS的集群管理創立gpfsclustermmcrcluster觀察gpfscluster配置信息mmlsclustermmlsconfig增加節點到clustermmaddnodenodename刪除節點從clustermmdelnodenodename注：不能是configserver和NSDserver顯示節點信息mmlsnode-a改變cluster配置信息mmchcluster改變primary和secondaryconfigserver到其他節點mmchcluster-pnodenamemmchconfigmmchconfigtiebreakerDisks="nsdName;nsdName;nsdName"8.5GPFS的磁盤管理mmcrnsdmmlsnsdmmadddiskmmdeldiskmmchdiskmmchdiskfs1change-d"gpfs2nsd:::dataOnly"mmchnsdmmchnsd"gpfs47nsd:nodename1:nodename2"mmlsdiskm