44/44FZPU雙機安裝文檔(Solaris10+Oracle9i+SVM+SunCluster3.1)文檔版本：RCV1.0編寫作者：Fzpu印刷約定藍色代表系統showrun內容紅色代表注釋參考資料:SunCluster3.18/05發行說明（適用于SolarisOS）SunCluster軟件安裝指南（適用于SolarisOS）SunCluster系統管理指南（適用于SolarisOS）用于Oracle的SunCluster數據效勞指南（適用于SolarisOS）SolarisVolumeManager管理指南SunStorageTek?CommonArrayManager軟件安裝指南SunStorageTek?6140陣列硬件安裝指南日期：2008.11.1硬件環境：管理工作站：無效勞器：2×SUNV490磁盤陣列：SUNStortek6140軟件環境：Solaris10SunCluster3.1SunClusteragentforHA-OracleSolarisVolumeManager主機命名規則：效勞器：第一臺V490：web-db1；第二臺V490：web-db2Suncluster+oracle安裝規劃（如表K-1所示）：表K-1操作系統SunSolaris1005/08集群軟件SunCluster3.1卷管理軟件SolarisVolumeManager數據庫軟件Oracle節點1節點2浮動IP地址6子網掩碼網關54IPMP測試IP地址1web-db1-ce0-test2web-db1-ce1-test3web-db2-ce0-test4web-db2-ce1-test節點1對應的主機名web-db1節點2對應的主機名web-db2Cluster名稱fzpu-cluster系統用戶oracle(dba組)浮動IP對應的主機名web-db一效勞器V490的安裝：1.安裝前的規劃每臺效勞器配有兩個146G的硬盤做raid1，其中web-db1有16G內存做主節點,web-db2有8G內存。系統安裝好之后，兩個節點的分區一致，防止出現不可預料的情況。按圖1的連接方式，使web-db1和web-db2同時連接6140，確保兩臺主機都能找到Stortek6140內的硬盤。圖1:2.操作系統安裝操作系統：Solaris10注意：在安裝操作系統的過程中千萬要注意兩臺主機都不要接存儲，不然的話兩臺主機的系統盤和Stortek6140的Target號會不一致，會對以后的安裝產生影響。安裝操作系統EIS補丁詳細步驟3)按照以下的規劃安裝操作系統web-db1與web-db2相同(表K-2)：由于要安裝SC3.1+svm，請預留系統盤的第5分區空間1G，用來建立/globaldevices，第七分區空間512MB用來放置metadb信息注：/globaldevices-創立一個512兆字節的文件系統供scinstall實用程序針對全局設備使用。（分片7）meta分區用于存放卷管理器的狀態數據庫副本在磁盤的最后一個分片上創立一個20兆字節的分區供卷管理器使用。如果群集使用VERITASVolumeManager(VxVM)并且您要封裝根磁盤，則需要有兩個未使用的盤片以供VxVM使用。表K-2分區號分區名分區大小說明0/91325MB為分片1至7分配空間后磁盤中剩余的空閑空間。可供SolarisOS、SunCluster軟件、數據效勞軟件、卷管理器軟件、SunManagementCenter代理和SunCluster模塊代理軟件包、根文件系統以及數據庫和應用程序軟件使用。1Swap16G2Overlap139989MB整個磁盤3/var20G4/tmp10G5/globaldevices1GBSunCluster軟件稍后會給該盤片指定一個不同的裝載點并將它裝載為一個群集文件系統。6未使用7卷管理器512MBmetadb專用文件系統和磁盤格式以下匯總是你當前的文件系統和磁盤格式,基于你所提供的信息.注意:如果你選擇用戶化,則你應該了解文件系統,它們在磁盤上的期望目的以及如何改變它們可能會影響系統的操作.文件系統/安裝點硬盤/分片大小========================================================================/c1t1d0s091325MBswapc1t1d0s116386MBoverlapc1t1d0s2139989MB/varc1t1d0s320481MB/tmpc1t1d0s410245MB/globaldevicesc1t1d0s51033MBc1t1d0s7516MB4)設置OBP變量local-mac-address為true，

在OBP下：setenv local-mac-address?true

或在Solaris下：eepromlocal-mac-address?=true注：（此選項為solaris多路徑必須滿足的條件，local-mac-address?變量必須使用Ethernet適配器的默認值true。對于以太網適配器，SunCluster軟件不支持local-mac-address?的值為false。此要求與SunCluster3.0不同，SunCluster3.0要求local-mac-address?的值為false。）5)配置/etc/hosts，輸入所有cluster節點和邏輯主機IP記錄：在兩臺主機上配置好

IPMP連接兩條ce口私網線配置IPMPweb-db1的/etc/hosts信息##Internethosttable#::1localhostlocalhostweb-db1loghostweb-db2#IPMPtestaddress1web-db1-ce0-test2web-db1-ce1-test#logicaddress6web-db(全局邏輯地址)web-db1的/etc/hostname.ce0信息web-db1netmask+broadcast+groupipmp0upaddifweb-db1-ce0-testnetmask+broadcast+deprecated-failoverupweb-db1的/etc/hostname.ce1信息web-db1-ce1-testnetmask+broadcast+groupipmp0deprecated-failoverup

web-db2的/etc/hosts信息root@web-db2#cat/etc/hosts##Internethosttable#::1localhostlocalhostweb-db2loghostweb-db1#IPMPtestaddress3web-db2-ce0-test4web-db2-ce1-test#logicaddress6web-db(全局邏輯地址)web-db2的/etc/hostname.ce0信息web-db2netmask+broadcast+groupipmp0upaddifweb-db2-ce0-testnetmask+broadcast+deprecated-failoverupweb-db2的/etc/hostname.ce1信息web-db2-ce1-testnetmask+broadcast+groupipmp0deprecated-failoverup以下在兩機上完成6)修改文件/etc/defaultrouter，設置缺省路由vi/etc/defaultrouter

547)修改文件/etc/system，參加以下3行：

exclude:lofssetce:ce_taskq_disable=1二．Stortek6140安裝識別.1配置StorEdge6140：

詳細配置注：StorEdge6140共有10塊146GFC硬盤，其中8個硬盤做RAID5，剩下的2個做hotspare盤。由于suncluster需要一個quorum盤，Oracle需使用raw做文件系統，所以劃分了三個partion。Quorum分區1024MB即可。讓系統重新掃描硬件設備root@web-db1#reboot---r

運行cfgadm

–al

可以看見系統已經注冊了控制器，只需啟用多路徑mpxio即可。root@web-db1#cfgadm-alAp_IdTypeReceptacleOccupantConditionc0scsi-busconnectedconfiguredunknownc0::dsk/c0t0d0CD-ROMconnectedconfiguredunknownc1fc-privateconnectedconfiguredunknownc1::5000cca00432dcc9diskconnectedconfiguredunknownc1::5000cca00432dce1diskconnectedconfiguredunknownc2fc-privateconnectedconfiguredunknownc2::200400a0b82aaf01diskconnectedconfiguredunknownc3fc-privateconnectedconfiguredunknownc3::200500a0b82aaf01diskconnectedconfiguredunknownusb0/1usb-mouseconnectedconfiguredokusb0/2usb-deviceconnectedconfiguredokusb0/3unknownemptyunconfiguredokusb0/4unknownemptyunconfiguredokroot@web-db1#ls-l/dev/fc總數6lrwxrwxrwx1rootroot5112月1日12:55fp0->../../devices/pci@8,600000/SUNW,qlc@1/fp@0,0:devctllrwxrwxrwx1rootroot5112月1日12:55fp1->../../devices/pci@8,600000/SUNW,qlc@2/fp@0,0:devctllrwxrwxrwx1rootroot5112月1日12:55fp2->../../devices/pci@9,600000/SUNW,qlc@2/fp@0,0:devctl注：（fp0,fp1為HBA卡上的光纖通道,fp2為本地的光線通道fp0,fp1開啟多路徑，fp2關閉多路徑）root@web-db1#vi/kernel/drv/fp.conf

添加如下語句。

注釋掉#mpxio-disable="yes";parent="/pci@8,600000/SUNW,qlc@1"port=0mpxio-disable="no";name="fp"parent="/pci@8,600000/SUNW,qlc@2"port=0mpxio-disable="no";name="fp"http://fp0,fp1開啟多路徑parent="/pci@9,600000/SUNW,qlc@2"port=0mpxio-disable="yes";name="fp"

//fp2關閉多路徑注:（多路徑軟件用于管理指向共享群集存儲設備的多個I/O路徑。對于Solaris8或Solaris9操作系統，安裝并配置SunStorEdgeTrafficManager軟對于Solaris10操作系統，啟用Solaris多路徑功能，此功能作為Solaris10軟件的一局部已被默認安裝。以上說明在HBA卡FC接口上啟用mpxio，而不是全局啟用。這樣正常陣列設備識別的磁盤號就為長串字符，而本地磁盤識別的磁盤號為正常的cxtxsx，因為只是在FC口局部啟用的多路徑，而本地禁用多路徑）

root@web-db1#stmsboot–uWARNING:Thisoperationwillrequireareboot.

Doyouwanttocontinue?[y/n](default:y)y

Thechangeswillcomeintoeffectafterrebootingthesystem.

Rebootthesystemnow?[y/n](default:y)y

在web-server2上執行相同的步驟

可以看見盤陣已經變成multipath-devices

root@web-db1#formatSearchingfordisks...doneAVAILABLEDISKSELECTIONS:0.c1t0d0<SUN146Gcyl14087alt2hd24sec848>/pci@9,600000/SUNW,qlc@2/fp@0,0/ssd@w5000cca00432dcc9,01.c1t1d0<SUN146Gcyl14087alt2hd24sec848>/pci@9,600000/SUNW,qlc@2/fp@0,0/ssd@w5000cca00432dce1,02.c4t600A0B80002A2B320000066F492B138Dd0<SUN-CSM200_R-0619cyl63998alt2hd256sec64>/scsi_vhci/ssd@g600a0b80002a2b320000066f492b138d3.c4t600A0B80002AAF00000007BF492B135Cd0<SUN-CSM200_R-0619cyl510alt2hd64sec64>/scsi_vhci/ssd@g600a0b80002aaf00000007bf492b135c4.c4t600A0B80002AAF00000007C5492B13D6d0<SUN-CSM200_R-0619cyl65533alt2hd128sec113>/scsi_vhci/ssd@g600a0b80002aaf00000007c5492b13d6Specifydisk(enteritsnumber):root@web-db2#formatSearchingfordisks...doneAVAILABLEDISKSELECTIONS:0.c1t0d0<SUN146Gcyl14087alt2hd24sec848>/pci@9,600000/SUNW,qlc@2/fp@0,0/ssd@w21000000878d59a1,01.c1t1d0<SUN146Gcyl14087alt2hd24sec848>/pci@9,600000/SUNW,qlc@2/fp@0,0/ssd@w21000000878d0ef5,02.c4t600A0B80002A2B320000066F492B138Dd0<SUN-CSM200_R-0619cyl63998alt2hd256sec64>/scsi_vhci/ssd@g600a0b80002a2b320000066f492b138d3.c4t600A0B80002AAF00000007BF492B135Cd0<SUN-CSM200_R-0619cyl510alt2hd64sec64>/scsi_vhci/ssd@g600a0b80002aaf00000007bf492b135c4.c4t600A0B80002AAF00000007C5492B13D6d0<SUN-CSM200_R-0619cyl65533alt2hd128sec113>/scsi_vhci/ssd@g600a0b80002aaf00000007c5492b13d6三．Cluster軟件安裝配置

1.Sun軟件的安裝雙機軟件采用sun公司的suncluster3.1，此軟件已經集成到JES（JavaEnterpriseSystem）軟件包中。cd/var/spool/stage/JES_05Q4/Solaris_sparc可通過運行以下命令進行安裝：GUImode:./installerCLImode:./installer-nodisplay2.SunCluster環境配置

兩個節點通訊用

root@web-db1#vi.rhosts

+root@web-db1#vi/etc/hosts.equivweb-db1web-db2web-db

3，打EIS補丁軟件安裝完畢之后，也需要打補丁。不過suncluster安裝完畢之后，系統默認已經啟動效勞，安裝補丁之前需停用suncluster效勞。（兩個節點上做）安裝完畢后，執行reboot---x

重啟之后不進入suncluster環境安裝SC3.1的patches；root@web-db1#lofiadm-a/opt/iso/eis-dvd.iso/dev/lofi/1root@web-db1#lofiadmBlockDeviceFile/dev/lofi/1/opt/iso/eis-dvd.isoroot@web-db1#mount-F/dev/lofi/1/mnt/iso/root@web-db1#mount-Fhsfs/dev/lofi/1/mnt/iso/root@web-db1#cd/mnt/iso/sun/installroot@web-db1#./setup-standard.shinit6重啟系統。root@web-db1#unpack-patches注：（進入cluster補丁包的目錄，用這個命令一次打EIS補丁集）然后執行命令init6重啟系統。在web-db2上執行以上相同的步驟4.Scintall配置配置主節點web-db1具體內容摘錄:root@web-db1#scinstall***主菜單***請選擇以下某一帶(*)的選項：*1)安裝群集或群集節點2)將群集配置為從此安裝效勞器中快速啟動3)在此群集節點中添加對新數據效勞的支持4)升級此群集節點5)打印此群集節點的發行信息*?)菜單項選擇項中的幫助*q)退出選項：1***安裝菜單***請選擇以下任一選項：1)安裝新群集的所有節點2)只將此機器安裝為新群集的第一個節點3)將此機器添加為現有群集中的節點?)菜單項選擇項中的幫助q)返回主菜單選項：2***只安裝新群集的第一個節點***此選項用于建立新的群集，該群集使用此機器作為其第一個節點。安裝群集框架軟件之后，系統將要求您輸入群集的名稱。然后，您可以運行sccheck(1M)來測試此機器是否滿足SunCluster預配置的根本要求。sccheck(1M)通過后，系統將要求您輸入最初將參加該群集的其他節點的名稱。除非此群集為單節點群集，否則系統還將要求您輸入某些群集傳輸配置信息。可以隨時按Control-d組合鍵返回主菜單。是否要繼續(yes/no)[yes]?y>>>安裝類型<<<進行群集安裝時可以選擇兩種安裝類型。對于大多數群集，建議使用“典型〞安裝。但是，如果不是所有的“典型〞缺省值都適用于您的群集，可能需要選擇“定制〞選項。有關“典型〞安裝和“定制〞安裝這兩種方法之間的差異的詳細信息，請從菜單中選擇“幫助〞選項。請選擇以下某一選項：1)典型2)定制?)幫助q)返回主菜單選項：[1]2注：（選擇定制安裝，因為在其后將配制用于集群成員間通信的專用網絡地址，cluster給出的地址為/16與我們現有的IP地址重復，要將它改為屏蔽的專用子網例如/16）>>>群集名<<<每個群集都有指定的名稱。該名稱可以由除空白以外的任何字符組成。在企業的名稱空間中，每個群集的名稱應該是唯一的。要建立的群集的名稱是什么[]?fzpu-cluster>>>檢查<<<您可以在此步驟中運行sccheck(1M)，以檢驗是否已滿足某些根本的硬件和軟件預配置要求。如果sccheck(1M)檢測到將此機器配置為群集節點時存在潛在的問題，則準備故障檢查報告并將其顯示在屏幕上。收集數據和生成報告可能要花費幾分鐘時間，這取決于系統的配置。是否要運行sccheck(yes/no)[yes]?No>>>群集節點<<<此SunCluster發行版最多支持16個節點。請列出為初始群集配置規劃的其他節點的名稱。每行列出一個節點名。完成后，請按Control-D組合鍵：節點名（按Control-D組合鍵以完成）：web-db2>>>群集節點<<<此SunCluster發行版最多支持16個節點。請列出為初始群集配置規劃的其他節點的名稱。每行列出一個節點名。完成后，請按Control-D組合鍵：節點名（按Control-D組合鍵以完成）：web-db2節點名（按Control-D組合鍵以完成）：^D這是完整的節點列表：web-db1web-db28)Selectthefirstclustertransportadapter:ce2

9)Selectthesecondclustertransportadapter:ce3

10)Doyouwanttodisableautomaticquorumdeviceselection(yes/no)[no]?

yes

11)Doyouwantscinstalltorebootforyou(yes/no)[yes]?

y配置次節點web-db2***主菜單***請選擇以下某一帶(*)的選項：*1)安裝群集或群集節點2)將群集配置為從此安裝效勞器中快速啟動3)在此群集節點中添加對新數據效勞的支持4)升級此群集節點5)打印此群集節點的發行信息*?)菜單項選擇項中的幫助*q)退出選項：1***安裝菜單***請選擇以下任一選項：1)安裝新群集的所有節點2)只將此機器安裝為新群集的第一個節點3)將此機器添加為現有群集中的節點?)菜單項選擇項中的幫助q)返回主菜單選項：33)

***AddingaNodetoanExistingCluster***

Doyouwanttocontinue(yes/no)[yes]?

4)

>>>TypeofInstallation<<<

Typical

5)

Whatisthenameofthesponsoringnode?

web-db1

6)

Whatisthenameoftheclusteryouwanttojoin?

fzpu-cluster

7)

Doyouwanttorunsccheck(yes/no)[yes]?no

8)

>>>AutodiscoveryofClusterTransport<<<

Doyouwanttouseautodiscovery(yes/no)[yes]?

y

9)

Doyouwantscinstalltorebootforyou(yes/no)[yes]?y5.執行命令scstat–p檢查確認所有cluster節點都處于online狀態；具體內容摘錄:root@web-db1#scstat-pClusterNodes--NodenameStatusClusternode:web-db1OnlineClusternode:web-db2OnlineClusterTransportPaths--EndpointEndpointStatusTransportpath:web-db1:ce1WEB-DB2:ce1PathonlineTransportpath:web-db1:ce0WEB-DB2:ce0PathonlineQuorumSummary--Quorumvotespossible:1Quorumvotesneeded:1Quorumvotespresent:1--QuorumVotesbyNode--NodeNamePresentPossibleStatusNodevotes:web-db111OnlineNodevotes:web-db200Online--QuorumVotesbyDevice--DeviceNamePresentPossibleStatusDeviceGroupServers--DeviceGroupPrimarySecondaryDeviceGroupStatus--DeviceGroupStatus--Multi-ownerDeviceGroups--DeviceGroupOnlineStatusIPMPGroups--NodeNameGroupStatusAdapterStatusIPMPGroup:web-db1ipmp0Onlinece3OnlineIPMPGroup:web-db1ipmp0Onlinece2Online6．重新檢測所有的節點上配置IPMP是否配好root@web-db1#ifconfig-alo0:flags=2001000849<UP,LOOPBACK,RUNNING,MULTICAST,IPv4,VIRTUAL>mtu8232index1inetnetmaskff000000ce0:flags=1000843<UP,BROADCAST,RUNNING,MULTICAST,IPv4>mtu1500index2inetnetmaskffffff00broadcast55groupnameipmp0ether0:14:4f:44:55:cace0:1:flags=9040843<UP,BROADCAST,RUNNING,MULTICAST,DEPRECATED,IPv4,NOFAILOVER>mtu1500index2inet1netmaskffffff00broadcast55ce1:flags=9040843<UP,BROADCAST,RUNNING,MULTICAST,DEPRECATED,IPv4,NOFAILOVER>mtu1500index3inet2netmaskffffff00broadcast55groupnameipmp0ether0:14:4f:67:3c:92ce1:1:flags=1040843<UP,BROADCAST,RUNNING,MULTICAST,DEPRECATED,IPv4>mtu1500index3inet6netmaskffffff00broadcast55ce2:flags=1008843<UP,BROADCAST,RUNNING,MULTICAST,PRIVATE,IPv4>mtu1500index5inet29netmaskffffff80broadcast55ether0:14:4f:85:e6:37ce3:flags=1008843<UP,BROADCAST,RUNNING,MULTICAST,PRIVATE,IPv4>mtu1500index4inetnetmaskffffff80broadcast27ether0:14:4f:85:e6:36clprivnet0:flags=1009843<UP,BROADCAST,RUNNING,MULTICAST,MULTI_BCAST,PRIVATE,IPv4>mtu1500index6inetnetmaskffffff00broadcast55ether0:0:0:0:0:17.設置quorumdisk盤在所有節點執行命令scdidadm–L查看硬盤ID，選擇兩Cluster節點主機都能看到的硬盤ID；具體內容摘錄:

查看共享磁盤設備(se6140)的全局設備號（did）。D4為quorum盤、d5，D6為RAW設備。D7為備用root@web-db1#scdidadm-L1web-db1:/dev/rdsk/c0t0d0/dev/did/rdsk/d12web-db1:/dev/rdsk/c1t1d0/dev/did/rdsk/d23web-db1:/dev/rdsk/c1t0d0/dev/did/rdsk/d34web-db1:/dev/rdsk/c4t600A0B80002AAF00000007C5492B13D6d0/dev/did/rdsk/d44web-db2:/dev/rdsk/c4t600A0B80002AAF00000007C5492B13D6d0/dev/did/rdsk/d45web-db1:/dev/rdsk/c4t600A0B80002A2B320000066F492B138Dd0/dev/did/rdsk/d55web-db2:/dev/rdsk/c4t600A0B80002A2B320000066F492B138Dd0/dev/did/rdsk/d56web-db1:/dev/rdsk/c4t600A0B80002AAF00000007BF492B135Cd0/dev/did/rdsk/d66web-db2:/dev/rdsk/c4t600A0B80002AAF00000007BF492B135Cd0/dev/did/rdsk/d67web-db2:/dev/rdsk/c0t0d0/dev/did/rdsk/d78web-db2:/dev/rdsk/c1t0d0/dev/did/rdsk/d89web-db2:/dev/rdsk/c1t1d0/dev/did/rdsk/d92)在節點1，執行命令scsetup指定d6作為quorumdisk盤Isitokaytocontinue(yes/no)[yes]?yes

Whichglobaldevicedoyouwanttouse(d<N>)?D6

Isitokaytoproceedwiththeupdate(yes/no)[yes]?yes

Doyouwanttoaddanotherquorumdisk(yes/no)?no注：（查詢磁盤號d6的容量1024M，作為我們先前設定的quorumdisk）

Isitokaytoreset“installmode〞(yes/no)[yes]?yes8。參加所有私網IP地址到/etc/hosts,可以通過如下方式獲取私網IP地址#grepip_address/etc/cluster/ccr/infrastructure每個IP地址必須指定唯一的主機名，建議如下命名：root@web-db1#grepip_address/etc/cluster/ccr/perties.ip_address29perties.ip_addressperties.ip_address30perties.ip_address四.磁盤資源配置1.在所有節點上修改文件/kernel/drv/md.conf，修改nmd的值為：max:nmd=1024注：（在Solaris10版本中，SolarisVolumeManager的功能已得到增強，它可以動態配置卷。不再需要編輯/kernel/drv/md.conf文件中的nmd和md_nsets參數。根據需要動態創立新卷。）2.重啟所有節點重新識別設備：scshutdown;boot-r3.在所有節點運行命令：

scgdevs第二塊硬盤同步第一塊的磁盤分區信息注：（在安裝solaris時本地第二塊硬盤可不分區）prtvtoc/dev/rdsk/c1t0d0s2|fmthard-s-/dev/rdsk/c1t1d0s2

創立轉臺數據庫副本，至少要有3個狀態數據庫副本metadb–a–f-c3c1t0d0s7

metadb–a–f-c3c1t1d0s74.在主節點上鏡像本地硬盤：

metainit–fd10111c1t0d0s0

metainitd10211c1t1d0s0

metainitd100–md101

metainit–fd10411c1t0d0s1

metainitd10511c1t1d0s1

metainitd103–md104

metainit–fd10711c1t0d0s3metainitd10811c1t1d0s3

metainitd106–md107metainit–fd11011c1t0d0s4metainitd11111c1t1d0s4metainitd109–md110metainit–fd11311c1t0d0s5metainitd11411c1t1d0s5metainitd112–md113metarootd100

注（在這里我們創立本地兩塊磁盤的RAID1卷，分別是d100,d103,d106,d109,d112,其中d100為根盤的鏡像卷，本地metadevice的設備號用100以上的，切在做另一個節點是設備好不能與此重復）5.修改文件/etc/vfstab中對應的記錄：

root@web-db1#cat/etc/vfstab#devicedevicemountFSfsckmountmount#tomounttofsckpointtypepassatbootoptions#fd-/dev/fdfd-no-/proc-/procproc-no-/dev/md/dsk/d103--swap-no-/dev/md/dsk/d100/dev/md/rdsk/d100/ufs1no-/dev/md/dsk/d106/dev/md/rdsk/d106/varufs1no-#/dev/dsk/c1t0d0s5/dev/rdsk/c1t0d0s5/globaldevicesufs2yes-/dev/md/dsk/d109/dev/md/rdsk/d109/tmpufs2yes-/devices-/devicesdevfs-no-ctfs-/system/contractctfs-no-objfs-/system/objectobjfs-no-/dev/md/dsk/d112/dev/md/rdsk/d112/global/.devices/node@1ufs2noglobal~6.sync;init07.在OK狀態，設置引導順序OKdevaliasOkNvaliasdiskmirr/pci@9,600000/SUNW,qlc@2/fp@0,0/ssd@w5000cca00432dce1,0:aOknvstoreOksetenvboot-devicediskdiskmirrnet

8.重啟后，使鏡像掛上卷metattachd100d102

metattachd103d105

metattachd106d108metattachd109d111metattachd112d1149.在備節點上鏡像本地硬盤metainit–fd20111c1t0d0s0

metainitd20211c1t1d0s0

metainitd200–md201

metainit–fd20411c1t0d0s1

metainitd20511c1t1d0s1

metainitd203–md204

metainit–fd20711c1t0d0s3metainitd20811c1t1d0s3

metainitd206–md207metainit–fd11011c1t0d0s4metainitd11111c1t1d0s4metainitd209–md210metainit–fd11311c1t0d0s5metainitd21411c1t1d0s5metainitd212–md213metarootd200注：（本地metadevice的設備號用200以上的，并不要和主節點的metadevice重復，在這里我們創立本地兩塊磁盤的RAID1卷，分別是d200,d203,d206,d209,d212,其中d200為根盤的鏡像卷，）10.修改文件/etc/vfstab中對應的記錄：

root@web-db2#cat/etc/vfstab#devicedevicemountFSfsckmountmount#tomounttofsckpointtypepassatbootoptions#fd-/dev/fdfd-no-/proc-/procproc-no-/dev/md/dsk/d203--swap-no-/dev/md/dsk/d200/dev/md/rdsk/d200/ufs1no-/dev/md/dsk/d206/dev/md/rdsk/d206/varufs1no-#/dev/dsk/c1t0d0s5/dev/rdsk/c1t0d0s5/globaldevicesufs2yes-/dev/md/dsk/d209/dev/md/rdsk/d209/tmpufs2yes-/devices-/devicesdevfs-no-ctfs-/system/contractctfs-no-objfs-/system/objectobjfs-no-/dev/md/dsk/d212/dev/md/rdsk/d212/global/.devices/node@2ufs2noglobal~11.sync;init012.在OK下：setenvboot-devicerootdiskrootmirr，然后重啟

metattachd200d202

metattachd203d205

metattachd206d208metattachd209d211metattachd212d21413.在所有節點上添加如下一行到文件/etc/system里：

setmd:mirrored_root_flag=1

查看metadb庫信息

root@web-db1#metadbflagsfirstblkblockcountampluo168192/dev/dsk/c1t0d0s7apluo82088192/dev/dsk/c1t0d0s7apluo164008192/dev/dsk/c1t0d0s7apluo168192/dev/dsk/c1t1d0s7apluo82088192/dev/dsk/c1t1d0s7apluo164008192/dev/dsk/c1t1d0s7

root@web-db2#metadbflagsfirstblkblockcountampluo168192/dev/dsk/c1t0d0s7apluo82088192/dev/dsk/c1t0d0s7apluo164008192/dev/dsk/c1t0d0s7apluo168192/dev/dsk/c1t1d0s7apluo82088192/dev/dsk/c1t1d0s7apluo164008192/dev/dsk/c1t1d0s7

14.在第一個節點上，用did設備建立共享硬盤組和meta設備：

1)創立磁盤集ora_data

metaset

-s

ora_data

-a

-h

web-db1web-db2

注：（關于不能使用-M項，-M是用來創立多屬主主機磁盤的，就是在同一時間兩節點都可以對磁盤集有讀寫的權限，這是sunclusterforORACLERAC的東西，要滿足一定要件才能創立成功）metaset:只允許在多屬主磁盤集上使用-M選項用法:metaset-s集名稱-a[-Aenable|disable]-h主機名...metaset-s集名稱-a[-M]-h主機名...metaset-s集名稱-a[-M][-l長度][-L]驅動器名稱...metaset-s集名稱-d[-M]-h主機名...metaset-s集名稱-d[-M]-f-h所有主機名metaset-s集名稱-d[-M][-f]驅動器名稱...metaset-s集名稱-d[-M][-f]主機名...metaset-s集名稱-Aenable|disablemetaset-s集名稱-t[-f]metaset-s集名稱-rmetaset[-s集名稱]-j[-M]metaset[-s集名稱]-w[-M]metaset-s集名稱-P[-M]metaset-s集名稱-b[-M]metaset-s集名稱-o[-M][-h主機名]metaset[-s集名稱]主機名=/etc/nodename的內容驅動器名稱=cNtNdN無盤片[-M]對于多屬主集是可選的，但在創立集時例外2).將共享磁盤d4，d5添加到磁盤集ora_data中metaset–sora_data–a/dev/did/rdsk/d4s0

metaset–sora_data–a/dev/did/rdsk/d5s0

注：（did設備只映射2個有意義的slice，slice0和7，s7只有8m放一個metadb，s0代表全部可用空）3)查看磁盤集ora_data屬性

root@web-db1#metaset-sora_data設置名稱=ora_data,設置數量=1主機屬主web-db1是web-db2驅動Dbased4是d5是

創立磁盤集在任意一個節點操作即可注:(關于磁盤集屬主的問題，在哪臺機器上創立先創立了磁盤集那個節點就默認為磁盤集的數組，在實施中如果還未對cluster配置資源，會發生節點不能對磁盤集設置和寫入的問題，可以用命令在需要切換的節點上運行命令metaset–sora_data–t進行切換)

4)查看suncluster中磁盤集ora_data狀態

root@web-db1#scstat–p

--DeviceGroupServers--DeviceGroupPrimarySecondaryDevicegroupservers:ora_datadbserver1dbserver2--DeviceGroupStatus--DeviceGroupStatusDevicegroupstatus:ora_dataOnline

5）初始化d5、d6為metadevices

metainit-soracle-datad5011/dev/did/dsk/d5

metainit-soracle-datad6011/dev/did/dsk/d6

五.ORACLE數據庫的規劃以及安裝1.在web-db1上安裝ORACLE（見附錄1。ORACLE安裝文檔）注：(只在web-db1上操作，安裝過程中不進行數據庫的創立)2.創立數據庫并應用oracle裸設備1）創立oracle裸設備的配置文件，并參加環境變量（兩節點同時做）DBCA_RAW_CONFIG=/opt/oracle/raw.txtExportDBCA_RAW_CONFIG以下為編輯/opt/oracle/raw.txt內容cwmlite=/opt/oracle/oradata/fzpu/cwmlite01.dbfdrsys=/opt/oracle/oradata/fzpu/drsys01.dbffict_data=/opt/oracle/oradata/fzpu/fict_data.dbffqct_data=/opt/oracle/oradata/fzpu/fqct_data.dbffzpu=/opt/oracle/oradata/fzpu/fzpu.dbfindx=/opt/oracle/oradata/fzpu/indx01.dbfkgwl=/opt/oracle/oradata/fzpu/kgwl.dbfrbs_ts=/opt/oracle/oradata/fzpu/usr_rbs01.dbfsystem=/opt/oracle/oradata/fzpu/system01.dbftemp=/opt/oracle/oradata/fzpu/temp01.dbftools=/opt/oracle/oradata/fzpu/tools01.dbfundotbs1=/opt/oracle/oradata/fzpu/undotbs01.dbfusers=/opt/oracle/oradata/fzpu/users01.dbfuser_idx=/opt/oracle/oradata/fzpu/user_idx.dbfusr_rbs=/opt/oracle/oradata/fzpu/usr_rbs.dbfredo1_1=/opt/oracle/oradata/fzpu/redo01.logredo1_2=/opt/oracle/oradata/fzpu/redo02.logredo1_3=/opt/oracle/oradata/fzpu/redo03.logcontrol1=/opt/oracle/oradata/fzpu/control01.ctlcontrol2=/opt/oracle/oradata/fzpu/control02.ctlcontrol3=/opt/oracle/oradata/fzpu/control03.ctl注：（一共有14個數據文件，3個控制文件，3個redo_log）2）規劃oracle的安裝設備一共有14個數據文件，3個控制文件，3個redo_log根據應用需要建立軟分區d401-d420，做為orcle的裸設備，d421做為存放歸檔日志metainit-sora_datad401-pd4020mmetainit-sora_datad402-pd4020mmetainit-sora_datad403-pd4030Gmetainit-sora_datad404-pd4030Gmetainit-sora_datad405-pd40500mmetainit-sora_datad406-pd4025mmetainit-sora_datad407-pd40500mmetainit-sora_datad408-pd404Gmetainit-sora_datad409-pd401Gmetainit-sora_datad410-pd4010Gmetainit-sora_datad411-pd4010mmetainit-sora_datad412-pd4025mmetainit-sora_datad413-pd4010Gmetainit-sora_datad414-pd405Gmetainit-sora_datad415-pd40100mmetainit-sora_datad416-pd40100mmetainit-sora_datad417-pd40100mmetainit-sora_datad418-pd4010mmetainit-sora_datad419-pd4010mmetainit-sora_datad420-pd4010m4)查看磁盤集ora_data狀態

root@web-db1#metastat-sora_data

ora_data/d50:Concat/Stripe大小：1048526848塊(499GB)條0:設備引導塊DbaseRelocd5s00否否ora_data/d424:軟分區設備：ora_data/d40狀態：確定大小：209715200塊(100GB)擴展引導塊塊計數0673342016209715200ora_data/d40:Concat/Stripe大小：947854848塊(451GB)條0:設備引導塊Dbase狀態Reloc熱備援d4s00否確定否ora_data/d423:軟分區設備：ora_data/d40狀態：確定大小：209715200塊(100GB)擴展引導塊塊計數0463626784209715200ora_data/d422:軟分區設備：ora_data/d40狀態：確定大小：409600塊(200MB)擴展