1、中國建設(shè)銀行信息技術(shù)管理部 SFB 項(xiàng)目組博科光纖交換機(jī)維護(hù)手冊(cè)博科光纖交換機(jī)維護(hù)手冊(cè)（v1.0）作者門斌審核分類交換機(jī)子類光纖交換機(jī)更新時(shí)間2010-10-05關(guān)鍵字博科，brocade 光纖交換機(jī)摘要博科光纖交換機(jī)維護(hù)手冊(cè)博科光纖交換機(jī)維護(hù)手冊(cè)主要適用環(huán)境版本說明版本說明中國建設(shè)銀行信息技術(shù)管理部 SFB 項(xiàng)目組版本號(hào)擬制/修改責(zé)任人擬制/修改日期修改內(nèi)容/理由V1.0門斌2010-12-1新建中國建設(shè)銀行信息技術(shù)管理部 SFB 項(xiàng)目組目錄第 1 章應(yīng)用系統(tǒng)概況 .31.1 應(yīng)用系統(tǒng)簡(jiǎn)介 .31.2 應(yīng)用系統(tǒng)物理拓?fù)鋱D.3第 2 章交換機(jī)介紹 .4第 3 章SAN 系統(tǒng)實(shí)施準(zhǔn)備.73.1

2、涉及交換機(jī)設(shè)備.73.2 環(huán)境要求 .73.3 光纖布置 .73.4 交換機(jī)管理 IP 的分配.83.5 管理控制臺(tái)需求.9第 4 章安裝實(shí)施過程 .104.1 實(shí)施過程 .104.2 微碼升級(jí) .114.3 配置分區(qū) .12第 5 章和刀片交換機(jī)級(jí)聯(lián).15第 6 章產(chǎn)品維護(hù)服務(wù) .176.1 日常維護(hù) .176.2 技術(shù)服務(wù) .195:技術(shù)文檔模板第 5 頁 共 4 頁應(yīng)用系統(tǒng)概況應(yīng)用系統(tǒng)概況應(yīng)用系統(tǒng)簡(jiǎn)介應(yīng)用系統(tǒng)簡(jiǎn)介中國建設(shè)銀行在 2007 年 7 月啟動(dòng)了分行 IT 基礎(chǔ)設(shè)施資源整合項(xiàng)目，旨在將各分行的 IT 架構(gòu)都納入到一個(gè)統(tǒng)一的 SAN 架構(gòu)中，這樣做的好處是：可以實(shí)現(xiàn)存儲(chǔ)的集中，可以

3、實(shí)現(xiàn)統(tǒng)一的集中的 LAN-Free 備份系統(tǒng)，可以很容易實(shí)現(xiàn)服務(wù)器的容災(zāi)系統(tǒng)，另外，通過數(shù)據(jù)的整合，可以以較低的成本實(shí)現(xiàn)數(shù)據(jù)容災(zāi)系統(tǒng)。應(yīng)用系統(tǒng)物理拓?fù)鋱D應(yīng)用系統(tǒng)物理拓?fù)鋱D在 SAN 架構(gòu)設(shè)計(jì)時(shí)，有一個(gè)統(tǒng)一的原則，就是雙冗余的設(shè)計(jì)，在這個(gè)設(shè)計(jì)中，所有的部件都實(shí)現(xiàn)了冗余，沒有任何單點(diǎn)故障。所以整個(gè)系統(tǒng)的設(shè)計(jì)如下圖所示：生產(chǎn)中心LANSAN磁帶庫磁盤陣列服務(wù)器這是一個(gè)典型的 SAN 架構(gòu)設(shè)計(jì)圖，上面的兩臺(tái)服務(wù)器做一個(gè)應(yīng)用的 HA，都分別連接到兩個(gè)冗余的Fabric 網(wǎng)絡(luò)中，磁盤陣列和磁帶庫也冗余連接到兩個(gè) Fabric 網(wǎng)絡(luò)中，所有的部件都冗余連接，沒有單點(diǎn)故障。這個(gè)系統(tǒng)架構(gòu)的優(yōu)點(diǎn)是：雙網(wǎng)絡(luò)設(shè)計(jì)，兩

4、個(gè)網(wǎng)絡(luò)之間實(shí)現(xiàn)完全冗余，并互相獨(dú)立；目前一個(gè) Fabric 網(wǎng)絡(luò)有一臺(tái) Brocade 48000，如果需要擴(kuò)充，可以通過級(jí)聯(lián)的方式連接新的交換機(jī)，級(jí)聯(lián)交換機(jī)之間可以采用即插即用的 Trunk 相連。6:技術(shù)文檔模板第 6 頁 共 4 頁交換機(jī)介紹交換機(jī)介紹此次交換機(jī)都采用 Brocade 48000，端口板都是 48 端口板，冗余電源和風(fēng)扇配置。不同的分行采購的端口數(shù)不一樣，如果是 144 口，就是 3 塊端口板；如果是 192 口，就是 4 塊端口板；如果是 256 口，就是 6塊端口板；具體端口數(shù)以實(shí)際合同為準(zhǔn)。下面是交換機(jī)的相關(guān)參數(shù)：SILKWORMSILKWORM 480004800

5、0 導(dǎo)向器參數(shù)：導(dǎo)向器參數(shù)：系統(tǒng)構(gòu)架系統(tǒng)構(gòu)架光纖通道端口最多 384 端口, 通用 (E、F 和 FL); 最多 8 個(gè) 16 或 32 或 48 端口光纖通道模塊控制處理器冗余 (主/備) 控制處理器模塊擴(kuò)展性 最多 239 交換機(jī)全 Fabric 構(gòu)架認(rèn)證最大 Fabric56 臺(tái)交換機(jī),19 次跳躍;可根據(jù)需求認(rèn)證更大的 Fabric;詳細(xì)配置,請(qǐng)參照博科通訊或者 OEM廠商的 SAN 設(shè)計(jì)文擋。互操作性 任何 SilkWorm 2000 系列交換機(jī), SilkWorm 3000 系列交換機(jī), SilkWorm 4000 系列交換機(jī), SilkWorm 200E, SilkWorm 12

6、000, 和 SilkWorm 24000性能1.063 Gbit/sec 線速, 全雙工; 2.125 Gbit/sec 線速, 全雙工; 4.25 Gbit/sec 線速, 全雙工; 1、2、 4 Gbit/sec 端口速率自適應(yīng); 可選擇固定端口速度編程; 1、2、 4 Gbit/sec 端口間速度匹配ISL 干線合并每個(gè) ISL 干線最多 8 個(gè) 4.25 Gbit/sec 端口; 每個(gè) ISL 干線最高 32 Gbit/sec. FC4-16 最多支持 2 個(gè) 8 端口干線組, FC4-32 最多支持 4 個(gè) 8 端口干線組。要與 SilkWorm 3000 系列交換機(jī)、SilkWo

7、rm 12000 和 24000 導(dǎo)向器兼容, ISL 干線合并速度為 2 Gbit/sec集合帶寬 2.176 Tbit/sec交換機(jī)延遲速度為 2 Gbit/sec,最短路由時(shí),任何兩個(gè)端口之間延遲2.1 微秒速度為 4 Gbit/sec,最短路由時(shí),任何兩個(gè)端口之間延遲 ipaddrset -sw 0 設(shè)置交換機(jī)的SWITCH IP地址Ethernet IP Address 48:7Ethernet Subnetmask :Fibre Channel IP Address none:Fibr

8、e Channel Subnetmask none:Committing configuration.Done.switch:admin ipaddrset -cp 0 設(shè)置交換機(jī)的CP0 管理IP地址Ethernet IP Address 48:5Ethernet Subnetmask :Fibre Channel IP Address none:Fibre Channel Subnetmask none:Committing configuration.Done.switch:admin ip

9、addrset -cp 1 設(shè)置交換機(jī)的CP1 管理IP地址Ethernet IP Address 48:4Ethernet Subnetmask :Fibre Channel IP Address none:Fibre Channel Subnetmask none:Committing configuration.Done.11:技術(shù)文檔模板第 11 頁 共 4 頁管理控制臺(tái)需求管理控制臺(tái)需求用戶提供一臺(tái) PC 作為管理控制臺(tái)，安裝 Windows XP 或 2003 操作系統(tǒng)，設(shè)置 IP 地

10、址為和交換機(jī)在同一網(wǎng)段，比如 ，作為日常檢查、升級(jí)微碼和保持日常交換機(jī)配置的終端。這個(gè)終端上需要安裝免費(fèi)的 Java 軟件，版本 JRE 1.5.x。在需要升級(jí)交換機(jī)微碼時(shí)，在管理控制臺(tái)服務(wù)器上開放 FTP 服務(wù)。12:技術(shù)文檔模板第 12 頁 共 4 頁安裝實(shí)施過程安裝實(shí)施過程由于用戶的實(shí)際情況差別較大，安裝過程也不盡相同，我們用一個(gè)模版來具體說明。實(shí)施過程實(shí)施過程1.物理安裝：將 2 臺(tái) Brocade 48000 上架，固定；2.安裝所有 SFP 模塊，將光纖連接到相應(yīng)的端口，注意光纖的順序和清潔；3.連接電源線，接通電源啟動(dòng)，待啟動(dòng)自檢完成，此過程需要 10 分鐘；

11、4.檢查硬件指示燈的狀況，查看硬件運(yùn)行是否正常；telnet 登陸到交換機(jī)(用戶名/admin;密碼/password)，運(yùn)行 switchshow 命令：switch:admin switchshowswitchName: switchswitchType: 42.1switchState: OnlineswitchMode: NativeswitchRole: SubordinateswitchDomain: 1switchId: fffc01switchWwn: 10:00:00:60:69:e2:09:beAD Feature: Not ActiveCurrent AD: 0zonin

12、g: ON (bot_cfg)switchBeacon: OFFblade4 Beacon: OFFblade8 Beacon: OFFFC Router: OFFFC Router BB Fabric ID: 1Index Slot Port Address Media Speed State Proto=output truncated80 8 0 035000 id N4 No_Light81 8 1 035100 id N4 No_Light82 8 2 035200 id N4 No_Light83 8 3 035300 id N4 No_Light84 8 4 035400 id

13、N4 No_Light85 8 5 035500 id N4 No_Light86 8 6 035600 id N4 No_Light87 8 7 035700 id N4 No_Light88 8 8 035800 id N1 Online F-Port 10:00:00:00:c9:25:3d:43 如果可以看到所有的端口，說明端口都工作正常，No_Light 表示該端口沒有收到信號(hào)。5.檢查微碼是否是我們計(jì)劃的版本，如果不是，升級(jí)微碼到相應(yīng)的版本；13:技術(shù)文檔模板第 13 頁 共 4 頁 運(yùn)行命令 firmwareshow，查看現(xiàn)在的版本。switch:admin firmwaresh

14、owfirmwareshowSlot Name Primary/Secondary Versions Status-5 CP0 v5.1.0 Active *v5.1.06 CP1 v5.1.0 Standbyv5.1.0如果現(xiàn)在的版本不少 v5.3.0，需要升級(jí)到 v5.3.0（注：最終的版本可能會(huì)改變） 。具體的升級(jí)過程見下面章節(jié)。6.設(shè)置用戶提供的 IP 地址，詢問用戶有沒有其它要求，設(shè)置修改系統(tǒng)參數(shù)；修改 IP 地址在前面已經(jīng)描述過。7.根據(jù)實(shí)際應(yīng)用情況，配置分區(qū)，配置分區(qū)的過程見下面的章節(jié)；微碼升級(jí)微碼升級(jí)在安裝過程中，我們會(huì)確定一個(gè)允許的最終版本，初步確定是 v5.3.0。具體的升

15、級(jí)方法是：1、將微碼拷貝到指定的管理控制臺(tái)服務(wù)器上。打開 ftp 服務(wù)（IP 地址：7，用戶名root，口令是 root；將 ftp 的根目錄設(shè)定為/v5.3.0）2、登陸到交換機(jī)的 Standby CP；鍵入 firmwaredownload 命令。switch:admin firmwareDownloadfirmwareDownload 7,root,/release.plist,root7,root,/release.plist,rootThis command will upgrade both CPs in the swit

16、ch. If youwant to upgrade a single CP only, please use -s option.You can run firmwareDownloadStatus to get the status of this command.This command will cause the active CP to reset and will require that existing telnet, secure telnet or SSH sessions be restarted.Do you want to continue Y:FirmwareDow

17、nload has started in Standby CP. It may take up to 10 minutes.And you will the following on Standby CP:Start to install packages.dir #terminfo #termcap #glibc #.sin #Write kernel image into flash.Verification SUCCEEDEDFirmwaredownload completes successfully.14:技術(shù)文檔模板第 14 頁 共 4 頁3、使用 firmwareshow 命令查

18、看升級(jí)是否完成，如果沒有完成，耐心等待。4、使用 hashow 命令查看交換機(jī)的 CP 工作是否正常。 switch:admin hashowhashowLocal CP (Slot 6, CP1): ActiveRemote CP (Slot 5, CP0): Standby, HealthyHA Enabled, Heartbeat Up, HA State Synchronized如果不是這個(gè) Synchronized 的狀態(tài)，需要查找原因解決。配置分區(qū)配置分區(qū)由于每個(gè)分行的業(yè)務(wù)系統(tǒng)不盡相同，它們的分區(qū)配置也不會(huì)一樣，以重客系統(tǒng)為例。 創(chuàng)建分區(qū)的步驟如下：分區(qū)配置是交換機(jī)安裝的一個(gè)很重要

19、的環(huán)節(jié)。但由于每個(gè)分行的業(yè)務(wù)系統(tǒng)不盡相同，它們的分區(qū)配置也不會(huì)一樣，下面舉一個(gè)應(yīng)用為例來說明。 北京分行有一個(gè)重客業(yè)務(wù)系統(tǒng)，使用 DMX 磁盤陣列，磁帶庫有 6 個(gè)磁帶機(jī)，每個(gè) Fabric（Switch）上連接 3 臺(tái)。系統(tǒng)的連接布局和 Zoning 配置是：Switch 0(Fabric A)Zoning 表NumZoneAreaH-PortH-NameRole1BJAP0511DMX1H0100,32100,40BJAP0511存儲(chǔ)2BJAP0521DMX1H0100,32100,41BJAP0521存儲(chǔ)3BJAP0511TL00H2100,174;100,175;100,190100,

20、288BJAP0511備份我們做分區(qū)的原則是每一個(gè) HBA 做一個(gè)分區(qū)。這樣做分區(qū)的步驟如下：switch:admin zonecreatezonecreate BJAP0511DMX1H0,BJAP0511DMX1H0, 100,40;100,32100,40;100,32switch:admin zonecreatezonecreate BJAP0521DMX1H0,BJAP0521DMX1H0, 100,41;100,32100,41;100,32switch:admin zonecreatezonecreate BJAP0511TL00H2,BJAP0511TL00H2, 100,28

21、8;,100,174;100,175;100,190100,288;,100,174;100,175;100,190switch:admin cfgcreatecfgcreate BJ_Prod_FA,BJ_Prod_FA, BJAP0511DMX1H0;BJAP0511DMX1H0; BJAP0521DMX1H0;BJAP0521DMX1H0; BJAP0511TL00HBJAP0511TL00H 2215:技術(shù)文檔模板第 15 頁 共 4 頁switch:admin cfgenablecfgenable BJ_Prod_FABJ_Prod_FA You are about to enabl

22、e a new zoning configuration.This action will replace the old zoning configuration with thecurrent configuration selected.Do you want to enable BJ_Prod_FABJ_Prod_FA configuration (yes, y, no, n): no y yzone config BJ_Prod_FABJ_Prod_FA is in effectUpdating flash .加入將來需要增加新的ZONE配置的話，執(zhí)行如下命令：switch:admi

23、n zonecreatezonecreate BJAP0511DMX1H0_NEW,BJAP0511DMX1H0_NEW, 100,45;100,33100,45;100,33switch:admincfgadd BJ_Prod_FA,BJ_Prod_FA, “BJAP0511DMX1H0_NEW”“BJAP0511DMX1H0_NEW”switch:admincfgenable BJ_Prod_FABJ_Prod_FAYou are about to enable a new zoning configuration.This action will replace the old zoni

24、ng configuration with thecurrent configuration selected.Do you want to enable BJ_Prod_FABJ_Prod_FA configuration (yes, y, no, n): no y yzone config BJ_Prod_FABJ_Prod_FA is in effectUpdating flash .16:技術(shù)文檔模板第 16 頁 共 4 頁如果還有新的應(yīng)用，可以填入上面的表格，允許相同的命令，生成zone和config，并激活。17:技術(shù)文檔模板第 17 頁 共 4 頁和刀片交換機(jī)級(jí)聯(lián)和刀片交換機(jī)級(jí)聯(lián)

25、由于分行刀片服務(wù)器存儲(chǔ)交換機(jī)是博科產(chǎn)品，如核心交換機(jī)是博科產(chǎn)品，則互聯(lián)非常方便，具體步驟是：1 檢查刀片交換機(jī)的 Domain ID，如果和核心交換機(jī)沖突，則根據(jù)SFB 實(shí)施工藝-存儲(chǔ)部署詳細(xì)設(shè)計(jì)方案中有關(guān) Domain ID 使用規(guī)范予以分配.。具體命令為：（假設(shè) Domain ID 為 102）switch:admin configureConfigure.Fabric parameters (yes, y, no, n): no yesDomain: (1.239) 1 102BB credit: (1.27) 162 連接完成后，查看相應(yīng)的端口模式，如是 E-Port，則表明連接成功。

26、具體命令為switch:admin switchshowswitchName: switchswitchType: 42.1switchState: OnlineswitchMode: NativeswitchRole: SubordinateswitchDomain: 1switchId: fffc01switchWwn: 10:00:00:60:69:e2:09:beAD Feature: Not ActiveCurrent AD: 0zoning: ON (bot_cfg)switchBeacon: OFFblade4 Beacon: OFFblade8 Beacon: OFFFC Ro

27、uter: OFFFC Router BB Fabric ID: 1Index Slot Port Address Media Speed State Proto=output truncated18:技術(shù)文檔模板第 18 頁 共 4 頁80 8 0 035000 id N4 No_Light81 8 1 035100 id N4 No_Light82 8 2 035200 id N4 No_Light83 8 3 035300 id N4 No_Light84 8 4 035400 id N4 No_Light85 8 5 035500 id N4 No_Light86 8 6 035600

28、 id N4 No_Light87 8 7 035700 id N4 No_Light88 8 8 035800 id N1 Online E-Port 10:00:00:00:c9:25:3d:43 (Upstream)19:技術(shù)文檔模板第 19 頁 共 4 頁產(chǎn)品維護(hù)服務(wù)產(chǎn)品維護(hù)服務(wù)日常維護(hù)日常維護(hù)服務(wù)方公司將定期了解買方對(duì)系統(tǒng)的使用情況，及時(shí)聽取買方對(duì)產(chǎn)品及系統(tǒng)工作狀況的意見，幫助其合理地使用產(chǎn)品系統(tǒng)，并建立日常維護(hù)、保養(yǎng)機(jī)制。維護(hù)內(nèi)容：包括交換機(jī)的電源，firmware 版本、光纖接口卡、以太網(wǎng)卡接口、日志信息、Zoning 的軟硬件功能、運(yùn)行性能、容量等。(1)檢查交換機(jī)系統(tǒng)板指示燈

29、工作是否正常CP 板指示燈：綠燈表示正常，黃燈表示有問題。CP0：正常不正常CP1：正常不正常(2)檢查交換機(jī)電源指示燈工作是否正常： 電源指示燈：綠燈表示正常，黃燈表示有問題。PS1：正常不正常PS2：正常不正常（3）檢查交換機(jī)風(fēng)扇指示燈是否正常：風(fēng)扇指示燈：綠燈表示正常，黃燈表示有問題FAN1：正常不正常FAN2：正常不正常FAN3：正常不正常SWITCH-NAMESWITCH-NAME以太網(wǎng)端口測(cè)試 通過局域網(wǎng)和終端計(jì)算機(jī)遠(yuǎn)程登錄（telnet）到交換機(jī)：1. 在 dos 窗口鍵入：C:telnet switch1_IP2輸入用戶名及口令，登錄到交換機(jī)，鍵入：# fabricshow屏幕顯示，登錄提示符及網(wǎng)絡(luò)配置信息：1. swichname login:2. “Switch ID Worldwide Name Enet IP Addr FC 20:技術(shù)文檔模板第 20 頁 共 4 頁IP Addr”檢查交換機(jī)的狀況遠(yuǎn)程登錄（telnet）到交換機(jī)，執(zhí)行如下命令： switchstatusshow可顯示交換機(jī)的總體運(yùn)行狀態(tài)。屏幕打印狀態(tài)“Healthy/OKHealthy/OK”為正常。如果打印“Marginal/Warning” ，視具體情況判定正常或者非正常電源狀態(tài)