銀行網絡數據中心設計方案2、系統設計總體方案XX銀行全國數據集中工程 目錄第1章前言 5第2章概述 6第3章網絡設計原則 7第4章總體架構設計 84.1結構設計 8結構設計策略 8分區模塊設計 8分層設計 9物理部署設計 104.2上海全國數據中心局域網拓樸 104.3網絡核心層 114.4生產區 124.5運行管理區 134.6MIS區 144.7廣域接入區 154.8OA接入控制區 154.9生產外聯 164.10設備選型推薦 17S8500簡介 19AR28-80簡介 24第5章服務器接入設計 28第6章VLAN和SpanningTree設計 296.1VLAN簡述 296.2VLAN注冊協議（GVRP） 296.3VLAN設計 316.4STP設計 316.5VRRP 33第7章IP地址設計 34第8章路由選擇和設計 358.1路由協議選擇 358.2路由邊界 358.3路由協議設計（OSPF） 36OSPFArea設計 36OSPFProcessID 37OSPFRouterID 38OSPF鏈路Metric 38OSPFMD5認證 38選路規劃 388.4靜態路由 39第9章QoS設計 399.1QoS服務模型 40Best-Effortservice 40Integratedservice 40Differentiatedservice 41服務模型選擇 419.2QoS實現技術 42報文分類 42擁塞管理 42擁塞避免 43流量監管和整形 449.3農行數據中心QoS設計 44第10章可靠性設計 4610.1可靠性概述 4610.2設備級可靠性設計 48引擎（含主控及交換網） 48電源 50模塊和端口 51系統軟件 5410.3鏈路級可靠性設計 5510.4網絡級可靠性設計 56拓撲冗余 56網關冗余 59路由冗余 6010.5應用級可靠性設計 61第11章網絡安全 6111.1安全設計概述 6111.2安全管理中心設計 6211.3安全認證中心設計 6511.4模塊化的安全構架設計 67核心交換區 69生產區 69OA接入控制區 70運維管理區 73MIS服務區 74生產外聯區 7511.5統一的安全聯動設計 7611.6其他安全防護考慮 7811.7網絡病毒控制 79第12章網絡管理 81第13章數據中心切換 89前言上海數據中心工程是XX銀行數據大集中項目的重要組成部分，將作為全國生產中心投入運行。生產數據中心的建成將為提高XX銀行的經營管理決策水平和風險控制能力打下堅實的基礎，并支持提升中國XX銀行整體的服務水平和信息化服務質量。 華為3Com公司深刻認識到數據中心建設對于大集中項目以及中國XX銀行發展的重要性，針對數據中心承載多種業務應用的特點，按照高可靠、高安全和先進性的原則對網絡整體結構和各個功能分區進行了詳細的網絡方案設計。 為用戶提供最完善的服務是華為3Com技術的一貫宗旨，有關本方案的一切問題，歡迎用戶在隨時垂詢。

概述 針對上海數據生產中心穩定、可靠、高效運行的要求，本方案以高可靠性，高安全性和先進性為原則進行了重點設計。整體結構上，根據上海數據中心承載多種業務功能的特點，依據統一性，開放性，易擴展和可管理的特性要求，通過模塊化層次化的構筑方法，以高可靠、高速率的交換結構為中心，連接生產區，外聯區，接入區和MIS區等功能分區，并針對各個功能不同的業務應用需求和安全要求進行了針對性設計。在本項目設備建議中，我們推薦了先進的QuidwayS8500系列萬兆核心路由交換機作為平臺構架的主要設備，通過高效的萬兆交換技術實現骨干網絡的高性能互聯，同時，其安全聯動、全面的業務支持以及電信級的高可靠特性，更保障本網絡具備了有強大的業務支撐和性能擴展能力，可以滿足上海數據中心未來3－5年的發展需要。

網絡設計原則高可用性網絡架構和設備均支持業務系統對服務級別高可靠性的要求，在網絡分層部署的架構和設備體系選擇以及相關配置上均充分按照高可用的系統設計。高安全性按照立體的安全體系進行設計，分布式部署，使網絡具有統一的安全，支持全網的安全聯動。先進性 網絡設備支持先進的高性能體系架構，支持高帶寬的數據傳輸。統一性數據中心局域網是基于大集中“一個整體”基礎上考慮。全網采用統一的架構、策略部署，QoS分類和設備形態，保證全網的可維護性。開放性本方案網絡建設全面遵循業界標準，所推薦采用的設備、技術在互通性和互操作性上，可以支持本網絡系統的快速布署。總體架構設計 結構設計結構設計策略按照數據中心的結構，本方案采用以下策略設計高可靠的設計思想融合在結構設計、路由設計、應用服務設計的各個層面；針對業務網絡應用需求實施全模塊化分區設計；依照工作重點和結構分工的整網三層體系結構；分區模塊設計網絡按照業務應用需求，劃分以下主要功能區：生產區MIS區生產外聯區廣域接入區運行管理區OA接入控制區各個區以擴展模塊的形式分別連接到數據中心高可靠的核心交換網絡。分層設計按照網絡核心，匯聚和接入的模型對數據中心以及之內的每一個功能區域按照層次化結構模型進行劃分：核心層構成整個數據中心生產局域網的高速交換核心，為各個功能分區提供高可靠高穩定和支持快速愈合的第三層接入服務。在核心層設計以高可靠，高速交換為主要原則；匯聚層各個功能分區的交換核心是組成整個生產中心局域網的匯聚層。匯聚層提供各個分區內部接入層的匯聚，作為各個分區的對外接入，集中實現接入控制和安全控制；接入層在各個分區主機和服務器的接入，具有高密度的接入能力。支持基于主機端口的訪問控制，并針對接入的數據流進行標記工作，便于傳輸過程中逐級實現針對流量的QoS控制策略。物理部署設計上海數據中心的核心網絡主要分布在上海園區的E2樓的各層，因此網絡將按照就近接入的原則將各個功能區網絡設備與應用主機就近放置分布在各個樓層。網絡的交換核心、廣域接入區等沒有主機接入的功能區域放置于網絡機房。上海全國數據中心局域網拓樸在數據中心的實際部署中，針對數據中心模型進一步細分各個功能分區。生產區涉及到的應用系統較多包括核心業務以及各種總行級的業務系統。核心業務系統放置于IBMS/390上，通過在S/390上劃分多個分區來實現核心業務相關的不同功能。考慮到核心業務系統屬于銀行全部業務核心，屬于數據中心的重中之重，同時S/390的操作方式與其他開放平臺不一致，因此物理上將生產區設置為核心業務生產區和開放平臺生產區2個分區接入到核心層。測試區根據測試需要盡量與生產網絡實現完全分離，根據實際需求確定是否需接入到核心層。生產外聯區包括網上銀行的Internet外聯以及和合作伙伴的Extranet外聯兩種方式，在網絡結構上和安全部署上有很大不同，因此在實際部署中分別設置2個接入區域連接到核心交換區。廣域接入區設置一個單獨的物理分區，提供各個一級分行的流量接入和匯聚。災備接入區設置一個單獨的物理分區，部署與北京災備中心的連接和災備策略的部署。MIS服務區設置一個單獨的物理分區，提供MIS業務應用的服務。運行管理區設置一個單獨的物理分區，提供數據中心和全網的管理和監控。網絡核心層網絡核心層由4臺萬兆交換機構成，通過萬兆實現各個功能分區的接入，同時4臺交換機之間采用雙萬兆捆綁的方式實現高速互聯。為了保證通過核心網絡的流量和路徑可控，并提高故障切換的效率，對各個功能分區實現三層接入的方式。為了保證各個功能分區的高可靠性，與各個功能分區的匯聚交換機采用雙星型的結構連接。生產區生產區將接入數據中心核心生產系統和部分生產系統前置生產區由2臺匯聚層交換機和臺接入層交換機構成，接入層交接機連接系統。生產區開放平臺：由2臺匯聚層交換機和臺接入層交換機構成，接入層交接機連接開放平臺。

運行管理區運行管理區由2臺層交換機和2臺接入層交換機構成，接入層交接機連接

MIS區MIS區將接入數據中心由2臺層交換機和臺接入層交換機構成，接入層交接機連接廣域接入提供各個下聯一級分行的接入，同時支持在接入邊界部署安全控制策略。廣域接入平臺：由2臺匯聚層交換機構成，。由2臺匯聚層交換機構成。采用萬兆技術，支持高密度萬兆連接支持安全聯動有效抵御網絡資源消耗型病毒攻擊（例如DOS/REDCODE等） 設備配置情況 1、核心交換區 核心層：4臺S8512 2、主機生產區 匯聚：2臺S8512，接入：2臺S8512 3、開放生產區 匯聚：2臺S8512，接入：4臺S8512 4、MIS服務區 匯聚：2臺S8512，接入：2臺S8512 5、運維管理區 匯聚：2臺S8512，接入：10臺S8512 6、外聯區僅合作伙伴接入區 匯聚：2臺S8512，接入：2臺S8512 7、廣域網接入區 匯聚：2臺S8512，接入：4臺S8512 8、OA接入控制區 匯聚：2臺S8512 9、網元管理 QuidviewDMG，CAMSAAA，SUN/NT服務器 10、基金國債業務接入路由器 兩臺AR46-80 S8500簡介Quidway?S8500系列萬兆核心路由交換機Quidway?S8500系列萬兆核心交換機是由華為3Com公司自主開發的新一代高性能萬兆核心路由交換機產品，可廣泛應用于運營商IP城域網核心層、匯聚層。Quidway?S8500系列基于Quidway?S8500系列支持新一代高性能萬兆接口，能夠為城域網、園區網、數據中心提供超高速鏈路，構建端到端以太網，打造低成本、高性能、具有豐富業務支持能力的高性能網絡。Quidway?S8500提供大容量、高密度、模塊化的二、三層線速轉發性能，，的QoS保障安全管理機制，滿足對多業務、高可靠、大容量、模塊化的需求。產品特點Quidway?S8500系列產品采用全分布式體系結構設計，采用功能強大的ASIC芯片進行高速路由查找，并通過Crossbar技術進行高速報文交換，從而大大提升了路由交換機的轉發性能和擴充能力。Crossbar交換網芯片內置于主控板，不單獨占用設備槽位，可提供高達720Gbps的交換容量，并可平滑升級到1.44Tbps的交換容量。接口板通過多條高速總線分別連到兩塊主控板上的Crossbar交換網，從而實現真正的雙主控、雙交換網的熱備份，極大的提高了系統的可靠性。Quidway?S8500系列產品采用高性能的最長匹配、逐包轉發的方式，在保持線速性能和低成本的基礎上，革命性的解決了傳統交換機流Cache精確匹配轉發的致命缺陷，能夠有效的抗擊網絡“紅色代碼”、“沖擊波”等病毒的攻擊，更加適合大規模、多業務，復雜流量訪問的網絡。大容量、高密度線速交換Quidway?S8500系列產品目前最高可以提供720Gbps交換容量/428Mpps包轉發能力，并可平滑升級到1.44Tbps交換容量、857Mpps轉發能力。支持各種高密度業務板和組合業務板，整機可支持高達576個千兆端口的同時線速轉發，滿足核心層設備大容量、高密度的要求。強大的業務支撐能力Quidway?S8500支持MPLSVPN業務；支持豐富的組播協議（IGMP、IGMPSNOOPING，PIM-SM、PIM-DM和MSDP/MBGP等）；支持WebSwitch（硬件支持）、NAT（硬件支持），內置防火墻（硬件支持）、IDS；支持POS/ATM、RPR等接口。新一代萬兆接口支持Quidway?S8500系列產品提供的新一代萬兆以太網克服了早期萬兆以太網的諸多局限，在線速轉發的基礎上能夠提供強大的QoS保障，并支持豐富的ACL、策略路由、安全等特性。Quidway?S8500的新一代萬兆以太網不僅在接口密度上達到2端口/線卡（后續可擴展至4端口/線卡），并且可以支持線速的MPLS轉發，可以提供更好的IPVPN業務和透明的LAN服務，真正實現性能與功能的完美統一。Quidway?S8500系列產品除了提供標準的LAN接口，還可以提供使用波分復用技術的10GBASE-LX4接口，從而大大提高了用戶組網的靈活性。MPLS/IPv6分布式線速支持Quidway?S8500系列產品遵循業務與性能并重的設計理念。一方面帶寬和網絡規模的增長推動核心路由交換機的性能容量不斷提升，另一方面業務的發展要求核心交換機更加智能化并具備更強的業務提供能力。Quidway?S8500系列產品采用功能強大的ASIC芯片實現MPLS、IPv6的分布式線速轉發，并能夠基于高性能NP實現線速NAT、WebSwitch等增值業務，在為用戶提供全面的有保障業務的同時，也做到根據需求業務可裁減。完善的QoS機制Quidway?S8500系列產品提供了靈活的隊列調度算法，可以同時基于端口和隊列進行設置，支持SP、WRR、SP+WRR三種模式；支持8個優先級隊列，3個丟棄優先級；支持WRED擁塞避免算法和端口流量整形。支持帶寬控制功能，流量限速的粒度為8Kbit/s，滿足精品寬帶網絡的要求。電信級可靠性設計：Quidway?S8500系列產品系統采用分布式結構，支持雙主控交換板，無源背板設計，所有單板支持熱插拔；電源系統交流/直流可選，采用1+1冗余熱備份，并支持雙路電源輸入；支持STP/RSTP/MSTP協議和VRRP協議，能夠滿足苛刻的電信級網絡可靠性要求，系統可靠性達到：99.999％。完善的安全機制：Quidway?S8500系列產品的先進的逐包轉發機制確保其在各種數據流狀況下的設備安全，支持OSPF、RIPv2及BGPv4報文的明文及MD5密文認證；支持URPF（單播反向路徑檢查）；采用802.1x方式對接入用戶進行認證，支持安全的SNMPv3的網管協議、支持配置安全，對登錄用戶進行認證，不同級別的用戶有不同的配置權限，并提供兩種用戶認證方式：本地認證和RADIUS認證。Quidway?S8500系列產品通過靈活的MAC、IP、VLAN、PORT任意組合綁定，有效的防止非法用戶訪問網絡。支持多種ACL訪問控制策略，能夠對用戶訪問網絡資源的權限進行設置，保證網絡的受控訪問。Quidway?S8500系列產品還支持標準Radius協議，同時提供Radius+功能，以及HCBM?（華為可控組播管理協議）功能支持。基于硬件支持的內置防火墻/IDS功能為核心交換設備安全組網提供了多樣化的選擇，簡化了網絡層次，提高了整網性能。產品規格屬性 S8505 S85S8512 體系結構 一體化機箱，可安裝于19英寸機架內 外形尺寸（MM）寬×深×高 436x40x486 436x450x619 436x450x753 滿配置重量 65 80 100 交換容量 XRCoreEngine?I300GXRCoreEngine?II600G XRCoreEngine?I480GXRCoreEngine?II960GXRCoreEngine?I720GXRCoreEngine?II1.44T 背板容量 750Gbps.5T） 1.2Tbps（可擴展至2.4T） 1.8Tbps（可擴展至3.6T） 包轉發XRCoreEngine?I178MppsXRCoreEngine?II357Mpps XRCoreEngine?I285MppsXRCoreEngine?II571Mpps XRCoreEngine?I428MppsXRCoreEngine?II857Mpps 槽位數量 7 114 業務單板槽位數量 5 12 二層功能 4KVLANSTP/RSTP/MSTP支持動態VLAN注冊協議（GVRP）MDI/MDI-X自適應 三層功能 提供豐富的路由協議：RIP、OSPF、IS-IS、BGP4K最長匹配路由轉發表路由負載分擔策略路由支持VRRP支持DHCP-RELAY 組播 GMRP、IGMPSnooping三層組播協議：IGMP、PIM-DM、PIM-SM、MSDP/MBGP支持可控組播業務 NAT NAT中NAPT模式支持公有地址和私有地址的混合組網NAT轉換支持ICMP、FTP的等ALG安全功能，防止DOS攻擊對NAT模塊資源的過度使用支持NAT板間的負荷分擔和備份功能 WebSwitch 具有L3/L4層的線速交換基于L4層的PBR及其他功能：如服務器負載均衡、防火墻負載均衡、WebCache高速緩存重定向等功能 MPLSVPN 支持二層MPLSVPN支持三層MPLSVPN支持QinQ支持PE和P功能MPLS標簽空間：KMPLS標簽棧深度：4級 QoS 可基于物理端口、VLAN、源MAC地址、目的MAC地址、源IP地址、目的IP地址、IP端口、協議號等進行報文分類和過濾支持帶寬控制，帶寬控制粒度為1Kbit/s優先級隊列調度：每端口支持8個優先級隊列，3個丟棄優先級，支持SP、WRR、SP+WRR三種隊列調度算法支持WRED擁塞避免算法支持流量整形支持802.1P，DSCP/TOS優先級和重新標記能力支持基于時間段的流分類和QoS控制能力 網絡安全特性 支持IP+MAC+PORT任意組合的綁定支持非法幀報文過濾用戶分級管理和口令保護支持端口隔離支持SSH支持SNMPv3網管 可靠性 MTBF:小時雙主控雙路供電熱插拔 環境要求 溫度范圍：040℃相對濕度：10%%（非凝結） 電源要求 DC：輸入電壓：V～－60VAC：輸入電壓：240V最大功率：W（S8505）、2000W（S8508/S8512） AR28-80簡介Quidway?AR28-40、AR28-80模塊化中心路由器是華為3Com公司Quidway?AR系列路由器中面向企業用戶的網絡產品，采用32位的微處理器技術，使用VRP（通用路由平臺），提供了極其豐富的軟件特性，支持啞終端接入服務器和金融POS接入功能，支持SNA/DLSw、VoIP特性等，提供豐富的備份方案及QoS特性；硬件采用模塊化結構，具有更高的處理能力和更大的接入密度，具備MPLSVPN功能、DVPN功能、可平滑升級支持IPv6符合未來IP技術的發展潮流。Quidway?AR28-40、AR28-80既適合于在中小型企業網中擔當核心路由器，也可以在大型網絡中擔當匯聚層路由器。Quidway?AR28-40路由器外觀圖Quidway?AR28-80路由器外觀圖產品功能特性：VRP操作平臺：華為3Com在成熟的VRP軟件平臺的基礎上，結合AR28系列的硬件體系結構和軟件業務要求，度身定做的的AR28系列的軟件體系，完全繼承了VRP平臺的穩定性、成熟性和可靠性，所提供的軟件業務均為VRP平臺的成熟特性，同時可以隨著VRP平臺的不斷發展同步提供新的特性。VPN解決方案：支持L2TPVPN、GREVPN、IPSecVPN、SSLVPN、MPLSL3VPN，MPLSL2VPNHTACACS認證/計費、IPSEC、IKE、硬件加密卡、防火墻支持（對接口/時間段/MAC地址的過濾）、CA認證（數字證書）、高性能NAT。互連協議：以太網、橋、幀中繼、X.25、HDLC、SDLC、LAPB、SLIP、PPP、PPP頭壓縮、MP、ISDN、PPPoEClient、按需撥號、撥號串循環備份、PPP/ISDN回呼、L2TP建立二層隧道、GRE建立三層隧道、IPSEC建立三層隧道、xDSL寬帶接入。網絡協議：DHCP、VLAN、IPX、DLSw、RIP-1/RIP-2、OSPF、BGP、策略路由、組播、路由負載分擔、地址借用、TCP報文頭壓縮、路由策略。應用層協議及業務特性：Telnet、SSH、Rlogin、dumbterminal、增強安全特性的終端接入服務器、金融POS接入服務，RTC、LPD、FTP、Ping及NTP應用層協議或業務特性。QOS：流量分類和流量監管CAR/LR、流量整形GTS、擁塞管理PQ/CQ/WFQ/CBQ、擁塞避免WRED。網絡可靠性：接口/子接口間的物理層備份，虛鏈路/虛模板/撥號接口/邏輯接口間的鏈路層備份，動態路由實現網絡層備份、VRRP實現設備層備份。系統可靠性：支持dualimage，能對image文件進行合法性判別，支持啟動成功性自探測，支持裝載image文件引導系統，支持從主image文件啟動，支持從備份image文件啟動。語音特性：靜音壓縮、舒適噪音、語音防抖動、音量調節、PBX交換機功能模擬、主叫號碼識別、自動忙音檢測、靈活VOIP選路與備份策略、IP、語音RADIUS、GKClient、IPHC、語音QoS。IPV6：從目前的硬件體系結構和軟件平臺的基礎上能夠平滑升級到IPV6的軟件版本,全面支持IPv4和IPv6雙協議棧，提供豐富的IPV6協議，支持多種IPv4向IPv6的過渡技術：手工配置隧道、自動配置隧道、6to4隧道、GRE隧道、實現NAT-PT等；支持IPv6靜態路由，支持BGP4/BGP4+、RIPng、OSPF3、ISISv6等動態路由協議；支持ICMPv6MIB、UDP6MIB、TCP6MIB、IPv6MIB等。配置管理：中英文雙語、命令分級保護、tracert/ping/debugging故障診斷功能、RMON、SNMPv1/v2c/v3、系統日志、可通過FTP或TFTP進行系統升級、可通過Console/AUX/X.25PAD/Telnet/反向Telnet等方式進行配置。通過Quidview網管軟件，能夠對路由器進行遠程配置，并且能夠對主機程序通過Quidview進行在線升級。產品規格項目 AR28-40描述 AR28-80描述 插槽 4 8 功能模塊 LAN接口模塊 1FE/2FE（10/100Base-TX快速以太網接口模塊）1SFX（100Base-FX以太網單模光接口模塊）1MFX（100Base-FX以太網多模光接口模塊）1GBE（1000Base-T千兆以太網模塊）1GEF（1000Base-SFP千兆以太網光模塊） WAN接口模塊 2/4SA（高速同異步串口模塊）8/16AS（異步串口模塊）1/2/4E1（通道化cE1/PRI模塊）1/2/4E1-F（非通道化E1模塊）1/2/4T1（通道化的cT1/PRI模塊）1/2/4T1F（非通道化T1模塊）E3（通道化E3模塊）T3（通道化T3模塊）6/12AM（模擬調制解調器模塊）4BSISDNBRIS/T接口模塊）155M1ATM（ASM/AMM/ASL，155M單模/多模/單模長距離光接口模塊）ATME3/T3（ATME3/T3傳輸模塊）1/2ADSL（ADSL通信模塊）1/2ADSL-I（ADSL通信模塊） 語音模塊 2FXS/4FXS（FXS接口語音模塊）2FXO/4FXO（FXO接口語音模塊）2E&M/4E&M（E&M接口語音模塊）E1VI（E1語音模塊）T1VI（T1語音模塊） POS接入模塊 2/4/6FCM（快速連接MODEM模塊） 其他模塊 NDEC（網絡數據加密模塊） 處理器 MPC8245300MHz MPC8245300MHz 轉發性能 110-120KPPS 110-120KPPS/130-150KPPS NVRAM 128KB FLASH 32MB SDRAM 缺省：128MB，最大：256MB 外型尺寸（mm）寬×深×高 440×400×43 440×400×86 重量 8kg 14kg 輸入電壓 AC 額定電壓范圍：100-240V；50/60Hz最大電壓范圍：90-264V；50/60Hz DC 額定電壓范圍：-48--60V最大電壓范圍：-36--72V 最大功率 67W 114W 工作環境溫度 0～40℃ 環境濕度 5～90%不結露 服務器接入設計數據中心的服務器對可靠性要求較高，會有多種高可靠的接入方式，根據對主機接入的分類，主要分為三類：多主機群集，雙機HA應用，單機多網卡。這三種方式均涉及到多網卡與交換機連接。因此針對群集和HA應用還有多VLAN的方式和同一VLAN的方式。針對多主機多VLAN的方式這類主機部署的應用屬于重要應用，以核心業務應用為主。為保證可靠性至少選擇在2臺接入交換機上均做相同的VLAN和端口配置，實現端口1+1冗余，即保證單一接入設備可以承載全部主機連接，在工作時并將多主機同一業務對應端口接入相同VLAN中（根據切換方式不同可選擇同一交換機或不同交換機）。針對多主機共享VLAN的方式，為保證可靠性至少選擇在2臺接入交換機上均做相同的VLAN和端口配置，實現端口1+1冗余，即保證單一接入設備可以承載全部主機連接，在工作時并將多主機對應業務端口分布到2臺交換機。針對HA主機多VLAN的方式這類應用也屬于重要應用，以各類基于開放平臺的業務為主。為保證可靠性選擇在2臺接入交換機上做相同的VLAN和端口配置，實現端口1+1冗余，即保證單一接入設備可以承載全部主機連接，在工作時將雙機對應端口部接入到不同交換機的對應VLAN中。針對HA主機單VLAN的方式這類應用也屬于重要應用，以各類基于開放平臺的業務為主。為保證可靠性選擇在2臺接入交換機上做相同的VLAN和端口配置，實現端口1+1冗余，即保證單一接入設備可以承載全部主機連接，在工作時將雙機對應端口部接入到不同交換機的同一VLAN端口中。針對單機多VLAN方式單機應用一般數據次關鍵應用，以部分業務的前置服務器為主。針對單機多網卡多VLAN方式，也考慮將多VLAN在2臺接入交換機上部署，實現VLAN端口1+1冗余。工作時將主機不同端口分別連接到不同交換機的對應VLAN端口。針對單機單VLAN方式這種方式是實現單機的網卡和鏈路備份，以部分業務的前置服務器為主。此種方式本身即是端口和鏈路備份，在2個交換機上均部署相同VLAN和對應端口，將這單機的2個端口分別連接到2個交換機的對應端口。VLAN和SpanningTree設計VLAN簡述VLAN（VirtualLocalAreaNetwork－虛擬局域網）邏輯上把網絡資源和網絡用戶按照一定的原則進行劃分，把一個物理上實際的網絡劃分成多個小的邏輯的網絡。這些小的邏輯的網絡形成各自的廣播域，也就是虛擬局域網VLAN。VLAN在功能和操作上與傳統LAN基本相同，可以提供一定范圍內終端系統的互聯。IEEE802.1Q是虛擬局域網的正式標準，定義了同一個物理鏈路上承載多個子網的數據流的方法。IEEE802.1Q定義了VLAN幀格式，為識別幀屬于哪個VLAN提供了一個標準的方法。這個格式是統一標識VLAN的方法，有利于保證不同廠家設備配置的VLAN可以互通。VLAN注冊協議（GVRP）GVRP（GARPVLANRegistrationProtocol）是VLAN注冊協議。GVRP基于GARP的工作機制，是GARP的一種應用，維護交換機中的VLAN動態注冊信息并傳播該信息到其它的交換機中。所有支持GVRP特性的交換機能夠接收來自其它交換機的VLAN注冊信息，并動態更新本地的VLAN注冊信息，包括當前的VLAN成員，這些VLAN成員可以通過哪個端口到達等。而且所有支持GVRP特性的交換機能夠將本地VLAN注冊信息向其它交換機傳播，以便使同一交換網內所有支持GVRP特性的設備的VLAN信息達成一致。GVRP傳播的VLAN注冊信息包括本地手工配置的靜態注冊信息和來自其它交換機的動態注冊信息。對GVRP特性的支持使得不同交換機上的VLAN信息可以由協議動態維護和更新，只需要對少數交換機進行VLAN配置，就可以應用到整個交換網絡，無需耗費大量時間進行拓撲分析和配置管理，協議會自動根據網絡中VLAN的配置情況，動態地傳播VLAN信息并配置在相應的端口上。根據VLAN注冊信息，交換機了解到干道鏈路對端有哪些VLAN，自動配置干道鏈路，只允許對端交換機需要的VLAN在干道鏈路上傳輸。GVRP注冊類型 功能 Normal 允許在該端口手工或動態創建、注冊和注銷VLAN； Fixed 允許手工創建和注冊VLAN，并且防止VLAN的注銷和在其它Trunk端口注冊此端口所知的動態VLAN。這種情況下，GVRP就不會自動配置Trunk端口允許哪些VLAN報文可以通過； Forbidden 將注銷VLAN1以外的所有VLAN，并且禁止在該端口上創建和注銷任何其它VLAN； 注：VLAN1的注冊類型必須是Fixed，且不可以更改。 為了減少交換機之間的相互影響，中國XX銀行上海數據中心的GVRP類型設計為Fixed。根據前文所述，農行上海數據中心網絡分為多個功能分區，每個網絡功能分區的接入層交換機將定義為Layer2交換機，Layer2和Layer3的邊界位于每個網絡功能分區的匯聚層交換機上。接入層交換機通過VLAN連接接入設備；接入層和匯聚層交換機之間通過Trunk連接；匯聚層交換機之間通過Trunk連接。如下圖：VLAN根據，數據中心生產相關VLAN定義：辦公相關VLAN的VLANID可以復用生產相關VLAN的VLANID數據中心網絡設備互連VLAN不包括生產外聯區內部設備互連VLAN從低到高分配從高到低分配上海數據中心通過在匯聚層交換機上手工配置根網橋的主、備策略，確保生成樹在二層鏈路形成最佳的樹型拓撲。根網橋設置還可以通過調節路徑開銷、端口優先級、端口ID等方式實現。根據經驗，推薦將匯聚層交換機設置成根網橋，圖示如下：VRRPVRRP（VirtualRouterRedundancyProtocol）是一種容錯協議，其目的是利用備份機制來提高路由器與外界連接的可靠性。VRRP確保當主機的下一跳三層設備壞掉時可以及時的由另一臺三層設備來代替，從而保持通訊的連續性和可靠性。VRRP中只定義了一種報文――VRRP報文，這是一種多播報文，由主設備定時發出來通告它的存在，使用這些報文可以檢測虛擬設備各種參數，還可以用于主設備的選舉。VRRP中定義了三種狀態模型初始狀態Initialize，活動狀態Master，備份狀態Backup，其中只有活動狀態可以發送報文，而且報文也只有一種。VRRP報文是封裝在IP報文上的，支持各種上層協議。同時VRRP還支持將真實接口IP地址設置為虛擬IP地址的做法。1. 匯聚層設備在連接普通接入時采用VRRP；2. VRRP優先級策略與STP的根網橋主備設置一致；下圖是VRRP拓撲設置的示意圖：IP地址設計IP地址的合理設計是數據中心網絡設計中的重要一環，大型計算機網絡必須對ＩＰ地址進行統一規劃并得到實施。IP地址規劃的好壞，影響到網絡路由協議算法的效率，影響到網絡的性能，影響到網絡的擴展，影響到網絡的管理，也必將直接影響到網絡應用的進一步發展。IP地址采用RFC1918規定的地址段（不包括外聯區域IP地址）。根據選擇的IP地址段和數據中心的業務功能模塊進行映射，建議如下：網段分配功能分區類型 IP地址范圍 生產區主機、開放平臺 備用 測試區主機、開放平臺 備用 運行管理區 備用 生產外聯區 擴展DMZ和DMZ區域 外連區域 另一個RFC1918網段地址 使用公有地址 備用 MIS管理區 備用 上海中心網絡設備互連不包括生產外聯區內部設備互連 備用 設備和網關地址分配原則在單個子網地址范圍內，為了減少干擾，網關通常使用最高位地址，用戶地址由低到高依次分配。設備地址 子網位置 分配順序 網關 最高位 / VRRP地址 次高位 由高到低 … / 預留 … / 預留 普通接入設備 最低位 由低到高 路由選擇和設計路由協議選擇以下是對兩種適合大型網絡路由協議的比較： OSPF IS-IS 標準化 國際標準（IETF） 國際標準ISO、IETF 協議種類 鏈路狀態 鏈路狀態 協議算法 SPF SPF 適用性 專為IP設計 用于CLNS或CLNS+IP環境 靈活性 高 高 通用性 高 中 擴展性 中 高 建議上海數據中心內部將采用OSPF路由協議，生產外聯區將采用靜態路由協議。按照，網絡核心和各功能分區的匯聚層交換機之間將構成數據中心的路由區域；而接入層交換機將定義為Layer2交換機，通過Trunk或VLAN連接匯聚層交換機；路由和交換的邊界位于每個功能分區的匯聚層交換機。路由協議設計（OSPF）OSPFArea設計根據上海數據中心內部的網絡設備數量和連接方式，為在可預見的時間內，單獨一個OSPFArea可以滿足需要。因此，對于上海數據中心，所有核心層交換機和各功能分區的匯聚層交換機機都運行在OSPFArea0中。根據業務需要，農行將構造個主機Sysplex環境：以上各主機Sysplex環境和所在功能分區的匯聚層交換機之間將運行OSPF路由協議，采用單獨的OSPFArea。匯聚層設備作為路由域和交換域的邊界；路由區域為OSPFArea0；OSPF在匯聚層交換機連接核心交換機的鏈路上通過Vlan建立點-點鄰居關系；OSPF在匯聚層交換機互連Trunk上通過Vlan建立點-點鄰居關系；匯聚層交換機連接服務器的端口配置為OSPF的PassiveInterface，沒有鄰居關系。OSPFSTUB接入設計如下：匯聚層設備作為OSPFArea0和STUB的邊界，是ABR；OSPF在匯聚層交換機和核心交換機的鏈路上通過Vlan建立點-點鄰居關系；匯聚層交換機互連Trunk的Vlan分別屬于OSPFArea0和STUB；OSPF在匯聚層交換機互連鏈路上通過Trunk建立點-點鄰居關系；OSPF在匯聚層交換機連接Sysplex的鏈路上通過Vlan與Sysplex建立BMA鄰居關系，匯聚層交換機分別定義為DR和BDR；OSPF的DR和BDR分別向STUB區域發送默認路由，為實現“單邊路由”的設計，需手工設置DefaultCost。OSPFProcessIDOSPFProcessID對網絡設備而言，只具有本地的意義，兩個建立鄰接關系的網絡設備可以使用不同的OSPFProcessID。出于統一管理考慮，建議農行上海數據中心運行OSPF路由協議的網絡設備使用相同的OSPFProcessID：10。OSPFRouterIDOSPF需要使用唯一的RouterID標識每一臺路由器，建議相關網絡設備的Loopback地址作為其OSPFRouterID。OSPF鏈路Metric對OSPF協議，Interface的Metric為：108/InterfaceBandwidth，其中108為缺省的“OSPFAuto-costReferenceBandwidth”。對于農行上海數據中心，可能的網絡鏈路的速度范圍可從100Mbps到4Gbps（4PortsGEChannel），對于OSPF的鏈路的Metric設置必須能夠區分鏈路速度和吞吐能力。對農行上海數據中心OSPF鏈路Metric規劃如下：鏈路類型 鏈路帶寬Mbps Metric值 GigabitEthernet 10,000 10 4portsGEChannel 4,000 25 2portsGEChannel 2,000 50 GigabitEthernet 1,000 100 VLANInterface 1,000 100 OSPFMD5認證考慮安全的因素，建議農行上海數據中心運行OSPF路由協議的網絡設備采用MessageDigestMD5認證，以保證OSPFUpdate的可靠性。靜態路由生產外聯區的被多層防火墻隔離成不同安全級別的區域，其內部將采用靜態路由協議，并通過匯聚層交換機重分發到OSPF路由協議中。QoS功能，目前有以下三種QoS服務模型：Best-Effortservice――盡力服務Integratedservice（Intserv）――綜合服務Differentiatedservice（Diffserv）――區分服務 Best-Effortservice盡力服務是最簡單的服務模型。應用程序可以在任何時候，發出任意數量的報文，而且不需要事先獲得批準，也不需要通知網絡。網絡則盡最大的可能性來發送報文，但對時延、可靠性等不提供任何保證。盡力服務是互聯網的缺省傳輸模式，由于它不區分具體的業務類型，采用先入先出的策略（FIFO）處理，對所有報文都無區別的等同對待，實現起來比較簡單，但由于無法為高優先級的實時業務和關鍵業務提供額外保障，盡力服務模型并不適合用于農行上海數據中心的建網需求。IntegratedserviceIntserv是一個綜合服務模型，它可以滿足多種QoS需求。這種服務模型在發送報文前，需要向網絡申請特定的服務。這個請求是通過信令（signal）來完成的，應用程序首先通知網絡它自己的流量參數和需要的特定服務質量請求，包括帶寬、時延等，應用程序一般在收到網絡的確認信息，即網絡已經為這個應用程序的報文預留了資源后，發送報文。而應用程序發出的報文應該控制在流量參數描述的范圍內。網絡在收到應用程序的資源請求后，執行資源分配檢查（Admissioncontrol），即基于應用程序的資源申請和網絡現有的資源情況，判斷是否為應用程序分配資源。一旦網絡確認為應用程序的報文分配了資源，則只要應用程序的報文控制在流量參數描述的范圍內，網絡將承諾滿足應用程序的QoS需求。而網絡將為每個流（flow，由兩端的IP地址、端口號、協議號確定）維護一個狀態，并基于這個狀態執行報文的分類、流量監管（policing）、排隊及其調度，來滿足對應用程序的承諾，具有面向連接的特性。因此對網絡設備的處理能力有較高要求。傳送QoS請求的信令是RSVP（資源預留協議），它通知路由器應用程序的QoS需求。DifferentiatedserviceDiffserv即區別服務模型，它可以滿足不同的QoS需求。與Integratedservice不同，它不需要信令，即應用程序在發出報文前，不需要通知路由器。網絡不需要為每個流維護狀態，它根據每個報文指定的QoS，來提供特定的服務。可以用不同的方法來指定報文的QoS，如IP包的優先級位（IPPrecedence、報文的源地址和目的地址等。網絡通過這些信息來進行報文的分類、流量整形、流量監管和排隊。通常在配置Differentiatedservice時，在網絡邊界的路由器通過報文的源地址和目的地址等對報文進行分類，對不同的報文設置不同的IP優先級，而其他路由器只需要用IP優先級來進行報文的分類。服務模型選擇這三種服務模型中，只有Intserv與Diffserv這兩種能提供多服務的QoS保障。從技術上看，Intserv需要網絡對每個流均維持一個軟狀態，因此會導致設備性能的下降，或實現相同的功能需要更高性能的設備，另外，還需要全網設備都能提供一致的技術才能實現QoS。而Diffserv則沒有這方面的缺陷，且處理效率高，部署及實施可以分布進行，它只是在構建網絡時，需要對網絡中的路由器設置相應的規則，會使配置管理比較復雜。由于農行網絡規模龐大，覆蓋了省到市、市到縣的全部區域，同時農行網絡要承載IP、IP會議電視、銀行傳統業務、銀行新業務、OA等多種流量，這對網絡設備（路由器）是一個很大的考驗。考慮到Diffserv模式具有處理效率高，部署和實時方便的特點，建議在農行網絡中，選用Diffserv模式。不論是Diffserv，還是Intserv，在最終對服務進行保障時，都是通過以下一些成熟技術來實現的：CAR。它根據IP包的優先級或QoS組，來進行報文的分類、以及報文的度量和流量監管。隊列技術。WRED、PQ、CQ、WFQ等隊列技術進行擁塞避免及擁塞管理。QoS實現技術網絡設備對轉發報文進行QoS保障的處理，發生在報文從設備的一個接口進入，到從另一個接口出去的整個過程中。從技術上，這個過程按照處理順序分為報文分類、擁塞管理、擁塞避免、流量監管與整形等部分。報文分類報文分類是QoS的基礎，只有區分了不同的報文業務，才能進行分別處理及保障相應業務的服務質量。一般在網絡邊界，利用ACL等技術，根據物理接口、源地址、目的地址、MAC地址、IP協議或應用程序的端口號等依據對報文進行分類，并同時設置報文IP頭的TOS字段作為報文的IP優先級；在網絡的內部則可使用邊緣設置好的IP優先級作為分類的標準，以提高網絡的處理效率。擁塞管理網絡資源總是有限的，當網上業務流量超過網絡提供的能力時，即發生了擁塞。在發生擁塞時，如何進行管理和控制呢？處理的方法是使用隊列技術。在一個接口沒有發生擁塞的時候，報文在到達接口后立即就被發送出去；在報文到達的速度超過接口發送報文的速度時，接口就發生了擁塞。擁塞管理就會將這些報文進行分類，送入不同的隊列；而隊列調度對不同優先級的報文進行分別處理，優先級高的報文會得到優先處理。不同的隊列算法用來解決不同的問題，并產生不同的效果。常用的隊列有FIFO、PQ，CQ，WFQ等，下面簡單介紹各種隊列技術的特性。1）先進先出隊列（FIFO）顧名思義，先進先出隊列（簡稱FIFO）不對報文進行分類，按報文到達接口的先后順序讓報文進入隊列，在隊列的出口讓報文按進隊的順序出隊，先進的報文將先出隊，后進的報文將后出隊。2）優先隊列（PQ）優先隊列（簡稱PQ）對報文進行分類，將所有報文依據預先配置分成最多4類，按照先進先出的策略分別進入4個優先級不同的隊列。在報文出隊的時候，高優先級的隊列相對于低優先級的隊列具有絕對的優先權，只有高優先級隊列報文發送完畢，較低優先級才得到發送，而且較低優先級的報文會在發生擁塞時被較高優先級的報文搶斷。因此采用這種隊列機制可以保證在網絡發生擁塞的情況下，重要業務（高優先級）的數據傳輸得到絕對的優先傳送。但在較高優先級的報文的速度總是大于接口的速度時，會使較低優先級的報文始終得不到發送的機會。3）定制隊列（CQ）定制隊列（簡稱CQ）根據設置將所有報文分成最多至17類，按照先進先出的策略分別進入1個系統隊列和16個用戶隊列。在出隊調度上，系統隊列具有絕對的優先權，系統總是先處理完該隊列后再用處理用戶隊列；16個用戶隊列占用出口帶寬的比例可以設置，CQ按定義的比例使各隊列之間在占用的接口帶寬上滿足管理員預先配置的比例關系。采用這種隊列機制，當擁塞發生時，能保證不同業務根據比例獲得相應的帶寬占用，從而既保證關鍵業務能獲得較多的帶寬，又不至于使非關鍵業務得不到帶寬，避免PQ的一些缺點。另外，沒有擁塞時，各業務可以根據流量中業務的相對比例充分使用接口帶寬，提高資源利用率。4）加權公平隊列（WFQ）加權公平隊列（簡稱WFQ）對報文按流進行分類（相同源IP地址，目的IP地址，源端口號，目的端口號，協議號，TOS相同的報文屬于同一個流），每一個流被分配到一個隊列。在出隊發送的時候，WFQ根據報文分類時設置的流的優先級（precedence）來分配每個流應占有出口的帶寬。優先級的數值越小，所得的帶寬越少。優先級的數值越大，所得的帶寬越多。在擁塞發生時，它能保證任何流量的流（業務），都能公平地得到一定的帶寬占用，減少這個網絡的時延，并當流（業務個數）的數目減少時，能自動增加現存流可占的帶寬。5）RTP（Real-timeTransportProtocol）優先隊列對實時要求高的數據流，例如語音，提供較高的優先級和預留帶寬。擁塞避免據統計，互聯網上發生70％的報文丟棄原因是由于擁塞造成的，對造成擁塞的原因進行分析，并制定避免擁塞的策略，將大大提高網絡的可用性。當擁塞發生時，如果按照傳統的隊列尾丟棄處理方式，對于TCP報文，會引發TCP的慢啟動和擁塞避免機制，使TCP減少報文的發送。當同時丟棄多個TCP連接的報文時，將造成多個TCP連接同時進入慢啟動和擁塞避免，稱之為：TCP全局同步。這使得發向網絡的報文流量總是忽大忽小，線路上的流量總在極少和飽滿之間波動，造成網絡利用率降低。為了避免這種擁塞情況的發生，可以采用隨機早期檢測（RED）或加權隨機早期檢測（WRED）的丟棄策略。可避免使多個TCP連接同時降低發送速度，避免TCP的全局同步現象。這樣，無論什么時候，總有TCP連接在進行較快的發送，提高了線路帶寬的利用率，降低擁塞的發生。丟棄策略對網絡中TCP方式的應用有比較好的效果，但對網絡中UDP數據產生的擁塞則不會有很大的改善。流量監管和整形流量監管的作用是限制進入網絡的某一連接流量與突發，在報文滿足一定的條件下，如某個連接的報文流量過大，流量監管就可以選擇丟棄報文，或重新設置報文的優先級。通常是使用CAR來限制某類報文的流量，如限制FTP報文不能占用超過50%的網絡帶寬。如果需要限制流出網絡的某一連接流量報文，以比較均勻的速度向外發送，則使用流量整形。約定訪問速率（CAR）――是一種帶寬管理機制，利用令牌桶技術來實現帶寬的分配和測量。網絡管理員可以為不同的業務分配不同的帶寬，定義業務占用的帶寬超過分配額度時的處理策略，通過限制通過路由器某一端口的流量，很好地保證整個網絡的QOS。CAR既可用于網絡的入口也可用于網絡的出口，可以報文分類完成的結果區分不同的業務流。另外，它還可以對報文的IP優先級根據需要加以重新標記。CAR技術是農行網絡進行QoS管理的核心技術之一，通過CAR，我們可以保證在網絡發生擁塞時，確保優先業務正常運行所需帶寬，華為全系列NE路由器均支持CAR技術。通常的CAR技術由軟件來實現，需要花費路由器較多的處理能力，由于集中式轉發路由器處理能力有限，采用CAR將嚴重的影響整個路由器的轉發效率。QuidWay系列高端路由交換機全部采用了分布式轉發體系，每塊業務板均有CPU負責本板的CAR功能，分布式CAR不會為路由交換機造成性能瓶頸。農行數據中心QoS設計目前，農行上海數據中心網絡相關業務可分為以下幾個類別：業務類別 具體業務 實時業務 生產實時、OA實時、用戶認證、網絡管理、設備管理、空調信號、語音、視頻會議…… 普通交互業務 其他視頻、OA非實時、生產非實時…… 批量業務 代理業務、FTP…… 其他業務 等不包含在以上分類的其他業務 業務對網絡的QoS需求主要表現在對網絡帶寬、延遲、延遲抖動、包丟失等方面的要求。根據以上業務類別，可知農行上海數據中心的QoS需求列表如下：業務類別 帶寬要求 延遲 延遲抖動 包丟失 實時業務 按需確保 低 低 低 普通交互業務 適量帶寬 適量 適量 適量 批量業務 適量帶寬 適量 適量 適量 其他業務 盡量服務 盡量服務 盡量服務 盡量服務 由于上海數據中心的局域網采用萬兆端口互聯，應該不會出現網絡擁塞，所以在上海數據中心的局域網中將主要實現對不同數據流的分類和標記。即在接入層對不同業務的數據流進行分類，并采用DSCP進行標記。根據以上表格，把需要使用QOS的各種應用劃分為5類：網絡控制信令：關鍵的設備管理和控制信令傳輸。定義為最高優先級視頻/語音：這類數據對延時也非常敏感，但屬于多媒體業務，可以定義為最高優先級；業務類實時業務：這類數據的特點是交易包長度固定，交易時限要求實時，上下行數據流量基本對等，因為是網絡中的關鍵應用，所以應定義為次優先級；業務類非實時業務：這類數據的特點是數據流量大，網絡要求實時性不高，定時傳輸。所以應定義為比較高的優先級；管理類實時業務：這類業務對實時性要求高。定義為比較高的優先級。管理類非實時業務：這類數據通常對網絡實時性要求不高，可定義為一般優先級業務；其它應用：其它應用包括大部分Internet訪問，典型的應用是FTP或HTTP等，可以把這類應用定義為最低的優先級。由于DSCP向下兼容IPPrecedence，而DSCP提供了進一步細分不同類型數據流的能力，可以滿足未來中國XX銀行上海數據中心網絡擴展的需求，因而在數據中心采用DSCP進行數據流分類、而在一級分行采用IPPrecedence進行數據流分類。DSCP與IPPrecedence值進行相互轉換時有如下的對應關系：IPPrecedence DSCP 0000--- 0000000 1001--- 8001000 2010--- 16010000 3011--- 24011000 4100--- 32100000 5101--- 40101000 具體數據流分類如下：業務應用類型 DSCP/IPPrecedence值 其它應用（如FTP和HTTP） 0/0 非FTP/HTTP的OA應用 8/1 業務非實時，辦公實時 16/2 業務類實時業務 24/3 視頻/語音 32/4 網管,控制信令傳輸 40/5 可靠性設計可靠性概述網絡的可靠性是一個從端到端的全程概念，單純提高某一層面的可靠性并不能對網絡整體的可靠性有很大改善。網絡的可靠性最終要從設備級、鏈路級、網絡級、業務級等各層次保證。設備級的可靠性：包括設備本身的健壯性及對周圍環境的適應能力，可靠的設備應該對關鍵部件（如主控板，交換網板，電源等）進行冗余備份，并且可以在惡劣的環境下長時間穩定運行。設備級可靠性的另外一個重要方面就是設備在線升級能力及容錯能力，容錯能力體現在如設備發生故障時，可自動平滑的啟動備份部件，不對業務造成影響。鏈路級的可靠性：包括鏈路本身的可靠性，包括良好的線路質量，及鏈路的備份技術，如采用一些物理線路捆綁技術提供線路的可靠性，也可以采用其它鏈路/線路保護技術，如環網技術。網絡級的可靠性：設計合適的拓撲，如避免采用單星型結構以避免單點故障；網絡設計模塊化，各功能區域相獨立，任一區域的故障不會擴散到其它區域；設備間的備份，如采用VRRP進行備份，當主用設備發生故障時，流量自動切換到備份設備上，該過程對業務透明；路由可靠性：首先根據網絡特點選擇合理的路由協議，避免路由環路，減少路由振蕩，并且保護某個網絡節點失效后網絡快速自愈。業務可靠性：網絡只是業務的承載平臺，設備，鏈路及網絡的可靠性設計歸根到底都是為了保證業務的可靠性，從網絡角度考慮業務可靠性，主要是通過各種網絡技術時業務數據流滿足業務的要去，如流量分布是不均衡的，特別是突發流量會引起網絡的擁塞，導致業務的中斷，需流量管理的引入能夠使網絡流量均衡，提高網絡的利用率，進而對控制網絡擁塞情況的發生。網絡的可靠性設計并不是一個孤立的問題，受到網絡的地理分布，規模，可用線路等多方面原因限制，但作為數據中心網絡應具備以下可靠性設計特點：業務網絡與后臺管理層網絡的分離網絡關鍵設備之間互相備份網絡關鍵設備重要部件備份業務網絡的關鍵層次設備之間的冗余連接后臺管理層的雙平面網絡設計網絡結構模塊化優化后的動態路由保護防火墻的冗余設計VRRP的冗余設計二層流量范圍的控制在任何情況下，任何時間，任何地點的設備完全的管理維護手段下面從各層次詳細描述農行上海數據中心網絡的可靠性設計。設備級可靠性設計農行數據中心網絡的設備級可靠性主要從設備自身可靠性，設備間熱備份兩個方面考慮。作為網絡核心、匯聚層、高密度與關鍵業務接入層的關鍵設備必須具有電信級可靠性：可靠性指標必須達到99.999%；網絡核心設備采用全分布式體系結構，路由與轉發分離；所有關鍵器件，如主控板、交換網、電源等都采用冗余設計，業務模塊支持熱插拔；網絡核心設備支持不間斷轉發，主控板熱備份。主備倒換過程不影響業務轉發，不丟包。網絡核心設備支持軟件在線升級，升級過程中業務不中斷。網絡核心設備支持軟件熱補丁，打補丁過程中主控板和接口板都不需要重啟動，業務不中斷。引擎（含主控及交換網）對高可靠性的支持必須是完備的，系統的。既要對硬件部件的備份，也需要對數據和系統的中間狀態信息備份。硬件的備份技術是由硬件邏輯或者底層軟件控制的，系統需要實時檢測硬件的狀態，如果發現異常，則啟動倒換過程，將備用硬件升級為主用，而原主用部件相應的轉換為備用，同時嘗試對硬件部件復位，并給系統發出告警。對數據和系統狀態的備份也需要相應的硬件配合，通過部件冗余備份實現來增強設備的可靠性，如對路由器的主控板進行冗余備份，備用板與主用板之間并不進行運行狀態和與運行數據的同步。路由器啟動時，主用板和備用板都要進行程序加載，并且開始相關模塊的初始化，主用板正常執行啟動過程，開始軟件運行，備用板并不完成所有的初始化（包括配置文件的執行），而是在完成之前的最后一步暫時阻塞，保持等待運行的狀態；一旦主用板出現故障，備用板重新啟動所有的業務板并完成最后的初始化，接替主用板工作。這種備份方式稱為冷備份。冷備份節省了加載以及啟動的時間、備用板配置恢復時間，減少了故障恢復時間，從而增加系統可靠性。不過在這種備份方式下，1）由于主備之間不進行任何數據的備份，需要進行數據的搜集或恢復處理，需要花費一定的時間，2一些協議連接需要重新協商處理，如路由協議建立鄰居、路由聚合需要花費一定的時間;3可能會導致業務板的重新啟動，需要花費一定的時間。所有這些，都可能導致業務的短時間中斷，但是，即使是瞬間的網絡中斷，也可能給用戶造成巨大的損失，對銀行系統這種敏感用戶尤其如此。為了將網絡中斷時間減少至最短時間，甚至做到業務不中斷，需要對系統運行時的動態數據或進程狀態進行備份，這時備用板處于一個特殊的運行態，只接收和儲存由主用板發送來的數據和狀態，當主用板發生故障時，系統平滑的切換到備用板，切換過程對網絡用戶透明，業務不會因為網絡的切換而中斷。我們稱這種備份方式為熱備份。當系統的備用板啟動之后，主用板和備用板之間的狀態差異可以非常大，這時需要將主用系統的數據批量的備份到備用板上，這個過程就是批量備份。當批量備份結束后，隨著系統的運行，主用系統的數據會發生變化，這些變化需要定時的備份到備用系統中，這個過程稱作定時備份。一旦主用系統出現故障，備用系統和主用系統的角色需要交換，將備用系統升格為主用系統的過程稱作主備倒換。備用系統升級為主用系統后，一些狀態信息沒有從原主用系統得到，或數據失效，新的主用系統需要與接口板對硬件狀態、鏈路層狀態和配置數據上確認這些數據，這個確認過程是數據平滑。熱備份保證主備系統板之間的數據和狀態始終一致，因而，業務板也感覺不到系統板發生倒換，再加上協議狀態的一致，因此可以保證業務不會丟失。華為的VRPVirsatileRoutingPlatform在QuidwayS8512萬兆核心路由交換機產品的各個業務板上保存FIB表（轉發表），報文轉發不需要系統板的參與。主備倒換發生時，業務板不發生變化，允許保文繼續轉發，從而保證業務不損失。本次項目的配置建議中，我們推薦農行上海數據中心的核心層、匯聚層和接入層網絡設備都采用冗余引擎。每臺核心層設備均采用HA特性實現系統的高可靠性，可以在主控板發生故障時，快速、準確恢復系統的正常運行，從而增強系統的MTBF（MeanTimeBetweenFailure），即平均故障間隔時間。HA特性是主控板單板的一個特性。交換機有兩塊主控板單板，工作在master-slave備份模式，即一塊工作在master模式，為主控板，一塊工作在slave模式，為備用板。當主控板發生故障時，主備倒換將自動進行。備用板將自動連接并控制系統的BUS，同時原來的主控板將斷開和系統BUS的連接。主備倒換完成后，備用板將成為主控板，而原來的主控板將重新啟動成為備用板。因此，即使主控板故障，備用板也能迅速取代它成為主控板，保證S8500系列路由交換機的正常運行。此外，在網絡異常情況下（如CPU占用超過70％）華為設備可采取多種保護措施，提高整機可靠性：S8512設備設計特點之一是轉發與控制相分離：轉發層根據控制層下載的轉發信息（如：轉發表、STP狀態）線速轉發。控制層面繁忙不會影響已有流量/規則的線速轉發；S8512設備設計特點之二是控制層面采用全分布式體系架構（轉發層也是全分布式結構）：部分協議分布在接口板上實現（如：ARP）以減輕主控CPU負擔；同時接口板還過濾所有送往主控板的報文流量，在主控CPU占有率/接口板CPU占有率較高時根據策略發現攻擊、非法報文并切斷非法報文送往主控CPU，以保證主控CPU安全，將攻擊/危險控制在有限范圍內。同時主控板也根據自身策略做防護；S8512設備特點三采用高性能的最長匹配、逐包轉發的方式：在保持線速性能和低成本的基礎上，革命性的解決了傳統交換機流Cache精確匹配轉發的致命缺陷，能夠有效的抗擊網絡“紅色代碼”、“沖擊波”等病毒的攻擊，更加適合大規模、多業務，復雜流量訪問的網絡。另外，在QuidwayS8512設備發現自身CPU占用率異常情況下，比如超過70％，幾乎可判定為受到攻擊或網絡拓撲不斷發生新的變化。QuidwayS8512設備系統通過主控板/接口板協調配合實現系統自愈，有效較低CPU占有率，保障整機系統的穩定。電源本次為農行上海數據中心網絡推薦的設備是全部采用QuidwayS8512萬兆核心路由交換機。S8500系列路由交換機的電源系統支持交流和直流兩種供電方式。供電系統位于機箱底部，電源占3U高度。直流供電和交流供電方面從結構設計上采取了空間復用方式，供電子系統可根據需求進行靈活配置，供電框和主功能框之間采用線纜連接，所有線纜在機箱后部走線。電源供電設計和主功能框采用相對獨立腔體，電源散熱采用電源模塊內部風扇，為前后風道，前進風，后出風。S8500系列路由交換機只需1個電源模塊即可保證系統的正常工作，但路由交換機提供有2個電源模塊的槽位，實現了電源模塊的1+1冗余備份，并可以實現負載均衡。且S8500系列路由交換機的電源模塊均支持熱插拔。此外，外置POE電源系統也支持2+1冗余備份，并且支持熱插拔。建議在數據中心采用負載均衡方式工作。模塊和端口模塊和端口設計通用原則如下：區分上連、互連和下連鏈路，盡量保證彼此模塊相對獨立；同一機箱優先使用高編號槽位；同一模塊優先使用高編號端口；確保Channel的所有端口使用相同模塊；核心層QuidwayS8512核心層QuidwayS8512路由交換機槽位和端口使用策略：0槽和1槽配置主備用引擎模塊；12、13各自對應一個2×10GE核心互連；從9槽開始連接匯聚層設備。區分不同區域的接入端口，盡量保證彼此模塊相對獨立；匯聚層QuidwayS8512匯聚層QuidwayS8512路由交換機槽位和端口使用策略：13、12、11槽連接2×GE匯聚互連和2/4×GE核心上連；從7槽開始連接接入層設備。接入層QuidwayS8512接入層QuidwayS8512交換機槽位和端口使用策略：13、12槽分別配置一個2×GE接入匯聚設備；從11槽開始連接接入設備。系統軟件所有的軟件系統均無盡善盡美，那么軟件的補丁技術可靠性也是數據中心網絡建設設備級可靠性設計考慮的重要環節。補丁技術主要目的是修正已經發現并解決的BUG，防止相同的問題在不同的網絡上發生。在兩種補丁技術中，冷補丁的軟件升級技術是傳統數據通信產品的主要方式，熱補丁技術則是現有電信網絡設備的常用方式，冷補丁技術能夠不中斷業務的轉發，但對設備的正常運行有一定影響；熱補丁的執行過程中業務處理流程可以正常進行，對設備沒有任何影響。華為3Com公司本次項目推薦采用的是QuidwayS8512萬兆核心路由器，該產品能夠執行上述兩種補丁方式。冷補丁技術的主要原理是使用更新的軟件版本替換有問題的版本，在這個過程中，如果是在無備份的機制下，會中斷轉發業務；在有備份板的情況下，打補丁操作需要在備板中進行，通過手動倒換操作，能實現無業務損失的升級工作，但在接口處理板上的補丁操作會影響業務的正常運行。熱補丁技術需要有操作系統和相應的編譯工具的支持，它的原理是將所需要升級的那部分代碼編譯后形成一個補丁文件，在打補丁過程中，將這個補丁文件加載到系統的補丁區域，并修改原有軟件的Bug區域，將新的特性跳轉到補丁區域執行，整個過程不需要中斷業務，可以在主用板執行，因此業務沒有絲毫損失。另外熱補丁技術并沒有修改原有軟件，因此在需要時可以回退，這也為補丁的更新提供了更便利的條件。建議在農行數據中心今后網絡設備維護時采用熱補丁技術。鏈路級可靠性設計鏈路級可靠性設計主要考慮在網絡的關鍵處采用鏈路冗余備份設計，可適當采用交叉連接方式、鏈路捆綁等。農行上海數據中心的網絡鏈路連接方式建議如下：農行上海數據中心的網絡核心、匯聚層與接入層之間都有冗余連接；而對于匯聚層與接入層兩個設備之間的連接采用了PortChannel的設計，如下：網絡連接 冗余鏈路設計 核心設備之間互連 2×10GE 核心與匯聚設備互連 2/4GE 分布設備之間互連 2/4GE 分布與接入設備互連 2/4GE 網絡級可靠性設計拓撲冗余根據前文所述，農行數據中心網絡分為多個功能分區，每個網絡功能分區的接入層交換機將定義為Layer2交換機，Layer2和Layer3的邊界位于每個網絡功能分區的匯聚層交換機上。 命令 配置交換機的BPDU保護 stpbpdu-protection 恢復配置交換機的BPDU保護 undostpbpdu-protection 配置交換機的Root保護功能（系統視圖） stpinterfaceinterface-listroot-protection 恢復配置交換機的Root保護功能為缺省的關閉狀態（系統視圖） undostpinterfaceinterface-listroot-protection 配置交換機的Root保護功能（以太網端口視圖） stproot-protection 恢復配置交換機的Root保護功能為缺省的關閉狀態（以太網端口視圖） undostproot-protection 配置交換機的環路保護功能（以太網端口視圖） stploop-protection 恢復配置交換機的環路保護功能為缺省的關閉狀態（以太網端口視圖） undostploop-protection 啟動防止TC-BPDU報文攻擊的保護功能（系統視圖） stptc-protectionenable 關閉防止TC-BPDU報文攻擊的保護功能（系統視圖） stptc-protectiondisable 缺省情況下，交換機只啟動防止TC-BPDU報文攻擊的保護功能，不啟動BPDU保護功能、Root保護功能和環路保護功能。交換機上啟動了BPDU保護功能以后，如果邊緣端口收到了配置消息，系統就將這些端口關閉，同時通知網管這些端口被MSTP關閉。被關閉的端口只能由網絡管理人員恢復。對于設置了Root保護功能的端口，其在所有實例上的端口角色只能保持為指定端口。一旦這種端口上收到了優先級高的配置消息，即其將被選擇為非指定端口時，這些端口的狀態將被設置為偵聽狀態，不再轉發報文（相當于將此端口相連的鏈路斷開）。當在足夠長的時間內沒有收到更優的配置消息時，端口會恢復原來的正常狀態。在對一個端口進行配置的時候，在Loop保護功能，Root保護功能或者邊緣端口設置三個配置中，同一時刻只能有一個配置生效。對于設置了loop保護功能的端口，其在所有實例上的端口狀態只能遷移成discarding狀態。一旦這種端口上長時間收不到配置消息，即其將發生狀態角色遷移時，只發生角色的轉換，但是仍然會維持discarding狀態，不轉發報文。這是為了防止對端由于錯誤操作導致BPDU報文發不出，而該端口由于長時間收不到配置消息直接進入forwarding轉發狀態所產生的環路。缺省情況下，交換機不啟動BPDU保護功能、Root保護功能和環路保護功能。網關冗余VRRP（VirtualRouterRedundancyProtocol）是一種容錯協議，其目的是利用備份機制來提高路由器與外界連接的可靠性。VRRP確保當主機的下一跳三層設備（本次推薦的QuidwayS8512）壞掉時可以及時的由另一臺QuidwayS8512來代替，從而保持通訊的連續性和可靠性。為了使VRRP工作，要在設備上配置虛擬路由器號和虛擬IP地址，同時產生一個虛擬MAC地址，這樣在這個網絡中就加入了一個虛擬QuidwayS8512。而網絡上的主機與虛擬QuidwayS8512通信無需了解這個網絡上物理QuidwayS8512的任何信息，一個虛擬QuidwayS8512由一個主QuidwayS8512和若干個備份QuidwayS8512組成，主QuidwayS8512實現真正的轉發功能。當主QuidwayS8512出現故障時一個備份QuidwayS8512將成為新的主QuidwayS8512接替它的工作。VRRP中只定義了一種報文――VRRP報文，這是一種多播報文，由主