1、大型金融數據中心網絡架構設計金融數據中心網絡架構設計金融電子化起步1980-1990計算機替代手工操作引進小型機和微機承擔后臺和前臺處理微機單兵作戰聯網通存通兌1990-2000全城聯網電子票據交換通存通兌全國聯網全行數據集中2000-2007數據大集中綜合業務系統降低IT TCO強化風險控制以客戶為中心IT架構治理2007 2013架構優化和安全風險關注服務與管理流程網上業務快速發展數據挖掘、風險管理 2013 互聯網金融自主可控客戶體驗大數據分析產品及服務創新信息化金融我國金融業IT建設與發展回顧中國銀行業信息科技“十三五”發展規劃監管指導意見（征求意見稿） 穩步開展云計算應用，主動實施架

2、構轉型探索構建私有云平臺，采用成熟度高、開放性強的計算虛擬化、容器虛擬化、分布式存儲、網絡虛擬化 等技術，建立資源池，形成資源彈性供給、靈活調度和動態計量的私有云平臺。60%75%快速研發，持續創新到“十三五”末期，面向互聯網場景的重要信息系統全部遷移至云計算架構平臺，其他系統遷移比例不低于60%提高基礎資源和應用部署的自動化水平，實現快速交付、動態調整、彈性部署，降低人工操作風險，自動化部署比例不低于75%推進開發、測試、交付一體化建設，支撐產品迅速投放市場信息科技“十三五”發展規劃監管指導意見（征求意見稿）金融網絡應用場景的劃分數據中心應用服務域（核心業務、多媒體、呼叫中心、管理信息系統、

3、辦公系統、運維系統等業務系統）應用服務層渠道接入層企業邊界服務域（網銀、網站、外聯、郵件、辦公系統、辦公互聯網等業務系統）用戶層Intranet（分支機構、總行園區、數據中心園區）InternetExtranet分支機構用戶ATM、VTM、POS、柜員終端 辦公終端、業務中心終端等數據中心用戶運維用戶、辦公終端、開發測試用戶總行用戶業務終端、辦公終端、運維用戶、開發測試用戶互聯網用戶網銀用戶（公、私） 小企業用戶（銀企、現金管理等） 外聯用戶合作伙伴、境外機構 、離行設備（4G/3G/2G/PSTN) 金融網絡應用場景的劃分數據中心應用服務域應用服務層渠道接入層企業邊界服務域用戶層Intran

4、etInternetExtranet分支機構用戶數據中心用戶總行用戶互聯網用戶外聯用戶私有云數據中心網絡解決方案兩地三中心網絡解決方案雙活數據中心網絡解決方案統一外聯解決方案網上銀行網絡解決方案金融互聯網資源區網絡建設方案兩地三中心骨干網/核心承載網方案金融園區網解決方案WIFI、BYOD解決方案深度安全防護方案網點/3G/4G/網控器/移動營銷解決方案用戶及終端安全準入解決方案遠程移動辦公方案3G/4G VPDN專線接入方案大數據平臺網絡解決方案商業銀行數據中心發展及未來的演進路線第二十五條 銀行業金融機構應加強網絡安全管理。生產網絡與開發測試網絡、業務網絡與辦公網絡、內部網絡與外部網絡應實

5、施隔離；加強無線網、互聯網接入邊界控制；使用內容過濾、身份認證、防火墻、病毒防范、入侵檢測、漏洞掃描、數據加密等技術手段，有效降低外部攻擊、信息泄漏等風險。第三十八條 銀行業金融機構應建立獨立的測試環境，以保證測試的完整性和準確性。測試至少應包括功能測試、安全性測試、壓力測試、驗收測試、適應性測試。測試不得直接使用生產數據。對網絡功能分區、網絡安全劃分具有指引意義DC 1.0：銀行業信息系統風險監管（1）第二十四條 商業銀行應根據信息安全級別，將網絡劃分為不同的邏輯安全域（以下簡稱為域）。應該對下列安全因素進行評估，并根據安全級別定義和評估結果實施有效的安全控制，如對每個域和整個網絡進行物理或

6、邏輯分區、實現網絡內容過濾、邏輯訪問控制、傳輸加密、網絡監控、記錄活動日志等。第三十五條 商業銀行應制定相關控制信息系統變更的制度和流程，確保系統的可靠性、完整性和可維護性，其中應包括以下要求：（一） 生產系統與開發系統、測試系統有效隔離。（二） 生產系統與開發系統、測試系統的管理職能相分離。（三） 除得到管理層批準執行緊急修復任務外，禁止應用程序開發和維護人員進入生產系統，且所有的緊急修復活動都應立即進行記錄和審核。（四） 將完成開發和測試環境的程序或系統配置變更應用到生產系統時，應得到信息科技部門和業務部門的聯合批準，并對變更進行及時記錄和定期復查。對網絡功能分區、網絡安全劃分具有指引意義

7、DC 1.0：銀行業信息系統風險監管（2）DC 1.0：網絡功能分區的需求01應用服務域滿足數據中心內生產業務、經營管理類業務、辦公業務等服務資源接入服務、安全服務、負載均衡服務04管理服務域滿足日常操作運維需要的運維人員接入，運維服務器接入，帶外帶內網絡接入03存儲服務域滿足新數據中心基于IP技術的NAS存儲網絡和備份網絡02用戶接入域提供內部生產辦公用戶、外聯單位用戶、公眾用戶的接入服務及安全服務數據中心應滿足應用服務域、用戶接入域，存儲服務域、管理服務域、多中心互聯域等服務資源的構建，各功能組件通過網絡服務總線互聯為一個統一的架構。DC 1.0：應用服務分區的目標存儲服務域應用服務域網絡

8、服務總線管理服務域用戶接入服務外聯接入業務互聯網接入辦公互聯網接入內部用戶接入帶內管理服務帶外管理數據中心互聯廣域網InternetInternet廣域網園區網第三方機構存儲服務域應用服務域網絡服務總線管理服務域用戶接入服務外聯接入業務互聯網接入辦公互聯網接入內部用戶接入帶內管理服務帶外管理數據中心互聯廣域網InternetInternet廣域網園區網分支機構異地災備中心DC 1.0：金融數據中心安全區的劃分數據中心網絡分區從總體上可分成不同安全級別的四個安全區：非安全區、半安全區、安全區、核心安全區非安全區（對外連接）半安全區DMZ核心安全區安全區安全邊界安全邊界安全邊界不受控制的區域，如對

9、Internet公眾用戶、外聯第三方單位等提供服務的資源區域，企業的安全政策和標準無法強制執行企業內部網到核心安全區、安全區的過渡區域，外部網絡和企業內部網絡之間的過渡區域，用于分割它們之間的直接聯系，隱藏和保護內部資源提供企業內部重要程度一般的服務器和客戶端的接入，安全級別較高 安全級別最高，包含了重要的應用服務器，提供關鍵的業務應用；包含企業網絡管理、系統管理、安全管理、流程管理等管理功能相關的模塊所集中的區域，具有很重要的意義，需要嚴格的安全策略；從外部網絡到核心安全區域應通過半安全區進行轉發，必須經過嚴格的安全控制DC 1.0：數據中心安全域劃分互聯網接入區公眾用戶VPN維護用戶VPN

10、辦公用戶合作伙伴外聯網接入區合作伙伴外聯DMZ專線VPN網關辦公VPN網關維護網銀、手機銀行電商DMZ門戶網站DMZ員工上網DMZ其他系統DMZ入侵防護防DDOS防病毒網關Internet園區網廣域接入OA生產其他總部機構同城及異地中心分支機構運維管理服務區安全管理流程管理ECC堡壘機帶外管理其他業務三區辦公應用決策應用其他業務二區非核心系統業務一區核心業務應用服務器業務處理體系渠道體系非安全區半安全區安全區核心安全區核心交換區內聯區前置系統核心業務區核心業務系統密鑰管理平臺數據總線渠道管理平臺會計處理平臺資金運營中間業務代理理財重要業務區決策支持系統風險分析系統管理網區視頻監控視頻會議系統運

11、維區安全管理平臺網管系統廣域網接入區省際骨干接入互聯網接入區外聯區DMZ1DMZ2DMZ3DMZ1DMZ2辦公管理區資產管理系統準生產區準生產系統測試區測試系統培訓環境數據中心互聯帶外管理區金融網Internet第三方接入第三方接入測試網安全服務安全服務安全服務安全服務安全服務安全服務安全服務安全服務安全服務安全服務安全服務互聯網接入外聯接入DC 1.0： XX銀行數據中心網絡架構非安全區半安全區安全區核心安全區A08-18A機房布局A08-10A08-09A08-01A07-18A07-10A07-09A07-01A06-08A06-07A05-16A05-12A05-09A05-08A05

12、-07A04-08A04-07A03-10A03-09A03-01A02-18A02-10A02-09A02-01A01-18A01-10A01-09A01-01A06-06A06-05A05-06A05-05A06-04A06-03A05-04A05-03A06-02A06-01A05-02A05-01機架服務器x5刀片機x3機架服務器小型機機柜機架服務器小型機機柜小型機機柜機架服務器小型機機柜機架服務器x5刀片機x3機架服務器x5刀片機x3機架服務器x5刀片機x3機架服務器x5刀片機x3機架服務器x5刀片機x3機架服務器x5刀片機x3A04-06A04-05A04-04A04-03A04-

13、02A04-01A03-12A03-11A03-14A03-13A03-16A03-15A06-14A06-13A06-12A06-11A06-10A06-09銅纜三相電存儲區三相電存儲區三相電存儲區空調側帶庫機柜A04-13A04-15A04-14A04-12綜合布線綜合布線綜合布線綜合布線綜合布線綜合布線綜合布線擴展B路DCXDCX擴展A路DCXDCX新網銀APP新網銀DB新網銀WEB新網銀WEB擴展新網銀APP新網銀DB新網銀APP擴展新網銀擴展走廊側統一考核VMAXDC 1.0：數據中心機房典型分配方式DC 1.0：采用傳統網絡架構面臨的挑戰15網絡資源管理和分配采用手工方式進行管理，

14、并且與應用耦合度較高，需要多個部門協商才能確定，管理復雜，效率不高。網絡組網使用傳統技術，廣播流量和未知單播泛洪會影響底層網絡的穩定運行，網絡規模難于擴展。網絡分區相對固定，交換機、防火墻、負載均衡性能容量需要依賴設備縱向能力提升，拆分時需要配套網絡拓撲方式變化，變更風險較大。運維網絡邏輯分區與物理位置的緊耦合，造成計算集群不能跨分區進行部署，一定程度上造成了計算、存儲資源的碎片化，加劇了計算、存儲資源整體富余，局部緊張的結構性矛盾，不利于資源池化管理。各分區計算資源在各機房的接入增長不平衡，造成整體富余，局部緊張的結構性矛盾，經常需要進行跨機房跳線或物理搬遷服務器。網絡分區跨機房部署造成機房

15、模塊之間的布線關系復雜并且數量巨大，機房可持續重用能力較弱，另外在每個機房中的變更維護操作都要考慮到分區整體性風險。現有網絡設備和布線以千兆接入為主，難以滿足后續計算、存儲多網融合后大量萬兆服務器接入需求；服務器網卡使用缺乏統一標準，不利于通過自動化進行資源的快速調度。架構靈活性DC 2.0：技術需求與規劃要點01靈活性對網絡的需求表現為松耦合的架構，極高的可靠性、靈活的容量和性能擴展能力03網絡資源池服務器虛擬化使計算資源可池化，為此網絡需要實現支持各種虛擬化技術的應用場景；如：構建大規模的二層網絡資源池、支持網絡策略的跟隨02高密接入大量應用系統向開放的X86服務器轉型，網絡架構具有大規模

16、網絡接入的能力交換核心管理監控區ECC總控中心運維管理服務帶外連接帶外管理網管控中心外網Internet園區網生產辦公接入區生產業務后臺區內聯隔離區互聯后臺區辦公后臺區電話銀行后臺區互聯隔離二區互聯隔離一區InternetInternet外聯單位外聯單位外聯隔離區企業邊界廣域內聯接入區數據中心互聯托管業務區NAS訪問區DC 2.0： XX銀行北京數據中心邏輯架構計算資源內外聯隔離資源池辦公管理資源池互聯業務資源池服務器機房模塊服務器機房模塊服務器機房模塊互聯后臺區互聯隔離一區互聯隔離二區L3匯聚L3匯聚L3匯聚辦公服務區管理服務區L3匯聚L3匯聚二層網絡二層網絡生產后臺資源池生產后臺區L3匯聚

17、二層網絡外聯隔離區L3匯聚內聯隔離區L3匯聚二層網絡電話銀行資源池電話銀行區L3匯聚二層網絡NAS資源池NAS服務區L3匯聚二層網絡DC 2.0： XX銀行同城數據中心服務資源池CORE互聯業務服務群生產業務后臺內聯及外聯服務群辦公及管理服務群區域邊界區域匯聚DC 2.0：互聯業務服務群構建網絡資源池網絡資源池L2核心接入設備互聯網隔離一區DMZ互聯網隔離二區DMZ互聯網后臺區互聯隔離一區網絡邊界互聯隔離二區網絡邊界Internet解決高密X86服務器部署的擴展能力需求，能過適應應用的大規模快速上線/調整。大量業務組件松耦合、可復用，資源化設計里面打破了傳統豎井式的部署理念以一個機房為單位進行

18、“資源化”的設計，使邏輯結構與物理布局松耦合，機房布局標準化。資源化設計理念Single Fabric架構使各類服務獲得無差別的網絡性能（轉發跳數、收斂比等），可實現統一擴展、統一升級。更容易適應未來大規模分布式計算、分布式存儲的應用模型，具有極高的可擴展能力物理架構上兼容未來Overlay、SDN技術，可平滑的進行過度。Single Fabric 架構DC 2.0：“資源化”對應機房布局的改變管理目標：以金融私有云數據中心概念為指引，進一步提升IT管理能力和管理水平科學定位多數據中心運營能力，支持多中心的建設，提升業務的可用性積極探索、科學分析、合理引入新技術來實現更靈活高效的資源管理規范化

19、、自動化的數據中心運維管理能力以提升IT的整體管理水平全面完善的容災體系建設以支持業務連續具有適應企業自身特色的、符合監管要求的科技風險管理總體戰略對IT建設要求目前金融企業大部分業務系統屬于分散、獨立的豎井式部署。分散、不易量化的IT資源使用方式帶來了部分資源閑置、浪費。需要利用資源池的方式，使數據中心的資源利用率得到有效提高。提高資源利用率目前對于新業務系統上線，大部分還處在手工安裝部署方式，資源準備的時間較長。需要通過云計算的自動化部署特性，支撐業務的快速上線，及其它部門對資源的需求。快速部署交付大量的人工操作依賴于運維人員的經驗和技能，由于技能不足和人工差錯導致的問題勢難避免。通過云計

20、算將分散在運維人員的經驗、技能固化，并通過自動化的方式避免人工錯誤造成的損失。提升自動化管理水平業務需求驅動IT資源環境管理標準、流程調研評估DC 3.0：構建金融私有云的管理目標DC 3.0：構建金融私有云的運維目標全堆棧的自動化IT基礎設施與物理資源的解耦以應用為中心的數字化運營劃分資源池或應用服務群IT基礎設施的虛擬化（X86化、虛擬化、資源池化）構建私有云架構驗證中心云管理、SDN、服務鏈等IAAS架構驗證和知識積累辦公、基礎服務、統一運維、互聯網綜合業務平臺、內聯及外聯前置業務平臺、經營管理等業務群簡單IaaS私有云建設私有云服務交付自動化的業務編排（計算、網絡、存儲、安全）容量計劃

21、與管理與運營工具和運維流程的集成資源池構建驗證測試云開放平臺云全業務私有云DC 3.0：金融數據中心擁抱私有云的策略DC 3.0：通過IaaS就緒網絡構建資源池核心核心匯聚匯聚服務服務接入接入匯聚匯聚服務服務接入接入匯聚匯聚服務服務接入接入業務A WEB/AP/DB業務B WEB/AP/DB業務N WEB/AP/DB核心核心核心核心匯聚匯聚服務服務接入接入匯聚匯聚服務服務接入接入匯聚匯聚服務服務接入接入資源池核心核心接入接入資源池L2 CoreL2 Core核心核心匯聚匯聚服務服務接入接入匯聚匯聚服務服務接入接入匯聚匯聚服務服務接入接入核心核心SpineSpineSpineSpine資源池傳統

22、數據中心網絡架構資源池化的網絡架構VCF ControllerOverlay FabricIaaS就緒的架構傳統數據中心以高可用、高安全為最高原則，水平分區、垂直分層；根據業務分類，盡可能的詳細劃分網絡子分區，以確保安全訪問控制策略的有效實施，提升安全防護的縱深；IT基礎設施多層次異構，邏輯結構與物理結構1：1耦合；應用系統的SOA組件化呈現出大量可拼裝的應用、復用和通用業務組件，系統邊界模糊，帶來安全架構的變化；基于開發平臺、計算資源類型進行分區成為主流趨勢；應用推動云管理平臺的建設，要求計算、網絡、存儲、安全能夠進行業務編排和自動化交付，大Fabric架構和Controller的應用成為全

23、IT基礎架構的云服務交付的關鍵支撐資源池化IaaS就緒計算資源向標準的開放平臺轉移，計算虛擬化技術的大量應用要求計算資源池靈活易擴展；網絡資源池架構將相同安全等級的計算資源網絡接入拉通，同時繼承了分區架構的資源組織模型和安全控制模型；DC 3.0：對網絡架構的需求25可視化、自定義洞察、可運維彈性、自動化安全基于圖形界面實現IT基礎架構的編排網絡性能分析、路徑可探測計算資源與網絡拓撲、物理位置解耦靈活可定義的的云安全服務提高虛擬計算的交付效率，減少頻繁人工配置提供無狀態的網絡策略部署，隨需而動提供安全資源池服務，按需部署提供任意服務器，任意機架，支持任意應用的部署DC 3.0：對網絡架構的需求

24、26可視化、自定義洞察、可運維彈性、自動化安全基于圖形界面實現IT基礎架構的編排網絡性能分析、路徑可探測計算資源與網絡拓撲、物理位置解耦靈活可定義的的云安全服務提高虛擬計算的交付效率，減少頻繁人工配置提供無狀態的網絡策略部署，隨需而動提供安全資源池服務，按需部署提供任意服務器，任意機架，支持任意應用的部署應用訪問行為、網絡性能分析拓撲、告警、日志可視化、場景化的編排一鍵部署虛擬安全服務NFV基于訪問規則、與拓撲無關的安全自定義SDN ControllerOverlaySpineLeafServervSwitchVMVMVMServervSwitchVMVMVMOpenflow & Netcon

25、f“租戶”隔離基于SDN的彈性架構云適配APIAPIDC 3.0：面向私有云的金融數據中心架構核心交換機區域L3匯聚EOR匯聚。TOR接入核心生產業務區。TOR接入服務器機房模塊。服務器機房模塊機房匯聚TOR接入機房匯聚。生產開放資源池辦公公共資源池管理區ECC總控中心管控中心帶外連接區管理服務區互聯網區InternetInternet外聯單位企業邊界外聯區園區網帶外管理網DMZ一區DMZ二區DMZ外聯單位測試區測試中心Internet擺渡連接開發測試運行測試外聯單位核心承載連接廣域/城域接入廣域接入區VXLAN FabricVXLAN Fabric工行DC3.0網絡架構架構：自動化運維管理平

26、臺：實現業務流程自動化管理；Openstack云平臺：實現計算資源、存儲資源、網絡資源的自動化交付；計算虛擬化（ KVM、VMwera ）：實現計算資源虛擬化；存儲虛擬化：分布式存儲；網絡虛擬化：Fabric架構、VXLAN SDN、NFV思路：目標：三個任意，任意服務器，任意基架，支持任意應用。態度：嚴謹的“準”生產環境驗證，保障后續直接正式上線應用測試：確保可用性IRF2IRF2SDN-125XSDN-SRVSDN-68-1H3C CLOUDVCFC(SDN控制器)用戶PORTAL虛機資源池安全資源池Underlay網絡(OSPF)ECMPECMP靜態路由基礎設施資源池管理服務器區招行傳統

27、網絡SDN網絡采用獨立的物理設備部署，與傳統網絡通過靜態路由實現互通，避免了新老網絡的相互干擾IRF2招行科興園區SDN網絡的物理拓撲XXX清算中心私有云中心30架構：采用基于openstack的商業云平臺、基于KVM的計算虛擬化、基于ceph的分布式存儲、基于Overlay的SDN網絡SDN網絡部署S9800、S6800-2C、VCFC SDN控制器部署業務：共享門戶類/共享網銀業務、應用系統性能分析類業務、遠程學習系統2006年5月29日，經中國人民銀行批準，由全國30家省級農村信用聯社、農商銀行及深圳農村商業銀行（以下統稱農村合作金融機構）共同發起，農信銀資金清算中心有限責任公司（簡稱農

28、信銀資金清算中心）在北京正式成立。主要經營范圍：全國農信、農商清算業務農信共享災備業務農信共享網銀、共享門戶業務主要服務對象：全國農村信用社、農村信用聯社、農村合作銀行、農村商業銀行及其他地方性金融機構。H3C在金融2016 H3C在金融35%占據全國金融網絡綜合市場份額35%工農中建四大銀行，綜合市場份額，排名第一在全國20萬余金融網點市場份額超過30%NO.1區域金融市場第一品牌，網絡市場占有率超過50%DC在數據中心領域，服務國有大型銀行、全國性股份制銀行、四大保險公司、證券交易所等數十個大型數據中心H3C在金融數據中心大型金融機構數據中心的規模實踐關鍵系統核心伙伴的選擇H3C在金融數據

29、中心建行南湖生產中心（全業務生產中心，近70%份額）工商網銀生產中心（國內最大網銀交易系統，安全防護）中行上海災備中心（獨立承建中行上海數據中心網絡）郵儲銀行生產中心（同城雙中心和異地災備，近80%份額）民生銀行生產中心（同城雙活主節點，40%份額）中國人壽生產中心（保險行業最大數據中心，50%份額）太平洋保險生產中心（最大規模異構組網，50%份額）中國金融期貨交易所（高頻交易系統深度應用，30%份額）中國銀聯數據中心（獨立承建最大銀行間卡業務數據中心）H3C服務于大型金融數據中心高可用彈性自動化金融數據中心云計算在建行南湖數據中心獲得深度應用H3C深度參與南湖數據中心咨詢設計，數據中心產品大

30、規模應用于建行南湖數據中心雙活數據中心“互聯網+”綜合服務平臺承載同城重要生產業務雙活部署，構建電子銀行、直銷銀行、電子商務等綜合服務平臺城商銀行兩地三中心100%承建天津銀行兩地三中心工程，是區域性城商銀行業務連續性建設的典范面向自動化的數據中心通過Overlay+SDN Controller架構構建人保北方數據中心，建設面向自動化的DC新架構承載高頻交易業務S12500數據中心交換機和IPS服務于中金所，提供高效的網絡平臺和深度安全防護面向私有云和SDN的新一代架構落地35面向應用的自動化DC 3.0！Overlay網絡架構服務鏈面向應用的自動化網絡池計算池存儲池Controler交付APP終端APP大數據APP監控APP通過Overlay+SDN Controller架構構建人保北方數據中心，建設面向自動化的DC新架構構建私有云架構驗證中心，實現資源整體調度和自動化交付的全面驗證，華三通信VXLAN網絡架構和NFV產品服務于招商銀行新一代數據中心架構驗證平臺廣東、蘇州中行部署華三 SDN 網絡架構，承載分行核心生產業務，是金融行業首個SDN 網絡架構