1、雙活數據中心方案一、需求背景：隨著數據的大集中，銀行紛紛建設了負責本行各業務處理的生產數據中心機房（一般稱為數據中心），數據中心因其負擔了全行業務，所以其并發業務負荷能力和不間斷運行能力是評價一個數據中心成熟與否的關鍵性指標。近年來，隨著網上銀行、手機銀行等各種互聯網業務的迅猛發展，銀行數據中心的業務壓力業成倍增加，用戶對于業務訪問質量的要求也越來越高，保障業務系統的7*24小時連續運營并提升用戶體驗成為信息部門的首要職責.商業銀行信息系統的安全、穩定運行關系著國家金融安全和社會穩定，監管機構也十分重視商業銀行的災難備份體系建設，多次發布了商業銀行信息系統災難備份的相關標準和指引，對商業銀行災

2、備系統建設提出了明確的要求。為適應互聯網業務的快速增長，保障銀行各業務安全穩定的不間斷運行，提高市場競爭力，同時符合監管機構的相關要求，建設災備、雙活甚至多活數據中心正在成為商業銀行的共同選擇.二發展趨勢：多數據中心的建設需要投入大量資金，其項目周期往往很長，涉及的范圍也比較大。從技術上來說，要實現真正意義上的雙活，就要求網絡、應用、數據庫和存儲都要雙活。就現階段來看，大多數客戶的多數據中心建設還達不到完全的雙活要求，主流的建設目標是實現應用雙活.目前客戶建設多數據中心的模型可以歸納為以下幾種：單純的數據容災：正常情況下只有主數據中心投入運行，備數據中心處于待命狀態。發生災難時，災備數據中心可

3、以短時間內恢復業務并投入運行，減輕災難帶來的損失。這種模式只能解決業務連續性的需求，但用戶無法就近快速接入.災備中心建設的投資巨大且運維成本高昂，正常情況下災備中心不對外服務，資源利用率偏低，造成了巨大的浪費。構建業務連續性：兩個數據中心（同城/異地）的應用都處于活動狀態，都有業務對外提供服務且互為備份。但出于技術成熟度、成本等因素考慮，數據庫采用主備方式部署，數據庫讀寫操作都在主中心進行，災備中心進行數據同步.發生災難時，數據中心間的數據庫可以快速切換，避免業務中斷。雙活數據中心可充分盤活企業閑置資源，保證業務的連續性，幫助用戶接入最優節點，提高用戶訪問體驗。3。提升業務服務能力：多個數據中

4、心同時對外提供服務且互為備份，各中心的數據庫可同時處理應用的讀寫請求，網絡、存儲、應用和數據庫全部實現多活。各數據中心獨立運營，用戶流量可被智能調度，形成靈活、彈性和可擴展的面向服務的業務架構.三業務目標：用戶建設多數據中心的思路和建設模型略有不同，但大多數用戶的主要建設目標可以歸納為以下幾點：.流量分發用戶訪問流量可靈活、彈性的調度到多個數據中心，使各數據中心壓力相對均衡，保證用戶接入最近最快速的數據中心節點，提高用戶訪問體驗。.故障切換當出口鏈路或內部服務器出現異常時,運維人員可第一時間獲悉故障情況，業務可根據需要自動或手動平滑切換至正常節點，保證用戶訪問的連續性。.業務安全數據中心所處位

5、置基礎設施完善，水電通信供應穩定，數據中心內部有相應技術手段保證整個數據中心抵抗DDos攻擊，各業務系統不被黑客非法入侵。.環境一致性多個數據中心對用戶來說理應是透明的，其對外服務時提供統一接口，各數據中心內部數據和服務能力需要完全一致，且隨時處于可切換狀態。、實現邏輯我們把整個數據中心在邏輯上分為接入層和服務層,其處理邏輯的示意圖如下:接入層（智能DNS） 接ASCRHI路由注入）.服務層.故障切換體總行數據中心整體上分為主中心和災備中心，二者的網絡架構、業務系統和服務能力都基本相同，同時對外提供服務，形成雙活數據中心。數據中心內部劃分為互聯網業務區（提供外網服務，如手機銀行、網上銀行等）.

6、核心生產業務區（傳統生產業務，如ATM、柜面等）、數據庫區（生產/查詢）和業務測試區，出于成本考慮，災備數據中心不設業務測試區。主備數據中心和各一級分行之間通過專線互聯，利用動態路由協議組建企業內部專網。數據中心的對外業務集中在互聯網業務區，通常使用域名方式對外發布，客戶端訪問業務系統時，需要先由DNS將域名解析為IP地址，然后再訪問該目標IP。對外業務的全局負載通常利用DNS解析實現，其可根據用戶地理位置、用戶所屬運營商和網絡質量、數據中心服務能力等因素作為判斷依據，為不同用戶返回不同的IP地址，實現流量的合理分配。對于數據中心的內網業務，一部分與外網業務相同，通過域名發布。另一部分與一級分

7、行業務類似，直接通過IP地址訪問。對于通過IP地址訪問的業務，內網全局負載采用IPAnycast （ RHI路由注入）技術實現，其原理是在各數據中心以相同IP發布業務，由動態路由協議根據COST值等參數用戶判斷訪問的最佳路徑。六、互聯網業務全局負載似網銀為例）設計模型我們把網銀業務從邏輯上分為接入側和服務側，接入側包括出口鏈路、全局負載設備;服務側包括WEB服務單元、APP服務單元和DB服務單元.WEB服務單元包含SSL卸載設備、WAF防火墻、負載均衡和服務器；APP服務單元包含防火墻、負載均衡和服務器；DB服務單元包含防火墻、負載均衡、數據庫審計和數據庫。WEB服務單元和APP服務單元在2個

8、數據中心同時提供服務，實現應用雙活.考慮到數據強一致性、技術成熟度和成本等因素，雙數據中心間的DB服務單元建議主備部署，數據中心內部的數據庫集群可結合本地負載均衡實現多活。為達到最佳負載效果，需要各服務單元的負載設備可以訪問其他數據中心對應服務單元的服務器，但優先調度本地服務器。實現方式流調度數據中心層面：我們推薦使用兩層邏輯算法的智能DNS調度策略，首先，全局負載設備會判斷用戶的地理位置，將用戶調度到就近的數據中心，解決南北互訪的問題;其次，根據用戶所屬運營商選擇對應鏈路供用戶接入，解決跨運營商訪問慢的問題.此外，全局負載還可對客戶端LDNS發起反向探測，判斷用戶網絡質量，為用戶選擇最佳接入

9、路徑。服務單元層面:WEB、APP和DB服務單元都配備了本地負載均衡器，用戶訪問流量到達數據中心內部后，由服務單元的負載設備根據預設策略分發給各服務器，可根據用戶需求靈活選擇輪詢、優先級、最小連接等算法。（2）業務連續性數據中心層面：通過DC Cookie保證用戶接入同一數據中心。用戶首次訪問時，本地WEB負載設備在響應數據包中插入DC Cookie ,當客戶端網絡發生變化時，第二次訪問就可能被調度到其他數據中心，這時其他數據中心的WEB負載設備會識別該Cookie，將用戶請求轉發至第一次處理該用戶訪問的WEB負載設備，再由該負載設備進行調度。服務單元層面:WEB服務單元的負載建議通過cook

10、ie會話保持（插入、改寫和被動）保證業務連續性；APP服務單元的負載可通過cookie或源IP會話保持保證業務連續性（是否需要會話保持，選擇何種會話保持方式需要結合應用具體情況）；DB服務單元一般不需要會話保持。（3）健康狀態檢查服務單元層面：通過內置的應用級健康監視器對服務器進行主動探測，提供HTTP、HTTPS、RADIUS、FTP等常用模板。對于其他應用，提供接口供用戶自定義檢測內容和響應內容。此外，還提供極具特色的被動健康檢查功能，通過對TCP和HTTP協議的數據交互做采樣分析，判斷服務器的健康狀態.數據中心層面:全局負載與服務側的各區域負載均衡聯動，實時共享信息，判斷服務側整體服務能

11、力；同時全局負載設備會探測出口各鏈路健康狀態，結合服務側整體服務能力和設備自身負荷情況，綜合判斷該數據中心的健康狀態（正常、繁忙、故障）。(4)故障切換服務單元層面:服務單元內部某服務器繁忙或故障時，將用戶請求調度到其他正常服務器。數據中心層面：3。某數據中心的WEB或APP服務器全部繁忙或全部故障時，用戶接入鏈路不切換，通過專線將數據轉發至正常數據中心對應服務單元。b。主數據中心的數據庫服務器全部故障時，用戶接入鏈路不切換，通過專線將直接激活備數據中心的數據庫，實現數據庫一鍵切換。數據庫切換前需要驗證數據庫的正確性，用戶需要完成數據驗證并保證數據庫按順序切換.數據中心的所有鏈路同時故障時，全

12、局負載設備將用戶流量平滑牽引至正常數據中心.單鏈路故障時，可根據用戶需求切換至本中心其他鏈路或其他中心同ISP鏈路.此外，當某數據中心出現服務能力不足時(鏈路繁忙、服務單元繁忙等)，全局負載設備還可以基于數據中心的整體健康得分情況將用戶分流至其他數據中心，保障用戶正常訪問.安全保障數據中心層面：網絡出口處部署DDos防護設備并在運營商處購買流量清洗服務，保證數據中心整體安全。網絡出口處部署FW和IPS設備，從網絡層和應用層保證數據中心不被惡意入侵.全局負載設備提供DNS防火墻功能，充分保證DNS安全。服務單元層面:各服務單元部署防火墻，保證區域安全。WEB服務單元直接面向互聯網用戶，需要部署S

13、SL卸載設備實現SSL加解密，提高業務訪問安全.同時，通過部署WAF保障WEB服務器的安全。業務優化加速a。跨數據中心的數據庫同步需占用大量帶寬資源，且數據量非常大，部署WOC設備可大幅壓縮傳輸數據，削減流量。WEB或APP服務單元跨數據中心通信時，通過WOC設備的協議優化和流緩存等技術實現加速。當二者同時需要大量帶寬資源時，優先保證數據庫同步。互聯網區的WEB服務單元直接面向公網，受公網網絡質量影響較大，負載均衡可通過協議優化、數據壓縮和智能加速等技術減少網絡環境影響，提高用戶訪問體驗。此外，外網用戶會有大量重復請求，通過負載設備的高速緩存技術，對靜態和內容進行緩存，減少服務器數據交互，降低

14、服務器性能壓力，提高訪問速度。（7）其他負載設備在服務單元內部通過旁路部署,為保證來回數據一致需要開啟SNAT功能，一般情況下，WEB服務器都需要統計用戶訪問源IP，可通過負載設備在HTTP頭部插入XForwardedfor字段來透傳用戶真實源IP。數據中心網絡出口對各類設備性能要求較高，針對某些傳統防火墻性能不足的情況，可以在防火墻前后各部署負載均衡設備，實現防火墻的負載.考慮到極端情況，單數據中心需要能承載所有業務壓力，建議選擇2倍于實際性能需求的負載均衡設備。負載均衡設備自身擁有過載保護機制，當CPU、內存等指標達到閥值時，向用戶發出告警信息，并重定向或丟棄后續新建連接。1。設計模型各分

15、行數據中心與總行數據中心通過動態路由協議互聯，形成大的企業內網環境。其大多數業務（ATM、POS、簽章、柜面等）通過IP地址直接訪問，利用RHI路由注入的方式對外發布。負載設備以M + N集群的方式分別部署在兩個數據中心，不同的業務系統由不同的負載設備承載，解決了應用集中的風險問題，同時提供靈活的應用部署和無縫業務切換。流量調度以ATM業務為例，各分行數據中心對外發布的業務訪問IP相同，通過RHI路由注入的方式與OSPF實現聯動，以COST的大小來判斷訪問的最優路徑。負載均衡設備以集群方式部署，單臺設備與單個業務靜態綁定”，各設備間互為備份，宣告路由時基于具體業務系統進行宣告，可有效削減過多的

16、路由條目極大的簡化運維工作。如上圖，數據中心對外發布4種業務，一般情況下，每臺設備需要對外宣告4條路由，共16條路由，客戶端最終訪問的路徑由動態路由協議自身策略（根據COST值）決定。而采用M + N方式的高可用集群,配合基于具體應用的IPAnycast技術，每臺設備承載一種主要業務，其他業務在該設備作為備份狀態，設備對外宣告路由時，只宣告主要業務相關的路由，共4條，路由條目削減了75%.業務連續性內網業務比較特殊，客戶端的位置和IP都相對固定。不考慮故障情況，正常網絡環境下，路由器根據COST判斷訪問路徑時結果也相對固定，不存在同一客戶端多次訪問同一業務被調度到不同負載的情況.負載設備可根據訪問的源IP做會話保持，保證請求由同一服務器處理.健康狀態檢查服務器:通過內置的應用級健康監視器對服務器進行主動探測，提供HTTP、HTTPS、RADIUS、FTP等常用模板.對于其他應用，提供接口供用戶自定義檢測內容和響應內容。此外，還提供極具特色的被動健康檢查功能，通過對TCP和HTTP協議的數據交互做采樣分析，判斷服務器的健康狀態。鏈