中央電視臺高可靠數(shù)據(jù)中心建設(shè)方案技術(shù)建議書./資料編碼陣列雙活華為雙活數(shù)據(jù)中心解決方案技術(shù)建議書2016年3月11日華為技術(shù)有限公司非經(jīng)本公司書面許可,任何單位和個人不得擅自摘抄、復制本文檔內(nèi)容的部分或全部,并不得以任何形式傳播。和其他華為商標均為華為技術(shù)有限公司的商標。本文檔提及的其他所有商標或注冊商標,由各自的所有人擁有。您購買的產(chǎn)品、服務(wù)或特性等應受華為公司商業(yè)合同和條款的約束,本文檔中描述的全部或部分產(chǎn)品、服務(wù)或特性可能不在您的購買或使用范圍之內(nèi)。除非合同另有約定,華為公司對本文檔內(nèi)容不做任何明示或默示的聲明或保證。由于產(chǎn)品版本升級或其他原因,本文檔內(nèi)容會不定期進行更新。除非另有約定,本文檔僅作為使用指導,本文檔中的所有陳述、信息和建議不構(gòu)成任何明示或暗示的擔保。華為技術(shù)有限公司地址：XX市龍崗區(qū)坂田華為總部辦公樓郵編：518129網(wǎng)址：客戶服務(wù)郵箱：客戶服務(wù)電話：0755-285600004008302118客戶服務(wù)傳真目錄1適用場景〔供參考,實際使用刪除11.1文檔適用場景說明11.2版本更新12概述12.1項目背景2項目概述2建設(shè)總體要求22.2需求分析2需求分析3現(xiàn)狀分析3建設(shè)目標〔適用于升級改造5方案設(shè)計原則63存儲雙活架構(gòu)選擇63.1存儲雙活架構(gòu)選擇7存儲雙活架構(gòu)描述7業(yè)界存儲雙活技術(shù)路線7存儲雙活架構(gòu)對比74系統(tǒng)方案設(shè)計94.1整體架構(gòu)設(shè)計10方案描述10存儲雙活架構(gòu)的要求114.2存儲雙活方案詳細設(shè)計12虛擬化存儲雙活設(shè)計13雙活讀策略設(shè)計13優(yōu)選路徑設(shè)計14虛擬機跨數(shù)據(jù)中心vMotion設(shè)計〔可選14"逃生"功能設(shè)計15鏡像快速恢復功能設(shè)計15存儲雙活方案仲裁設(shè)計15跨數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計174.3存儲雙活方案應用配置建議18VMware配置建議18FusionSphere配置建議18OracleRAC配置建議194.4華為存儲雙活方案優(yōu)勢194.5存儲雙活方案故障切換與恢復21故障切換流程21故障恢復流程295方案配置315.1方案配置列表32軟硬件配置列表32服務(wù)配置列表326關(guān)鍵技術(shù)336.1網(wǎng)絡(luò)層解決方案33服務(wù)器負載均衡技術(shù)〔SLB33全局負載均衡<GSLB>37DWDM416.2存儲層解決方案42HyperMetro技術(shù)426.3主機層解決方案48VMWare容災技術(shù)486.4數(shù)據(jù)庫層解決方案50OracleRAC技術(shù)506.5應用層解決方案59Weblogic集群技術(shù)596.6管理層解決方案67災備決策支持平臺方案677容災相關(guān)產(chǎn)品及規(guī)格787.1TecalRH5885V3機架服務(wù)器78功能和價值79規(guī)格參數(shù)807.2OceanStorV3系列存儲80功能和價值80規(guī)格參數(shù)817.3FusionSphere云操作系統(tǒng)81FusionCompute虛擬化82FusionManager云管理847.4SNS系列86功能和價值86規(guī)格參數(shù)878縮略語表88.適用場景〔供參考,實際使用刪除文檔適用場景說明本文檔適用以下場景:同城容災,生產(chǎn)中心和災備中心之間的容災鏈路距離≤100km；要求RPO=0；RTO≈0,部件故障或生產(chǎn)中心故障,能自動切換；生產(chǎn)中心和災備中心之間有裸光纖網(wǎng)絡(luò)。適用VIS4節(jié)點與8節(jié)點雙活〔2個4節(jié)點環(huán)境注：以下藍色字體根據(jù)具體項目情況替換或刪除。版本更新日期修訂版本描述作者2014-03-28V1.0第一次發(fā)布,未增加網(wǎng)絡(luò)雙活部分,需要待網(wǎng)絡(luò)解決方案的同事補充；未增加FusionSphere雙活部分,待測試有初步結(jié)果后再增加。陳曉麗2014-05-04V1.1根據(jù)評審意見進行修改陳曉麗2014-05-30V2.0增加FusionSphere雙活部分,統(tǒng)一術(shù)語陳曉麗2014-07-30V3.0增加雙活8節(jié)點內(nèi)容陳曉麗2014-10-29V4.0修改8節(jié)點的描述陳曉麗概述項目背景項目概述XX數(shù)據(jù)中心的XX生產(chǎn)平臺,是全局的計算中心、存儲中心、備份中心,承載著XX的核心業(yè)務(wù)系統(tǒng),隨著業(yè)務(wù)的快速發(fā)展,對業(yè)務(wù)連續(xù)性的要求也越來越高。此次項目建設(shè)以XX的2個數(shù)據(jù)中心為2個物理站點,并考慮異地一處作為異地站點,構(gòu)建跨雙數(shù)據(jù)中心〔XX公里實現(xiàn)雙活站點的存儲虛擬化平臺。該平臺主要為各類應用業(yè)務(wù)提供高可用性基礎(chǔ)保障,為構(gòu)建虛擬數(shù)據(jù)中心提供存儲資源和服務(wù),保障數(shù)據(jù)的一致性和完整性。建設(shè)總體要求云數(shù)據(jù)中心建設(shè)云數(shù)據(jù)中心建設(shè)是建設(shè)云平臺的核心與關(guān)鍵,虛擬數(shù)據(jù)中心負責按需提供滿足要求的運算處理資源、存儲資源、網(wǎng)絡(luò)資源等IT基礎(chǔ)架構(gòu)服務(wù)。"站點雙活+異地數(shù)據(jù)備份"災備體系建設(shè)數(shù)據(jù)中心提供滿足安全、高效管理和保障業(yè)務(wù)連續(xù)性的功能。通過"站點雙活+異地數(shù)據(jù)備份"方案,實現(xiàn)不同災難場景下的業(yè)務(wù)連續(xù)性要求。統(tǒng)一管理平臺的需求實現(xiàn)對雙活數(shù)據(jù)中心中涉及的設(shè)備的統(tǒng)一管理,涵蓋日常管理、資源分配、性能監(jiān)控、日志審計等內(nèi)容。需求分析需求分析云數(shù)據(jù)中心建設(shè)虛擬化是云平臺建設(shè)的基礎(chǔ)。通過虛擬化技術(shù)進行整合,形成一個對外提供計算資源為主的池化管理〔包括服務(wù)器池、存儲池、網(wǎng)絡(luò)池等,同時提供運行環(huán)境等基礎(chǔ)服務(wù)。服務(wù)器虛擬化能夠消除XX局原有業(yè)務(wù)系統(tǒng)的"一臺服務(wù)器運行一個應用程序"模式下的效率低下現(xiàn)象,在這種模式下,大多數(shù)服務(wù)器遠未得到充分利用。借助服務(wù)器虛擬化技術(shù),一臺服務(wù)器可用作多個"虛擬機",而且每個虛擬機都可以在不同的環(huán)境下運行,例如Windows、Linux或Apache。因此,采用服務(wù)器虛擬化能夠?qū)⒍嗯_服務(wù)器整合到更少的物理設(shè)備上,從而有助于減少空間、能耗以及管理需求。通過服務(wù)器虛擬化平臺的建設(shè),可以將現(xiàn)有的業(yè)務(wù)系統(tǒng)逐步遷移到服務(wù)器虛擬化平臺,并通過雙活數(shù)據(jù)中心幫助增強業(yè)務(wù)連續(xù)性并提供全面的數(shù)據(jù)保護,以便管道局能夠獲得連續(xù)的應用程序可用性以及跨兩個物理站點的自動災難恢復能力。網(wǎng)絡(luò)虛擬化通過各種網(wǎng)絡(luò)技術(shù),將不同的應用相互隔離,使得不同用戶在同一網(wǎng)絡(luò)上不受干擾地訪問各自不同應用。在交換網(wǎng)絡(luò)中可以通過虛擬局域網(wǎng)〔VLAN技術(shù)來區(qū)分不同業(yè)務(wù)網(wǎng)段,在路由環(huán)境下可以綜合使用VLAN、MPLS-VPN、Multi-VRF等技術(shù),實現(xiàn)對網(wǎng)絡(luò)訪問的隔離。在數(shù)據(jù)中心內(nèi)部,不同邏輯網(wǎng)絡(luò)對安全策略有著各自獨立的要求,可通過虛擬化技術(shù)將一臺安全設(shè)備分割成若干邏輯安全設(shè)備,供各邏輯網(wǎng)絡(luò)使用。存儲虛擬化是指利用虛擬化技術(shù),統(tǒng)一整合管理FCSAN,IPSAN等多種存儲設(shè)備,形成統(tǒng)一的資源池供上層業(yè)務(wù)使用,屏蔽不同存儲之間的差異。"站點雙活+異地數(shù)據(jù)備份"災備體系建設(shè)傳統(tǒng)的數(shù)據(jù)中心容災已經(jīng)從主備數(shù)據(jù)中心開始向雙活數(shù)據(jù)中心過渡。主備數(shù)據(jù)中心的建設(shè)模式可以在很大程度上提升業(yè)務(wù)連續(xù)性。用戶所有的業(yè)務(wù)系統(tǒng)都在主數(shù)據(jù)中心運行,而在備數(shù)據(jù)中心為業(yè)務(wù)系統(tǒng)提供冷備或熱備,當主數(shù)據(jù)中心的應用出現(xiàn)故障時,可以將單個應用或數(shù)據(jù)中心整體切換到災備數(shù)據(jù)中心。但這種模式造成了備數(shù)據(jù)中心常年處于閑置狀態(tài)而造成資源浪費。而通過資源整合,可以極大的提升資源利用率,同時雙活數(shù)據(jù)中心的服務(wù)能力是雙倍的?，F(xiàn)狀分析目前XX局已經(jīng)建成資產(chǎn)財務(wù)一體化平臺、人力資源系統(tǒng)、電子商務(wù)平臺、綜合數(shù)據(jù)庫系統(tǒng)、數(shù)據(jù)存儲平臺、辦公自動化系統(tǒng)等信息系統(tǒng)。其中,核心應用系統(tǒng)包括資產(chǎn)財務(wù)一體化平臺、綜合數(shù)據(jù)庫系統(tǒng)、OA系統(tǒng)等應用系統(tǒng)。業(yè)務(wù)系統(tǒng)組網(wǎng)圖如下:應用系統(tǒng)現(xiàn)狀〔1資產(chǎn)財務(wù)管理一體化資產(chǎn)財務(wù)管理一體化是XX局核心應用系統(tǒng),涉及XX局財務(wù)、資產(chǎn)、物資、檢修、運行等工作,部署方式為集中式部署,業(yè)務(wù)窗口時間為7*24小時。資產(chǎn)財務(wù)管理一體化的關(guān)聯(lián)系統(tǒng)是電子商務(wù)平臺,系統(tǒng)之間有業(yè)務(wù)流程和數(shù)據(jù)交換。〔2綜合數(shù)據(jù)庫綜合數(shù)據(jù)庫包括綜合統(tǒng)計和內(nèi)主頁等系統(tǒng),涉及XX局下屬所有電廠的數(shù)據(jù)上報和信息訪問。〔3總部OA系統(tǒng)XX局OA系統(tǒng)采用LotusDomino平臺,包括OA辦公、公文審批和內(nèi)網(wǎng)郵件等。XX局OA系統(tǒng)為分布式部署<從一級到三級>。總部OA系統(tǒng)與XX局下屬單位OA系統(tǒng)之間主要為收發(fā)公文。各應用系統(tǒng)IT現(xiàn)狀如下表所示：系統(tǒng)序號應用系統(tǒng)服務(wù)器數(shù)量數(shù)據(jù)量<GB>數(shù)據(jù)增量〔GB存儲方式操作系統(tǒng)數(shù)據(jù)庫虛擬化1XX業(yè)務(wù)平臺2臺P780小機40005GB/天DS8100AIX6.1Oracle11gR2RAC無2XX系統(tǒng)2臺IBMX36501002G/天RDM〔裸設(shè)備映射windows2008R2無VMware5.5網(wǎng)絡(luò)系統(tǒng)現(xiàn)狀當前已建設(shè)同城災備中心,租用運營商機房,與生產(chǎn)中心距離約20km。中間鏈路租用運營商裸光纖鏈路,并自購5臺中興M721DWDM設(shè)備,其中A系統(tǒng)在生產(chǎn)中心使用兩臺DWDM設(shè)備實現(xiàn)冗余,B系統(tǒng)在生產(chǎn)中心使用1臺DWDM設(shè)備,災備中心放置2臺DWDM設(shè)備。生產(chǎn)中心采購2臺思科Nexus7010作為核心交換機,同城災備中心沒有核心交換機。網(wǎng)絡(luò)現(xiàn)狀如下圖所示：現(xiàn)狀風險分析在XX局以往的業(yè)務(wù)系統(tǒng)架構(gòu)中,核心業(yè)務(wù)系統(tǒng)采用小機,其他非關(guān)鍵業(yè)務(wù)采用VMware虛擬化架構(gòu),核心數(shù)據(jù)庫系統(tǒng)與業(yè)務(wù)均存放在XX存儲上,整個業(yè)務(wù)系統(tǒng)未進行高可用保護,業(yè)務(wù)系統(tǒng)存在單點故障風險。且XX存儲系統(tǒng)面臨即將過保的問題,如何平滑進行存儲系統(tǒng)的切換是必須要考慮的問題。建設(shè)目標〔適用于升級改造本次項目建設(shè)的關(guān)鍵目標有三個：〔1原數(shù)據(jù)中心的業(yè)務(wù)逐步遷移到新數(shù)據(jù)中心〔2新數(shù)據(jù)中心與原數(shù)據(jù)中心升級為雙活數(shù)據(jù)中心架構(gòu)〔3建設(shè)異地災備中心方案設(shè)計原則通過對用戶需求的了解,結(jié)合XX應用系統(tǒng)的業(yè)務(wù)特點,方案主要遵循以下原則進行設(shè)計：高性能：充分考慮容災系統(tǒng)的處理能力,使其整個系統(tǒng)在國內(nèi)三到五年內(nèi)保持領(lǐng)先的水平,并具有長足的發(fā)展能力,以適應未來災備技術(shù)的發(fā)展。高可靠性：災備系統(tǒng)是為了進一步增強關(guān)鍵業(yè)務(wù)數(shù)據(jù)的抵御災難能力,所以在災備系統(tǒng)設(shè)計階段需要充分考慮其自身的穩(wěn)定性和可靠性,從而保障關(guān)鍵數(shù)據(jù)能夠持續(xù)、穩(wěn)定的傳送到異地災備中心。當出現(xiàn)任何問題時都能夠通過災備數(shù)據(jù)得以恢復。標準化：所有災備解決方案都應符合有關(guān)國內(nèi)及國際標準以保證不同品牌災備解決方案之間的互操作性和系統(tǒng)的開放性。可擴展性：當前災備系統(tǒng)的設(shè)計不但應滿足當前需要,還需充分考慮業(yè)務(wù)的發(fā)展,同時便于向更新技術(shù)的升級與銜接,保護當前投資?？删S護性：整個災備系統(tǒng)的設(shè)計,充分考慮易于管理,易于維護,操作簡單,易學,易用,便于進行配置,發(fā)現(xiàn)故障。安全性：由于災備系統(tǒng)承載的是關(guān)鍵業(yè)務(wù)系統(tǒng)的數(shù)據(jù)備份,所以設(shè)計需要考慮傳輸、存放等災備整個過程中的安全性。高性價比：災備系統(tǒng)建設(shè)首先要從系統(tǒng)的實用性角度出發(fā),滿足不同的業(yè)務(wù)系統(tǒng)的實際需要和前瞻性的同時,選擇最高性價比的設(shè)計方案。.存儲雙活架構(gòu)選擇存儲雙活架構(gòu)選擇存儲雙活架構(gòu)描述雙活數(shù)據(jù)中心的定義是指兩個數(shù)據(jù)中心共享存儲、網(wǎng)絡(luò)以及服務(wù)器資源,兩個數(shù)據(jù)中心同時對外提供服務(wù),整個系統(tǒng)具有業(yè)務(wù)負載均衡和自動故障切換功能。存儲雙活作為整個系統(tǒng)的核心基礎(chǔ)架構(gòu)平臺,主要解決以下兩個核心問題。一是如何在兩個數(shù)據(jù)中心間實現(xiàn)數(shù)據(jù)實時同步,從而保證異常情況下,零數(shù)據(jù)丟失〔RPO=0。二是如何實現(xiàn)存儲資源的虛擬化,提供可同時被兩個數(shù)據(jù)中心主機訪問的存儲共享卷,從而實現(xiàn)主機應用集群的跨站點部署,保證異常情況下,應用的自動切換〔RTO≈0。業(yè)界存儲雙活技術(shù)路線當前,存儲業(yè)務(wù)通常有以下兩種實現(xiàn)存儲雙活方案的架構(gòu)。一種是基于專業(yè)的虛擬化存儲設(shè)備來實現(xiàn)；一種是基于磁盤陣列的同步復制技術(shù),配合自動化的復制切換軟件來實現(xiàn)。由于兩種架構(gòu)采用了不同的技術(shù)方案,因此,在方案可靠性、業(yè)務(wù)連續(xù)性以及可擴展性方面都存在一定差異。存儲雙活架構(gòu)對比方案可靠性基于虛擬化存儲的雙活方案：通?？梢栽诿總€站點部署一臺或多臺全冗余架構(gòu)的虛擬化存儲設(shè)備,站點間和站點內(nèi)都不存在單點故障的風險?；诖疟P陣列同步復制技術(shù)的雙活方案：實際上采用的是Stretched架構(gòu),即將一臺陣列的兩個控制器部署在兩個站點,每站點內(nèi)部只有一個控制器,存在單點故障風險。數(shù)據(jù)實時同步技術(shù)及性能影響基于虛擬化存儲的雙活方案：采用存儲虛擬化設(shè)備的卷鏡像技術(shù)實現(xiàn)兩站點間的數(shù)據(jù)實時同步。兩臺存儲設(shè)備上的LUN被虛擬化為一個虛擬的卷,主機寫操作通過卷虛擬化鏡像技術(shù)同時寫入這兩個存儲設(shè)備,保持數(shù)據(jù)實時一致。其中任何一個存儲設(shè)備故障,虛擬卷仍能提供正常的IO讀寫能力,主機業(yè)務(wù)不受影響。待存儲設(shè)備恢復正常后,存儲虛擬化設(shè)備將增量數(shù)據(jù)后臺同步到修復的存儲設(shè)備,整個過程對主機"透明",不會影響主機業(yè)務(wù)?；诖疟P陣列同步復制技術(shù)的雙活方案：基于磁盤陣列同步復制技術(shù)的雙活方案是通過建立主存儲設(shè)備復制到從存儲設(shè)備的同步復制關(guān)系,在從存儲設(shè)備生成一個實時一致的數(shù)據(jù)副本來實現(xiàn)的。同步復制對上層主機而言,兩個數(shù)據(jù)中心的存儲體現(xiàn)為兩個不同的LUN。由于同步復制的從存儲設(shè)備不能被主機訪問,因此,當主站點存儲設(shè)備發(fā)生故障,需要配合上層的自動切換軟件實現(xiàn)業(yè)務(wù)的自動切換?；謴蜆I(yè)務(wù)需要先切換復制關(guān)系,將從存儲上的副本變?yōu)榭勺x寫,并改變主機的存儲訪問路徑,切換時間長。為了保證兩個數(shù)據(jù)中心存儲的數(shù)據(jù)實時一致,同步復制與虛擬化卷鏡像的寫操作都需要等待兩端存儲同時寫成功之后再返回給主機"寫成功"。因此,兩種架構(gòu)都將對IO寫操作帶來一定的時延增加,必須提供低時延的同城網(wǎng)絡(luò),以減小對寫時延的影響。存儲卷的雙活訪問特性基于虛擬化存儲的雙活方案：基于跨數(shù)據(jù)中心的雙活虛擬化存儲平臺,提供可供兩數(shù)據(jù)中心主機同時進行讀寫訪問的共享存儲卷。主機訪問請求由本數(shù)據(jù)中心所在的虛擬化存儲引擎響應,無需跨越同城網(wǎng)絡(luò)訪問另一數(shù)據(jù)中心的虛擬化存儲引擎?；诖疟P陣列同步復制技術(shù)的雙活方案：將一臺陣列的兩個控制器部署在兩個數(shù)據(jù)中心,且兩個控制器處于主備模式,備控制器無法被主機訪問,只能提供一條備用的存儲路徑,不是真正的雙活。兩個數(shù)據(jù)中心的主機都只能通過訪問其中一個控制器來進行IO讀寫,不僅增長了主機IO的路徑,而且增加了主控制器的業(yè)務(wù)壓力,影響系統(tǒng)性能。方案業(yè)務(wù)連續(xù)性能力基于虛擬化存儲的雙活方案：同一個共享的存儲卷可經(jīng)過兩個數(shù)據(jù)中心的任意節(jié)點被主機訪問。其中一個數(shù)據(jù)中心的虛擬化引擎故障、主機故障,甚至整個站點故障時,都無需對存儲進行切換,另一數(shù)據(jù)中心的虛擬化引擎可繼續(xù)為主機提供訪問。故障修復后,無需中斷主機訪問即可恢復故障前運行狀態(tài)。基于磁盤陣列同步復制技術(shù)的雙活方案：由于備控制器無法被主機訪問,當發(fā)生主控制器故障或站點級故障時,需要先切換同步復制關(guān)系,再切換主機訪問路徑,來使存活站點的控制器強行接管故障站點控制器的工作。切換流程復制,部分場景甚至需要手工執(zhí)行命令來強行切換控制器和訪問路徑。故障修復后,需要中斷業(yè)務(wù)運行來恢復到故障前狀態(tài)。彈性可擴展基于虛擬化存儲的雙活方案：通常可以在每個站點部署一臺或多臺全冗余架構(gòu)的虛擬化存儲設(shè)備。因此,隨著業(yè)務(wù)的增長,方案能夠支持引擎的橫向擴展,且新增引擎與現(xiàn)有引擎構(gòu)成一個統(tǒng)一的虛擬化存儲集群,提供統(tǒng)一的IO處理能力?；诖疟P陣列同步復制技術(shù)的雙活方案：通常只支持雙控,不具備控制器的橫向擴展能力。無法實現(xiàn)存儲資源的整合與共享,不能支持彈性可擴展。系統(tǒng)方案設(shè)計整體架構(gòu)設(shè)計方案描述存儲雙活方案作為XX業(yè)務(wù)的核心基礎(chǔ)架構(gòu),其架構(gòu)的選擇決定了整個系統(tǒng)是否可靠高可用、安全可信賴、彈性可擴展。此次方案建設(shè),考慮到XX局的上述需求,華為建議采用基于專業(yè)的虛擬化存儲設(shè)備來構(gòu)建高可用、高性能、可擴展的存儲雙活方案。XX局兩地三中心容災系統(tǒng)建設(shè)包括同城雙活中心：XX數(shù)據(jù)中心與XX數(shù)據(jù)中心以及異地災備中心三中心。整體的建設(shè)包括：雙活容災系統(tǒng)建設(shè)、異地災備系統(tǒng)建設(shè)。同城雙活容災建設(shè)華為存儲雙活方案采用OceanStorVIS6600T系列產(chǎn)品〔以下簡稱VIS,實現(xiàn)存儲雙活架構(gòu),為兩個數(shù)據(jù)中心存儲同時提供讀寫服務(wù),且整個存儲系統(tǒng)架構(gòu)全冗余,任意數(shù)據(jù)中心故障時,另外一個數(shù)據(jù)中心有一份存儲設(shè)備和相同數(shù)據(jù)可用,最大化提高了業(yè)務(wù)連續(xù)性。兩個數(shù)據(jù)中心分別部署多臺Oracle數(shù)據(jù)庫服務(wù)器和虛擬機服務(wù)器,以及OceanStorVIS6600T和磁盤陣列等設(shè)備。整個雙活系統(tǒng)分為存儲層、前端網(wǎng)絡(luò)層與應用層與管理層。存儲層,在某某數(shù)據(jù)中心A和某某數(shù)據(jù)中心B各部署一臺VIS6600T,組成一個VIS集群,為兩數(shù)據(jù)中心主機業(yè)務(wù)同時提供讀寫服務(wù)。支持擴展至8節(jié)點。同時,在某某數(shù)據(jù)中心A和某某數(shù)據(jù)中心B配置同等級和同容量的磁盤陣列。為了提升熱點數(shù)據(jù)的存儲性能,使高價值硬盤得以更充分的利用,配置不同類型的硬盤：SAS、NL-SAS、SSD以合理分配資源；通過華為存儲提供的SmartTier功能對熱點數(shù)據(jù)進行持續(xù)監(jiān)控并從機械硬盤遷移到SSD中,進一步提升系統(tǒng)性能。兩個數(shù)據(jù)中心的磁盤陣列都由VIS集群接管,利用VIS鏡像技術(shù)對兩中心的磁盤陣列做鏡像冗余配置,實現(xiàn)兩個數(shù)據(jù)中心存儲數(shù)據(jù)實時鏡像,互為冗余。任意數(shù)據(jù)中心故障,數(shù)據(jù)零丟失。網(wǎng)絡(luò)層,數(shù)據(jù)中心之間集群IP心跳和FC數(shù)據(jù)傳輸網(wǎng)絡(luò)都采用裸光纖直連,傳遞控制信息、配置信息和數(shù)據(jù)同步,滿足雙活數(shù)據(jù)中心網(wǎng)絡(luò)時延要求。應用層,兩個數(shù)據(jù)中心的Oracle服務(wù)器構(gòu)成一個ExtendedRAC集群,提供跨數(shù)據(jù)中心的自動負載均衡和自動故障轉(zhuǎn)移功能。兩個數(shù)據(jù)中心的虛擬機服務(wù)器構(gòu)成一個集群,提供跨數(shù)據(jù)中心的虛擬化業(yè)務(wù)連續(xù)性和移動性。為了實現(xiàn)雙活數(shù)據(jù)中心存儲設(shè)備的統(tǒng)一管理,建議部署統(tǒng)一容災管理軟件,通過華為統(tǒng)一容災管理軟件實現(xiàn)雙活數(shù)據(jù)中心的可視化管理,并通過管理軟件直觀的展示雙活業(yè)務(wù)的物理拓撲。建議將管理軟件部署于XX數(shù)據(jù)中心的物理服務(wù)器。異地災備建設(shè)對于XX業(yè)務(wù),在建設(shè)雙活數(shù)據(jù)中心的基礎(chǔ)上,再進行數(shù)據(jù)的遠程容災。如此一來,XX核心業(yè)務(wù)數(shù)據(jù)總共保留了三份,更高程度保證了數(shù)據(jù)安全性。整體的方案架構(gòu)圖如下圖所示〔根據(jù)實際項目情況修改：XX數(shù)據(jù)中心和XX數(shù)據(jù)中心分別部署多臺服務(wù)器、1臺VIS、X臺磁盤陣列、至少2臺可提供10GE與GE鏈路的冗余IP交換機以及2臺FC交換機。其中X臺服務(wù)器組成多節(jié)點的OracleRAC集群與VMware集群、FusionSphere集群,對外提供服務(wù)；2臺VIS組成4節(jié)點的VIS集群,統(tǒng)一接管2個數(shù)據(jù)中心的磁盤陣列,構(gòu)建跨站點的存儲資源池；兩個數(shù)據(jù)中心之間利用VIS鏡像功能同步數(shù)據(jù)。第三方仲裁站點使用華為提供的第三方仲裁存儲單元,使用IP或FC網(wǎng)絡(luò)連接到XX數(shù)據(jù)中心和XX數(shù)據(jù)中心的VIS設(shè)備。每個數(shù)據(jù)中心的一臺XX陣列和第三方仲裁存儲單元各提供一個1GB的LUN,共3塊仲裁盤,供VIS仲裁使用。存儲雙活架構(gòu)的要求方案對同城網(wǎng)絡(luò)的要求采用FC鏈路實現(xiàn)同城雙數(shù)據(jù)中心間的數(shù)據(jù)實時同步,采用二層以太網(wǎng)絡(luò)實現(xiàn)雙數(shù)據(jù)中心間的存儲虛擬化集群〔VIS以及主機應用集群的心跳鏈路通信。為降低數(shù)據(jù)雙寫對業(yè)務(wù)系統(tǒng)的影響,建議同城鏈路的時延在1ms以內(nèi)。同城鏈路帶寬需求,與需要在兩數(shù)據(jù)中心間同步的數(shù)據(jù)量相關(guān),要求鏈路帶寬大于業(yè)務(wù)系統(tǒng)高峰期的數(shù)據(jù)寫帶寬。方案對仲裁鏈路的要求為保證各種異常情況下,存儲虛擬化集群能夠進行仲裁,業(yè)界存儲雙活方案都需要設(shè)計第三方仲裁站點,以保證異常情況下的業(yè)務(wù)連續(xù)性。兩個雙活數(shù)據(jù)中心與第三方仲裁站點間的鏈路可選擇FC或IP網(wǎng)絡(luò),大大增加了方案的靈活性,有利于降低方案的整體成本。應用系統(tǒng)對時延的要求雙活數(shù)據(jù)中心的建設(shè)不僅是存儲一個層面的雙活部署,需要端到端地進行考慮。尤為重要的是,當前雙數(shù)據(jù)中心的網(wǎng)絡(luò)時延是否能滿足應用系統(tǒng)對網(wǎng)絡(luò)時延的要求？華為提供了一系列的測試方法對XX數(shù)據(jù)中心與XX數(shù)據(jù)中心的網(wǎng)絡(luò)鏈路進行檢測確認。以下羅列了雙活數(shù)據(jù)中心解決方案的兩種典型應用場景對時延的建議：Oracle應用時延建議類型性能好性能可接受性能差dbfilesequentialread<10ms<20ms>20msdbfileparallelwrite<10ms<15ms>15mslogfileparallelwrite<5ms<15ms>15msVMware應用時延站點之間最大支持VMwareESXi管理網(wǎng)絡(luò)的網(wǎng)絡(luò)時延是往返10msRTT。vMotion標準版和企業(yè)版要求5msRTT。vMotion中10msRTT的延時只有在具有VMwarevSphereEnterprisePlus版本許可中才支持,這個版本許可包括MetrovMotion功能。ESXivMotion的網(wǎng)絡(luò)需要最少622Mbps的網(wǎng)絡(luò)帶寬,并且有冗余鏈路。FusionSphere應用時延生產(chǎn)站點與容災站點間距離要在100公里以內(nèi),站點間需要租賃L1專線,兩個站點間環(huán)回時延≤1ms。存儲雙活方案詳細設(shè)計虛擬化存儲雙活設(shè)計跨數(shù)據(jù)中心部署的OceanStorVIS6600T虛擬化存儲集群提供可被兩數(shù)據(jù)中心主機并發(fā)訪問的共享雙活卷,連接到其任何節(jié)點上的主機都可以訪問同一個虛擬卷,并像訪問本地存儲一樣對VIS提供的虛擬卷進行讀寫。通過VIS的虛擬化功能,實現(xiàn)對各種磁盤陣列的統(tǒng)一接管,將數(shù)據(jù)中心里不同類型的磁盤陣列資源池化,實現(xiàn)存儲資源的整合和優(yōu)化,提高資源利用率。同時通過VIS虛擬化卷鏡像功能,保證兩個站點磁盤陣列之間數(shù)據(jù)的實時同步。兩臺存儲設(shè)備上的LUN被虛擬化為一個虛擬的卷,主機寫操作通過卷虛擬化鏡像技術(shù)同時寫入兩個數(shù)據(jù)中心的存儲設(shè)備,保持數(shù)據(jù)實時一致。具體的IO讀寫流程如下圖所示。VIS鏡像的寫I/O流程如下：寫請求到鏡像卷；鏡像卷將請求復制為兩份下發(fā)到兩中心的鏡像數(shù)據(jù)盤；鏡像數(shù)據(jù)盤返回寫操作完成；鏡像卷返回寫I/O操作完成。雙活讀策略設(shè)計華為VIS具備靈活的讀取策略：循環(huán)讀、優(yōu)選讀、基于站點讀〔SiteRead。針對雙活數(shù)據(jù)中心場景,設(shè)計了"SiteRead"模式,以避免虛擬化引擎跨數(shù)據(jù)中心讀取數(shù)據(jù),提升方案整體性能。其讀I/O流程如下：讀請求到鏡像卷；鏡像卷根據(jù)策略下發(fā)請求到與虛擬化引擎在同一個數(shù)據(jù)中心的鏡像數(shù)據(jù)盤讀取數(shù)據(jù)；鏡像數(shù)據(jù)盤返回讀數(shù)據(jù)；鏡像卷返回讀數(shù)據(jù)。其中任何一個存儲設(shè)備故障,虛擬卷選取正常的存儲設(shè)備響應主機I/O,主機業(yè)務(wù)不受影響。并且采用差異位圖記錄故障期間數(shù)據(jù)的變化情況,待存儲設(shè)備恢復正常后,存儲虛擬化設(shè)備將增量數(shù)據(jù)后臺同步到修復的存儲設(shè)備,整個過程對主機"透明",不會影響主機業(yè)務(wù)。優(yōu)選路徑設(shè)計華為多路徑軟件UltraPath支持雙活的優(yōu)選路徑模式。為了避免跨數(shù)據(jù)中心進行I/O處理而帶來時延的增加,UltraPath將優(yōu)先使用本數(shù)據(jù)中心VIS節(jié)點下發(fā)I/O的路徑,只有當本數(shù)據(jù)中心節(jié)點路徑故障后才使用遠端數(shù)據(jù)中心VIS節(jié)點的路徑。說明：當前FusionSphere不支持優(yōu)選路徑功能?！菜{色字體部分實際使用時不對客戶體現(xiàn)虛擬機跨數(shù)據(jù)中心vMotion設(shè)計〔可選通過FibreChannel、iSCSI存儲區(qū)域網(wǎng)絡(luò)<SAN>和數(shù)據(jù)中心間網(wǎng)絡(luò),虛擬化存儲集群為兩個數(shù)據(jù)中心主機提供共享訪問的鏡像卷,構(gòu)建VMwareESXvMotionoverDistance,可在數(shù)據(jù)中心之間實時遷移在線運行的虛擬機,可避免停機、確保業(yè)務(wù)連續(xù)性以及事務(wù)處理的完整性,使XX局可以在執(zhí)行硬件維護時無需安排停機時間及中斷業(yè)務(wù)操作。同時,VMwareESXvMotionoverDistance還可以使兩數(shù)據(jù)中心資源池內(nèi)的虛擬機持續(xù)進行自動優(yōu)化,最大程度地提高硬件的利用率、靈活性及可用性。"逃生"功能設(shè)計華為VIS虛擬化智能存儲具備"逃生"功能,對所接管磁盤陣列,無需更改陣列映射LUN的任何內(nèi)容,當雙活數(shù)據(jù)中心的兩臺VIS出現(xiàn)故障,將VIS從整個SAN網(wǎng)絡(luò)中移除,陣列直接將LUN映射給主機使用,主機可正常拉起業(yè)務(wù),防止出現(xiàn)由于虛擬化失敗或者虛擬化不能快速回退造成的數(shù)據(jù)丟失等導致業(yè)務(wù)系統(tǒng)不可恢復的情況。說明：此功能當在上層應用為虛擬化場景,且下層陣列為友商陣列時需要了解友商陣列的清預留的命令才能實現(xiàn)"逃生"功能。〔藍色字體部分實際使用時不對客戶體現(xiàn)鏡像快速恢復功能設(shè)計華為VIS鏡像功能具備鏡像故障快速處理機制,只需要重新鏡像數(shù)據(jù)差量而不需要做全量的鏡像。該算法基于一個位圖數(shù)據(jù)結(jié)構(gòu)：數(shù)據(jù)改變對象〔DCO。一旦某個鏡像卷或者整個設(shè)備故障,VIS會在DCO中記錄兩個卷之間的差異點。當鏡像卷或存儲設(shè)備恢復,則VIS根據(jù)DCO差異的情況,從源卷中將數(shù)據(jù)讀入同步到鏡像卷。達到快速恢復鏡像的目的,不用完全重新同步。存儲雙活方案仲裁設(shè)計有第三方仲裁站點如下圖所示,為保證當任一數(shù)據(jù)中心整體故障或中間鏈路故障等極端場景下,主機業(yè)務(wù)的連續(xù)性,方案建議采用第三方仲裁磁盤,由兩個雙活的生產(chǎn)中心及第三仲裁存儲單元分別為虛擬化存儲集群提供一個仲裁盤。這樣,便可以保證即使出現(xiàn)數(shù)據(jù)中心整體故障或中間鏈路故障等極端場景,虛擬化存儲集群仍然可以訪問至少兩塊仲裁盤進行仲裁,保證業(yè)務(wù)可靠性和數(shù)據(jù)一致性。第三方仲裁站點位于XX點,XX點與兩個數(shù)據(jù)中心之間通過XX線互聯(lián)?？芍苯訌牟渴鹩赬X點的仲裁存儲單元上創(chuàng)建一個1GB的LUN,可通過FC鏈路或IP鏈路映射給兩個數(shù)據(jù)中心的VIS。當出現(xiàn)任一數(shù)據(jù)中心整體故障或中間鏈路故障等極端場景,整個集群的仲裁過程如下：XX數(shù)據(jù)中心與XX數(shù)據(jù)中心之間的中間鏈路斷開,導致兩個數(shù)據(jù)中心集群發(fā)生分裂,進而兩個中心之間的存儲虛擬化平臺發(fā)生"腦裂",存儲虛擬化平臺從一個大集群分裂為兩個小集群；根據(jù)集群"腦裂"的通用原理,當大集群分裂為兩個小集群時,每個小集群分別搶占存放第三方仲裁信息的仲裁盤,搶占到51%以上仲裁信息〔即搶占到2個仲裁盤的小集群"獲勝",將繼續(xù)對外提供服務(wù),為應用提供存儲訪問空間；未搶占到仲裁信息的小集群則自動退出集群,不再對外提供服務(wù)；當中間鏈路恢復時,"自動退出的小集群"檢測到中間鏈路由故障變?yōu)檎?嘗試與"繼續(xù)服務(wù)的小集群"握手通信,經(jīng)過握手通信兩個小集群再次組成一個大集群,以Active-Active模式提供服務(wù),互相之間實現(xiàn)冗余。無第三方仲裁站點若無第三方仲裁站點,則選擇將第三方仲裁盤配置在任意一個數(shù)據(jù)中心,并實施必要的掉電保護措施,例如部署獨立UPS電源。采用此種方式部署,則當出現(xiàn)存放兩塊仲裁盤的數(shù)據(jù)中心整體故障,如大面積停電,火災等災難。由于集群無法獲得超過51%的仲裁信息而導致整個集群停止對外服務(wù),業(yè)務(wù)中斷,需要手工進行恢復。跨數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計同城雙活數(shù)據(jù)中心網(wǎng)絡(luò)至少包括五張網(wǎng)：業(yè)務(wù)訪問網(wǎng)〔IP,作為客戶端訪問服務(wù)器的主要網(wǎng)絡(luò)應用遷移網(wǎng)和應用心跳網(wǎng)〔10GE,主要進行虛擬機在線遷移操作與主機集群的心跳網(wǎng)絡(luò)存儲鏡像網(wǎng)絡(luò)〔FCVIS心跳網(wǎng)絡(luò)〔GE二層網(wǎng)絡(luò),作為VIS集群的心跳網(wǎng)絡(luò)VIS仲裁網(wǎng)絡(luò)〔GE三層網(wǎng)絡(luò)或FC不同的網(wǎng)絡(luò)間,可以通過劃分不同的VLAN實現(xiàn)。為保障方案的可靠性,華為同城雙活方案采用數(shù)據(jù)傳輸鏈路與心跳鏈路分離設(shè)計的原則。通過VLAN或VRF隔離端到端流量,同時進行分配獨立的物理互聯(lián)鏈路,做到業(yè)務(wù)流量與集群心跳分離流量,互不影響。采用FC鏈路實現(xiàn)同城雙數(shù)據(jù)中心間的數(shù)據(jù)實時同步,采用二層以太網(wǎng)絡(luò)實現(xiàn)雙數(shù)據(jù)中心間的存儲虛擬化集群〔VIS以及主機應用集群的心跳、同步互聯(lián)鏈路通信。由于FusionCompute僅支持配置一個網(wǎng)關(guān),所以數(shù)據(jù)中心A和數(shù)據(jù)中心B中作為網(wǎng)關(guān)的匯聚〔核心交換機,需要配置為主備網(wǎng)關(guān)模式。主網(wǎng)關(guān)優(yōu)選生產(chǎn)站點側(cè)的交換機。在實際進行VLAN跨站點配置時,在以太網(wǎng)匯聚交換機上按照VLAN配置主備網(wǎng)關(guān)的VRRP。對于一個VLAN,部署了虛擬機業(yè)務(wù)的一側(cè)站點網(wǎng)關(guān)配置為主網(wǎng)關(guān),另一側(cè)站點網(wǎng)關(guān)配置為備網(wǎng)關(guān)。若兩個數(shù)據(jù)中心之間存在VMwarevMotion在線遷移操作,則VMware單臺虛擬機跨數(shù)據(jù)中心遷移要求IP鏈路帶寬為1Gb/s,若存在多臺虛擬機同時遷移〔并行,則相應的帶寬要增加。實際部署時,建議至少部署一條10GE鏈路用于VMware遷移復制流量。VIS鏡像必須采用FC光纖互聯(lián)。兩數(shù)據(jù)中心相距25km以內(nèi)可采用裸光纖直連。如果距離超過25km或只有一對裸光纖,建議使用OTN波分設(shè)備來構(gòu)建兩數(shù)據(jù)中心的同城網(wǎng)絡(luò)。部署OTN波分設(shè)備時,建議采用1+1主備線路雙發(fā)選收的方式,提供物理鏈路的高可靠性。一對裸光纖中斷時,另一條裸光纖可馬上恢復業(yè)務(wù)流量,切換時上層網(wǎng)絡(luò)及應用無感知。園區(qū)網(wǎng)絡(luò)設(shè)計適用場景：兩個數(shù)據(jù)中心容災距離小于25km,采用光纖交換機直連。兩個數(shù)據(jù)中心中用于主機應用心跳網(wǎng)絡(luò)、虛擬機vMotion網(wǎng)絡(luò)的以太網(wǎng)交換機建議采用10GE并一對一級聯(lián)；用于VIS集群心跳網(wǎng)絡(luò)的以太網(wǎng)交換機采用GE并一對一級聯(lián)；用于存儲數(shù)據(jù)同步的FC交換機一對一級聯(lián)；以太網(wǎng)交換機也可以Trunk端口捆綁交叉組網(wǎng)。4節(jié)點VIS集群一對一級聯(lián)組網(wǎng)圖如下：8節(jié)點VIS集群一對一級聯(lián)組網(wǎng)圖如下：同城網(wǎng)絡(luò)設(shè)計適用場景：兩個數(shù)據(jù)中心容災距離小于100km,鏈路采用DWDM連接。兩個數(shù)據(jù)中心中用于心跳網(wǎng)絡(luò)的IP交換機和用于存儲復制網(wǎng)絡(luò)的FC交換機都分別連接到OTN波分設(shè)備。不同的業(yè)務(wù)互聯(lián),通過波分復用統(tǒng)一承載于兩對1+1備份的裸光纖或一對裸光纖中。4節(jié)點VIS集群組網(wǎng)圖如下：8節(jié)點VIS集群組網(wǎng)圖如下圖所示：存儲雙活方案應用配置建議VMware配置建議建議將XX數(shù)據(jù)中心和XX數(shù)據(jù)中心所有用于運行虛擬機的ESXi服務(wù)器配置為一個集群,配置HA和DRS功能。虛擬機必須安裝VMwareTools軟件〔免費。VIS上創(chuàng)建的用于虛擬機的卷必須映射給集群內(nèi)所有服務(wù)器,以便提供共享存儲服務(wù)。服務(wù)器之間建議通過萬兆以太網(wǎng)提供心跳服務(wù)與vMotion遷移流量,集群內(nèi)的所有服務(wù)器需符合集群的兼容性規(guī)則。如果進行虛擬機在線遷移操作,最好選擇業(yè)務(wù)不太繁忙時進行。為了預防生產(chǎn)站點突發(fā)性災難,同城雙活數(shù)據(jù)中心運行虛擬機的服務(wù)器需要保持開機狀態(tài)。FusionSphere配置建議Fusionsphere雙活方案中,需要啟用DRS特性進行虛擬機本地優(yōu)先啟動和HA,因此如果用戶配置了其他DRS規(guī)則,則不能與容災DRS規(guī)則沖突,否則無法保證虛擬機本地優(yōu)先啟動和HA。數(shù)據(jù)中心A和數(shù)據(jù)中心B的業(yè)務(wù)均通過主網(wǎng)關(guān)提供,規(guī)劃數(shù)據(jù)中心A和數(shù)據(jù)中心B的業(yè)務(wù)網(wǎng)絡(luò)帶寬時需要同時考慮該部分的業(yè)務(wù)需求。OracleRAC配置建議基于虛擬化設(shè)備的雙活方案是能真正支持OracleRAC跨數(shù)據(jù)中心部署的方案,OracleRAC跨數(shù)據(jù)中心部署,對數(shù)據(jù)庫版本以及業(yè)務(wù)系統(tǒng)的部署方式有一些要求和建議：要實現(xiàn)Oracle數(shù)據(jù)庫的跨數(shù)據(jù)中心的集群部署,需采用支持OracleExtendedDistanceCluster的Oracle版本。建議使用Oracle10g發(fā)行版2或更高版本。Oracle部署通常有三種存儲管理方式：文件系統(tǒng),裸盤和ASM,推薦使用ASM。對于OracleExtendedDistanceCluster配置,建議對OracleClusterware和Oracle數(shù)據(jù)庫二進制文件和主目錄進行本地存儲,以減少站點間流量。為了避免跨數(shù)據(jù)中心進行數(shù)據(jù)的交互,建議在OracleRAC層創(chuàng)建不同的service,實現(xiàn)業(yè)務(wù)分離。通過Service-SideTAF的PREFERRED功能設(shè)置應用只訪問本地實例；同時設(shè)置遠端數(shù)據(jù)中心的實例為AVAILABLE,只有本地實例都故障才切換到遠端實例；可以減少RAC跨數(shù)據(jù)中心交互的次數(shù),提升整體性能。華為存儲雙活方案優(yōu)勢虛擬化存儲集群采用真正的"Active-Active"的高可靠架構(gòu),提供可被兩數(shù)據(jù)中心主機并發(fā)訪問的共享雙活卷,連接到其任何虛擬化引擎上的主機都可以訪問同一個虛擬卷,并像訪問本地存儲一樣對虛擬卷進行讀寫。兩數(shù)據(jù)中心可同時對同一個業(yè)務(wù)系統(tǒng)提供讀寫服務(wù),并自動實現(xiàn)業(yè)務(wù)在站點間的負載均衡,為用戶提供更加靈活的數(shù)據(jù)訪問方式。如果采用將一臺陣列的兩個控制器部署在兩個數(shù)據(jù)中心的方案,每數(shù)據(jù)中心內(nèi)部只有一個控制器。由于備控制器無法被生產(chǎn)中心主機訪問,只能提供一條備用的存儲路徑,用戶無法訪問備數(shù)據(jù)中心的數(shù)據(jù)。圖形化展示雙活物理拓撲圖與業(yè)務(wù)邏輯拓撲,監(jiān)控雙活數(shù)據(jù)中心運行狀態(tài),提供業(yè)界領(lǐng)先的ALLINONE可視化、流程化的容災業(yè)務(wù)管理。通過在每個站點部署一臺或多臺全冗余架構(gòu)的虛擬化存儲設(shè)備,站點間和站點內(nèi)都不存在單點故障的風險,可以避免任何單點故障導致業(yè)務(wù)中斷的風險。華為獨特的虛擬化存儲集群架構(gòu),在單個數(shù)據(jù)中心虛擬化引擎故障情況下,不但不影響主機業(yè)務(wù),還可保證數(shù)據(jù)實時鏡像不中斷,提供更高的可用性。如果采用將一臺陣列的兩個控制器部署在兩個站點的方案,每站點內(nèi)部只有一個控制器,存在單點故障風險。虛擬化存儲設(shè)備可以統(tǒng)一接管不同廠商,不同品牌的存儲設(shè)備,充分利用現(xiàn)有存儲設(shè)備資源。兩個數(shù)據(jù)中心的存儲資源被統(tǒng)一接管后,被虛擬化為統(tǒng)一的存儲資源池,并以雙活的方式共同對外提供服務(wù),在數(shù)據(jù)中心之間自動進行負載均衡,存儲資源得到充分利用,提高了資源利用率。如果采用將一臺陣列的兩個控制器部署在兩個數(shù)據(jù)中心的方案,每數(shù)據(jù)中心內(nèi)部只有一個控制器。由于備控制器無法被主機訪問,因此,與傳統(tǒng)容災方案一樣,被控制器所在數(shù)據(jù)中心的存儲資源無法充分利用,存儲資源浪費嚴重。華為存儲雙活方案可支持在每個數(shù)據(jù)中心部署一臺或多臺全冗余架構(gòu)的虛擬化存儲設(shè)備。因此,隨著業(yè)務(wù)的增長,方案能夠支持引擎的橫向擴展,且新增加的引擎與現(xiàn)有引擎構(gòu)成一個統(tǒng)一的虛擬化存儲集群,提供統(tǒng)一的IO處理能力。如果采用只支持雙控的雙活數(shù)據(jù)中心架構(gòu),不具備控制器的橫向擴展能力。隨著業(yè)務(wù)的增長,方案只能通過新購設(shè)備的形式擴容,無法實現(xiàn)存儲資源的整合與共享,不能支持彈性可擴展。采用華為存儲雙活方案,兩個數(shù)據(jù)中心的主機可同時訪問同一個虛擬卷,部署應用層集群時,只需按照部署普通集群的方法進行部署,大大降低了方案實施和維護難度。華為存儲雙活方案提供了全自動的故障處理機制,故障切換過程無需人工干預,大大降低了容災系統(tǒng)維護成本。單個數(shù)據(jù)中心中,任何部件需要升級等維護工作時,可以將該生產(chǎn)中心需要維護的設(shè)備停機,另一個正常的生產(chǎn)中心會自動接管業(yè)務(wù),數(shù)據(jù)零丟失,提高了系統(tǒng)的可維護性。如果采用將一臺陣列的兩個控制器部署在兩個數(shù)據(jù)中心的方案,由于備控制器無法被主機訪問,當發(fā)生主控制器故障或數(shù)據(jù)中心級故障時,需要先切換同步復制關(guān)系,再切換主機訪問路徑,來使存活數(shù)據(jù)中心的控制器強行接管故障數(shù)據(jù)中心控制器的工作。增加了系統(tǒng)維護與管理的難度。存儲雙活方案故障切換與恢復故障切換流程根據(jù)XX局實際業(yè)務(wù)需求,存儲雙活方案部署虛擬化VMware應用,構(gòu)建跨數(shù)據(jù)中心的VMwareESXStretchCluster,實現(xiàn)應用雙活；存儲雙活方案配合FusionCompute的虛擬機HA功能和DRS功能實現(xiàn)的存儲雙活部署；兩個數(shù)據(jù)中心分別部署運行不同的OracleRAC業(yè)務(wù),構(gòu)建跨數(shù)據(jù)中心的鏡像數(shù)據(jù)保護。在該部署場景下,在各單部件和鏈路故障,甚至整個數(shù)據(jù)中心故障,都可以實現(xiàn)業(yè)務(wù)自動無縫切換。具體故障切換情況如下表所示〔以下切換過程適用于4節(jié)點VIS集群雙活場景：故障場景測試用例故障切換情況部件故障單中心服務(wù)器故障主機集群自動檢測到故障,業(yè)務(wù)自動切換到未故障的主機上單中心VIS單控制器故障虛擬化智能存儲設(shè)備其它節(jié)點自動接管虛擬化,業(yè)務(wù)主機I/O自動切換,業(yè)務(wù)無中斷單中心陣列單控制器故障磁盤陣列的其它節(jié)點自動接管其I/O,業(yè)務(wù)無中斷單中心VIS故障另一數(shù)據(jù)中心虛擬化智能存儲設(shè)備自動接管虛擬化,業(yè)務(wù)主機I/O自動切換,業(yè)務(wù)無中斷單中心陣列故障另一數(shù)據(jù)中心的磁盤陣列自動接管其I/O,業(yè)務(wù)無中斷同城鏈路故障同城鏈路故障VIS集群仲裁,一邊數(shù)據(jù)中心VIS存活,業(yè)務(wù)自動切換到仲裁存活的數(shù)據(jù)中心數(shù)據(jù)中心故障單數(shù)據(jù)中心故障業(yè)務(wù)自動切換到存活的數(shù)據(jù)中心在各故障場景中,故障恢復后,集群自動恢復,故障節(jié)點自動加入VIS集群、OracleRAC集群或VMwarevSphereHA集群、FusionSphereHA集群,故障節(jié)點自動恢復承載業(yè)務(wù),集群各節(jié)點間業(yè)務(wù)負載均衡。其中單中心陣列、同城鏈路和單數(shù)據(jù)中心故障恢復時,鏡像關(guān)系修復過程中,為避免舊數(shù)據(jù)覆蓋新數(shù)據(jù),需手動修復VIS鏡像對的關(guān)系。VIS單控制器故障每個數(shù)據(jù)中心各部署一臺雙控冗余配置的VIS,構(gòu)建一個跨數(shù)據(jù)中心的4節(jié)點VIS集群。當VIS的其中一個控制器發(fā)生故障時,同數(shù)據(jù)中心的VIS節(jié)點自動接管其虛擬化,業(yè)務(wù)主機I/O自動切換到本數(shù)據(jù)中心的VIS節(jié)點,不會發(fā)生跨數(shù)據(jù)中心切換。假設(shè)數(shù)據(jù)中心A的VIS控制器1故障,處理過程如下：VIS集群檢測到VIS節(jié)點控制器故障,將該VIS節(jié)點踢出集群；主機多路徑檢測發(fā)現(xiàn)主機到VIS控制器1的路徑故障,將路徑自動切換到本數(shù)據(jù)中心VIS的控制器2進行I/O訪問；兩個數(shù)據(jù)中心業(yè)務(wù)不發(fā)生切換,正常運行；主機業(yè)務(wù)寫I/O,通過VIS鏡像,仍然實時同步寫到兩個數(shù)據(jù)中心的陣列；讀I/O保持從本地存儲讀取,VIS不會跨數(shù)據(jù)中心讀取數(shù)據(jù)。陣列單控制器故障存儲雙活方案,每個數(shù)據(jù)中心各部署一臺雙控冗余配置的XX磁盤陣列。當XX陣列的其中一個控制器發(fā)生故障時,該陣列另一控制器節(jié)點自動接管其業(yè)務(wù),業(yè)務(wù)主機I/O不會發(fā)生跨數(shù)據(jù)中心切換。假設(shè)數(shù)據(jù)中心A的陣列控制器1故障,處理過程如下：陣列檢測到控制器1發(fā)生故障,工作正常的控制器2接管其業(yè)務(wù)；VIS集群后端磁盤多路徑檢測發(fā)現(xiàn)VIS到該陣列控制器1的路徑故障,將路徑自動切換到陣列控制器2進行I/O訪問；兩個數(shù)據(jù)中心業(yè)務(wù)不發(fā)生切換,正常運行；主機業(yè)務(wù)寫I/O,通過VIS鏡像,仍然實時同步寫到兩個數(shù)據(jù)中心的陣列；讀I/O保持從本地存儲讀取,VIS不會跨數(shù)據(jù)中心讀取數(shù)據(jù)。單鏈路故障存儲雙活方案,采用雙交換機冗余組網(wǎng)方式,當數(shù)據(jù)中心內(nèi)其中一條鏈路故障時,業(yè)務(wù)主機I/O自動切換,業(yè)務(wù)無中斷。假設(shè)數(shù)據(jù)中心A中VIS到陣列的一條鏈路故障,處理過程如下：VIS集群后端磁盤多路徑檢測發(fā)現(xiàn)路徑故障,自動切換到另一條正常路徑進行I/O訪問；兩個數(shù)據(jù)中心業(yè)務(wù)不發(fā)生切換,正常運行；主機業(yè)務(wù)寫I/O,通過VIS鏡像,仍然實時同步寫到兩個數(shù)據(jù)中心的陣列；讀I/O保持從本地存儲讀取,VIS不會跨數(shù)據(jù)中心讀取數(shù)據(jù)。單中心VIS設(shè)備故障存儲雙活方案,兩個數(shù)據(jù)中心的VIS構(gòu)建的是跨數(shù)據(jù)中心集群,當其中一臺VIS故障時,另一數(shù)據(jù)中心虛擬化智能存儲設(shè)備自動接管業(yè)務(wù),業(yè)務(wù)主機I/O自動切換,業(yè)務(wù)無中斷。假設(shè)數(shù)據(jù)中心A的一臺VIS設(shè)備故障,處理過程如下：VIS集群檢測到數(shù)據(jù)中心A的VIS故障,將故障VIS節(jié)點踢出集群,虛擬化智能存儲設(shè)備自動接管虛擬化卷；主機多路徑檢測發(fā)現(xiàn)主機到數(shù)據(jù)中心A的VIS路徑故障,將路徑自動切換到數(shù)據(jù)中心B的VIS進行I/O訪問；兩個數(shù)據(jù)中心業(yè)務(wù)不發(fā)生切換,正常運行；主機業(yè)務(wù)I/O,通過VIS鏡像,仍然實時同步寫到兩個數(shù)據(jù)中心的陣列；讀I/O從數(shù)據(jù)中心B的磁盤陣列讀取。單中心陣列設(shè)備故障存儲雙活方案,每個數(shù)據(jù)中心各部署2臺磁盤陣列,通過虛擬化智能存儲的VIS鏡像功能,兩個數(shù)據(jù)中心的XX陣列跨數(shù)據(jù)中心鏡像,數(shù)據(jù)實時同步。當單數(shù)據(jù)中心一臺陣列故障時,業(yè)務(wù)I/O自動切換到另一數(shù)據(jù)中心的鏡像陣列處理,業(yè)務(wù)無中斷。假設(shè)數(shù)據(jù)中心A的一臺陣列故障,處理過程如下：VIS集群檢測到數(shù)據(jù)中心A的陣列故障,VIS將該陣列盤狀態(tài)置為‘disable’,VIS鏡像關(guān)系故障；VIS后端磁盤多路徑檢測發(fā)現(xiàn)VIS到該故障陣列的路徑故障,將路徑自動切換到數(shù)據(jù)中心B的鏡像陣列進行I/O訪問；兩個數(shù)據(jù)中心業(yè)務(wù)不發(fā)生切換,正常運行；主機業(yè)務(wù)寫I/O只寫到數(shù)據(jù)中心B的陣列,并記錄新增數(shù)據(jù)位圖,標識數(shù)據(jù)中心A與數(shù)據(jù)中心B陣列之間差異；讀I/O從數(shù)據(jù)中心B的磁盤陣列讀取。同城鏈路故障同城網(wǎng)絡(luò)包括業(yè)務(wù)數(shù)據(jù)鏡像網(wǎng)絡(luò)、VIS集群網(wǎng)絡(luò)和虛擬機的vMotion網(wǎng)絡(luò),OracleRAC私有網(wǎng)絡(luò),當同城網(wǎng)絡(luò)故障時,通過VIS集群的仲裁機制,仲裁搶占勝利的VIS對應的數(shù)據(jù)中心則接管所有的業(yè)務(wù),業(yè)務(wù)自動切換。詳細處理過程如下：同城網(wǎng)絡(luò)鏈路故障,VIS集群檢測到集群心跳網(wǎng)絡(luò)鏈路故障,集群開始仲裁；如果數(shù)據(jù)中心B的VIS仲裁搶占勝利,數(shù)據(jù)中心A的VIS重啟,踢出集群；數(shù)據(jù)中心B的VIS無法訪問到數(shù)據(jù)中心A陣列,VIS將該數(shù)據(jù)中心A的陣列盤狀態(tài)置為’disable’,VIS鏡像關(guān)系故障；主機集群檢測到數(shù)據(jù)中心A的服務(wù)器到數(shù)據(jù)中心B的VIS鏈路故障,業(yè)務(wù)I/O不能正常訪問,數(shù)據(jù)中心A的業(yè)務(wù)自動切換到數(shù)據(jù)中心B；主機業(yè)務(wù)寫I/O只寫到數(shù)據(jù)中心B的陣列,并記錄新增數(shù)據(jù)位圖,標識數(shù)據(jù)中心A與數(shù)據(jù)中心B陣列之間差異；讀I/O從數(shù)據(jù)中心B的磁盤陣列讀取。單數(shù)據(jù)中心故障存儲雙活方案,設(shè)備全冗余架構(gòu)部署,當一個數(shù)據(jù)中心發(fā)生停電或火災等災難時,另一個數(shù)據(jù)中心VIS對應的數(shù)據(jù)中心則接管所有的業(yè)務(wù),業(yè)務(wù)自動切換。詳細處理過程如下：VIS集群檢測到數(shù)據(jù)中心A的VIS故障,集群重構(gòu),踢出集群；數(shù)據(jù)中心B的VIS無法訪問到數(shù)據(jù)中心A陣列,VIS將該數(shù)據(jù)中心A的陣列盤狀態(tài)置為’disable’,VIS鏡像關(guān)系故障；主機集群檢測到數(shù)據(jù)中心A的服務(wù)器故障,數(shù)據(jù)中心A的業(yè)務(wù)自動切換到數(shù)據(jù)中心B；主機業(yè)務(wù)寫I/O只寫到數(shù)據(jù)中心B的陣列,并記錄新增數(shù)據(jù)位圖,標識數(shù)據(jù)中心A與數(shù)據(jù)中心B陣列之間差異；讀I/O從數(shù)據(jù)中心B的磁盤陣列讀取。故障恢復流程在各故障場景中,故障恢復后,集群自動恢復,故障節(jié)點自動加入VIS集群、OracleRAC集群、VMwarevSphereHA集群、FusionSphereHA集群,故障節(jié)點自動恢復承載業(yè)務(wù),集群各節(jié)點間業(yè)務(wù)負載均衡。其中單中心陣列、同城鏈路和單數(shù)據(jù)中心故障恢復時,恢復VIS鏡像關(guān)系,同步差異的增量數(shù)據(jù)?；謴蛨鼍皽y試用例故障恢復情況部件故障恢復VIS單控制器故障后恢復VIS控制器節(jié)點自動加入VIS集群,自動恢復VIS引擎雙控冗余配置,分擔負載陣列單控制器故障后恢復陣列控制器節(jié)點自動加入存儲集群,自動恢復陣列雙控冗余配置,分擔業(yè)務(wù)負載單鏈路故障后恢復自動恢復雙交換組網(wǎng)冗余配置,分擔業(yè)務(wù)負載單中心VIS故障后恢復VIS故障節(jié)點自動加入VIS集群,分擔主機業(yè)務(wù)負載單中心陣列故障后恢復恢復VIS鏡像關(guān)系,同步差異的增量數(shù)據(jù)同城鏈路故障恢復同城鏈路故障后恢復恢復VIS鏡像對關(guān)系,同步差異的增量數(shù)據(jù)；重啟VIS,VIS節(jié)點自動加入集群,分擔主機業(yè)務(wù)負載；重啟服務(wù)器,主機故障節(jié)點自動加入集群數(shù)據(jù)中心故障恢復單數(shù)據(jù)中心故障后恢復恢復VIS鏡像對關(guān)系,同步差異的增量數(shù)據(jù)；重啟VIS,VIS節(jié)點自動加入集群,分擔主機業(yè)務(wù)負載,主機故障節(jié)點自動加入集群下面重點介紹同城鏈路故障機單數(shù)據(jù)中心故障恢復過程：同城鏈路故障修復兩個數(shù)據(jù)中心間的同城鏈路故障后,在保證了業(yè)務(wù)繼續(xù)運行的前提下,按照如下步驟修復故障系統(tǒng)：先恢復FC鏈路,再恢復IP鏈路；鏈路修復好之后,重啟仲裁搶占失敗數(shù)據(jù)中心的VIS和服務(wù)器,VIS集群自動重構(gòu),組成4節(jié)點集群,主機集群進行集群自動重組；恢復兩個數(shù)據(jù)中心的陣列鏡像關(guān)系,新增的增量數(shù)據(jù)由仲裁搶占勝利數(shù)據(jù)中心陣列恢復至仲裁搶占失敗數(shù)據(jù)中心鏡像陣列；OracleRAC集群恢復正常后,如果配置為負載均衡連接模式,業(yè)務(wù)會自動均衡地運行在集群中的所有主機上；VMwarevSphere集群恢復正常后,如果配置了DRS功能,虛擬機會自動相對均衡地運行在集群中的所有ESXi主機上。如果沒有配置DRS功能,可以手工vMotion的方式,將業(yè)務(wù)在線遷移至新加入集群的ESXi主機上；Fusionsphere集群恢復正常后,配置了DRS功能,虛擬機自動相對均衡地運行在集群中的所有CNA主機上。系統(tǒng)恢復到正常雙活場景。單數(shù)據(jù)中心故障修復單個數(shù)據(jù)中心全部故障后,在保證了業(yè)務(wù)繼續(xù)運行的前提下,按照如下步驟修復故障系統(tǒng)：修復并啟動故障數(shù)據(jù)中心的陣列；修復并啟動故障數(shù)據(jù)中心的VIS,VIS集群自動重構(gòu),組成4節(jié)點集群；恢復兩個數(shù)據(jù)中心的陣列鏡像關(guān)系,新增的增量數(shù)據(jù)同步至恢復的鏡像陣列；修復并啟動故障數(shù)據(jù)中心的服務(wù)器；故障的服務(wù)器修復并啟動后,會自動加入集群,構(gòu)成跨數(shù)據(jù)中心的主機集群；OracleRAC集群恢復正常后,如果配置為負載均衡連接模式,業(yè)務(wù)會自動均衡地運行在集群中的所有主機上；VMwarevSphere集群恢復正常后,如果配置了DRS功能,虛擬機會自動相對均衡地運行在集群中的所有ESXi主機上。如果沒有配置DRS功能,可以手工vMotion的方式,將業(yè)務(wù)在線遷移至新加入集群的ESXi主機上；Fusionsphere集群恢復正常后,配置了DRS功能,虛擬機自動相對均衡地運行在集群中的所有CNA主機上；系統(tǒng)恢復到正常雙活場景。方案配置說明：本章節(jié)供參考,實際提供給用戶的版本請刪除備注部分,并對藍色字體部分根據(jù)實際情況進行替換與刪除。方案配置列表軟硬件配置列表注：生產(chǎn)中心和災備中心的VIS在Unistar中按照1臺4節(jié)點或2臺4節(jié)點〔8節(jié)點VIS進行報價配置。服務(wù)配置列表服務(wù)名稱服務(wù)類型服務(wù)項目單位備注容災專業(yè)服務(wù)咨詢服務(wù)〔可選業(yè)務(wù)連續(xù)性咨詢,演練服務(wù)人天聯(lián)系本地服務(wù)經(jīng)理容災實施服務(wù)〔必選容災集成設(shè)計,技術(shù)實施服務(wù)人天聯(lián)系本地服務(wù)經(jīng)理產(chǎn)品實施服務(wù)工程服務(wù)硬件設(shè)備安裝調(diào)試人天按產(chǎn)品單獨配置數(shù)據(jù)遷移服務(wù)數(shù)據(jù)遷移專業(yè)服務(wù)業(yè)務(wù)系統(tǒng)數(shù)據(jù)遷移人天單獨配置規(guī)格分類名稱描述功能規(guī)格多站點集中管理支持多站點集中管理,支持包括1:1主備容災,兩地三中心容災,32:1云容災,雙活容災組網(wǎng)形態(tài)分權(quán)分域支持對按照用戶級別賦予不同的管理資源以及權(quán)限容災保護支持針對Oracle,DB2,Exchange,SQLServer應用,VMware與FusionSphere虛擬化環(huán)境,基于存儲復制,VIS鏡像與復制的自動化容災保護。支持靈活的保護策略,按照保護組的形式保護應用、虛擬機或者LUN容災恢復支持自定義恢復計劃,根據(jù)需求配置步驟與自定義腳本。支持按照恢復計劃進行計劃性遷移、故障恢復與容災測試,支持容災測試環(huán)境的清理,支持容災切換后,還原生產(chǎn)環(huán)境的重保護容災監(jiān)控支持針對保護組的邏輯拓撲與容災方案全局物理拓撲展示,提供容災相關(guān)設(shè)備的信息,監(jiān)控容災設(shè)備與鏈路的狀態(tài)。支持拓撲圖標顏色、聲音、郵件、短信多種形式告警。支持容災保護與恢復報表高可靠支持配置數(shù)據(jù)的備份與恢復北向接口支持REST北向接口管理規(guī)格站點數(shù)32個本地站點,32個遠程站點保護組數(shù)256個單個保護組中保護對象數(shù)量虛擬機數(shù)量512；數(shù)據(jù)庫數(shù)量32；LUN數(shù)量基于存儲陣列復制映射LUN規(guī)格單系統(tǒng)支持的保護對象數(shù)量3000并發(fā)執(zhí)行的保護組任務(wù)數(shù)量16恢復計劃數(shù)量256并發(fā)執(zhí)行的恢復任務(wù)數(shù)量10管理服務(wù)器規(guī)格操作系統(tǒng)WindowsServer2003SP264位企業(yè)版WindowsServer2008R264位企業(yè)版SUSELinuxEnterpriseServer11SP164位CPU最低配置：2*Xeon雙核1.6GHzCPU標準配置：2*Xeon雙核4.0GHzCPU內(nèi)存最低配置：DDR4GB內(nèi)存標準配置：DDR8GB內(nèi)存硬盤空閑空間最低配置：大于等于10GB標準配置：空閑空間大于等于100GB管理網(wǎng)絡(luò)帶寬生產(chǎn)站點與災備站點之間管理網(wǎng)絡(luò)大于10Mb/sAgent規(guī)格內(nèi)存最低配置：DDR1GB內(nèi)存硬盤空閑空間最低配置：50MB瀏覽器規(guī)格瀏覽器Windows環(huán)境：支持瀏覽器IE8～11,FireFox26～29,Chrome21～35Linux環(huán)境：支持瀏覽器FireFox26～29,Chrome21～35業(yè)務(wù)應用兼容性操作系統(tǒng)詳見產(chǎn)品兼容性列表業(yè)務(wù)應用詳見產(chǎn)品兼容性列表關(guān)鍵技術(shù)網(wǎng)絡(luò)層解決方案服務(wù)器負載均衡技術(shù)〔SLB技術(shù)概述服務(wù)器負載均衡是指設(shè)置在一組功能相同或相似的服務(wù)器前端,對到達服務(wù)器組的流量進行合理分發(fā),并在其中某一臺服務(wù)器故障時,能將訪問請求轉(zhuǎn)移到其它可以正常工作的服務(wù)器的軟件或網(wǎng)絡(luò)設(shè)備。當單一服務(wù)器的性能已經(jīng)不能滿足日益增多的用戶訪問需要,需要引入服務(wù)器的負載均衡,實現(xiàn)客戶端可訪問多臺同時工作的服務(wù)器,動態(tài)分配每一個應用請求到后臺的服務(wù)器,并即時按需動態(tài)檢查各個服務(wù)器的狀態(tài),根據(jù)預設(shè)的規(guī)則將請求分配給最有效率的服務(wù)器。適用場景基于服務(wù)器負載均衡技術(shù)適用場景如下：提高性能：負載均衡器可以實現(xiàn)服務(wù)器之間的負載平衡,從而提高了系統(tǒng)的反應速度與總體性能；提高可靠性：負載均衡器可以對服務(wù)器的運行狀況進行監(jiān)控,及時發(fā)現(xiàn)運行異常的服務(wù)器,并將訪問請求轉(zhuǎn)移到其它可以正常工作的服務(wù)器上,從而提高服務(wù)器組的可靠性。組網(wǎng)架構(gòu)方案架構(gòu)如上圖所示,該組網(wǎng)中,負載均衡器采用雙機,分別掛載在主備二層核心交換機上,當主用負載均衡器故障時會自動切換到備用負載均衡器上。負載均衡器支持NAT、DR和HOST三種數(shù)據(jù)包轉(zhuǎn)發(fā)模式。其中：性能最優(yōu)的是DR模式,其次是NAT模式,HOST模式是基于內(nèi)容的解析,性能一般。對于NAT模式要求真實服務(wù)器默認網(wǎng)關(guān)指向負載均衡器的地址；DR模式要求所有服務(wù)器在同一個網(wǎng)絡(luò)內(nèi),并且真實服務(wù)器需要添加本地回環(huán)IP地址為負載均衡器上虛擬服務(wù)的IP地址。NAT轉(zhuǎn)發(fā)方式編號源IP地址目標IP地址1234DR轉(zhuǎn)發(fā)方式DR〔DirectRoute,即直接路由。使用DR模式進行負載均衡時,真實服務(wù)器處理完負載均衡器轉(zhuǎn)發(fā)的客戶端請求后,可以直接將請求處理結(jié)果通過路由返回給客戶端,不需要再經(jīng)過負載均衡器轉(zhuǎn)發(fā)。編號源IP地址目標IP地址123HOST轉(zhuǎn)發(fā)方式編號源IP地址目標IP地址1234技術(shù)特點負載均衡器具有以下技術(shù)特點：支持多種調(diào)度算法支持最少連接數(shù)、輪詢、加權(quán)最少連接數(shù)和加權(quán)輪詢等調(diào)度算法服務(wù)器健康檢查健康檢查用于確保遠程服務(wù)器的可用性,支持基于Ping、UDP、TCP、HTTP和SHELL腳本的健康檢查。過載控制靜態(tài)過載控制：通過活動連接數(shù)、每秒連接數(shù)以及內(nèi)存使用量等指標,控制應用服務(wù)器的負載,確保資源池中應用服務(wù)器運行在正常性能范圍內(nèi)。

動態(tài)過載控制：根據(jù)CPU的占用率控制應用服務(wù)器的負載。當CPU占用率達到閾值時,會丟棄一定比例的請求,保障應用服務(wù)的正常運行,直到CPU占用率回落到閾值以下。支持流量控制支持流量控制,控制客戶端的請求流量,提高整體的可靠性。通過三種方式實現(xiàn)：限制某個服務(wù)在指定周期內(nèi)的HTTP請求數(shù)量、限制某個服務(wù)在指定周期內(nèi)的上載數(shù)據(jù)量〔請求數(shù)據(jù)量、限制某個服務(wù)在指定周期內(nèi)的下載數(shù)據(jù)量〔響應數(shù)據(jù)量支持集群支持主備方式的集群全局負載均衡<GSLB>技術(shù)概述隨著用戶對應用可用性和擴展性需求的進一步增加,越來越多的用戶不滿足于在單一數(shù)據(jù)中心提供服務(wù),開始考慮容災、用戶就近訪問等問題。這正是負載均衡設(shè)備中的全局服務(wù)器負載均衡技術(shù)〔GSLB所要解決的問題。絕大部分使用負載均衡技術(shù)的應用都通過域名來訪問目的主機,在用戶發(fā)出任何應用連接請求時,首先必須通過DNS請求獲得服務(wù)器的IP地址,基于DNS的GSLB正是在返回DNS解析結(jié)果的過程中進行智能決策,給用戶返回一個最佳的服務(wù)IP。適用場景全局負載均衡技術(shù)適用場景如下：跨站點負載均衡：可以實現(xiàn)跨數(shù)據(jù)中心的流量分擔,用戶就近訪問某一數(shù)據(jù)中心?？蛻舳嗽L問切換：當生產(chǎn)中心故障,可以將用戶的訪問流量自動切換到容災站點,從而實現(xiàn)客戶端訪問路徑的自動切換。組網(wǎng)架構(gòu)GSLB對于DNS請求的處理流程如下：客戶端向本地DNS發(fā)起站點查詢請求。當本地DNS中沒有該站點對應的IP地址信息時,則轉(zhuǎn)發(fā)該請求給GSLBMaster。GSLBMaster轉(zhuǎn)發(fā)該請求給所有GSLBSlave。所有GSLBSlave反饋響應信息給GSLBMaster。GSLBMaster會選擇最快響應的GSLBSlave〔例如：SiteA中的GSLBSlave,并返回應答給本地DNS。本地DNS轉(zhuǎn)發(fā)GSLBMaster的應答給客戶端?？蛻舳司涂梢栽L問提供服務(wù)的應用服務(wù)器了,例如：SiteA中的RealServer。技術(shù)特點從GSLB處理流程可以看出,其核心在GSLB策略,常用的一些GSLB策略包括：1>各內(nèi)容站點的"健康狀況"GSLBController對各內(nèi)容站點負載均衡設(shè)備上定義的VIP或服務(wù)器〔沒有本地負載均衡的情況進行第四層TCP/UDP健康檢查和第七層應用健康檢查。未能通過健康檢查的站點不會被選為最佳的內(nèi)容節(jié)點。2>地理區(qū)域或用戶自定義區(qū)域一個區(qū)域為若干條IP地址前綴。根據(jù)用戶本地DNS的IP地址,將特定IP范圍的用戶優(yōu)先分配到某個通過健康檢查的站點。值得一提的是,由于DNS本身的工作原理所限,GSLBController只能看到用戶本地DNS的IP地址,而不是用戶終端的IP地址。當用戶使用錯誤的本地DNS〔如教育網(wǎng)用戶配置網(wǎng)通的DNS服務(wù)器時,GSLBController返回的DNS應答將不是最佳的站點。這是基于DNS的GSLB的一個弱點,但由于絕大部分運營商現(xiàn)在限制其他運營商的客戶使用自己的DNS,出現(xiàn)這種錯誤配置的比例非常小。3>IP地址權(quán)重可以為DNS應答中的每個IP地址分配權(quán)重,權(quán)重決定與其他候選IP相比分配到該IP的流量比例。4>站點〔Site權(quán)重可以為每個Site分配權(quán)重,權(quán)重決定與其他候選Site相比分配到該Site的流量比例。5>會話能力閾值通過廠商自由的GSLB協(xié)議,GSLBController可以獲得每個站點負載均衡設(shè)備當前可用會話數(shù)和會話表大小的最大值,當前會話數(shù)/最大會話數(shù)比值超過定義的閾值時,該站點不再被選擇。6>活動服務(wù)器指一個GSLB節(jié)點綁定到一個VIP上的活動真實服務(wù)器數(shù)量?？梢耘渲貌呗詢?yōu)先選擇活動服務(wù)器最多的IP地址。7>往返時間<RTT>RTT策略是基于區(qū)域之外最常用的策略。有兩種模式的RTT測量：ActiveRTT測量與PassiveRTT測量。在實際部署中,由于網(wǎng)絡(luò)限制和性能原因,ActiveRTT往往無法使用,PassiveRTT更實用一些。8>當前可用會話數(shù)9>站點管理優(yōu)先級〔AdminPreference為每個站點預設(shè)優(yōu)先級,選擇優(yōu)先級較高的站點。10>最少選擇選擇從前被選擇的次數(shù)最少的節(jié)點。11>輪詢〔RoundRobin采用輪詢方式選擇站點。DWDM技術(shù)概述DWDM技術(shù)是指相鄰波長間隔較小的WDM技術(shù),工作波長位于1550nm窗口。可以在一個光纖上承載8~160個波長。主要應用于長距離傳輸系統(tǒng)。適用場景組網(wǎng)架構(gòu)華為OSN系列OTN設(shè)備將為數(shù)據(jù)中心容災提供業(yè)界領(lǐng)先的廣域傳送特性,適合于對容量、實時性等要求較高的容災系統(tǒng),華為OSN系列具備海量級數(shù)據(jù)傳送能力,最大支持40G/100G×80波<3.2T~8T>；支持14種專業(yè)級存儲接口〔FC/FICON/ESCON等,具備7大主流存儲廠商的兼容性認證；針對各種容災組網(wǎng)類型,OSN系列提供電信級的50ms級可靠保護；提供業(yè)界最佳的3000公里SAN拉遠能力,滿足長距離異地容災需求。技術(shù)特點DWDM的技術(shù)特點和優(yōu)勢：〔1充分利用光纖的帶寬資源,傳輸容量巨大DWDM系統(tǒng)中的各波長相互獨立,可透明傳輸不同的業(yè)務(wù),如SDH、GbE、ATM等信號,實現(xiàn)多種信號的混合傳輸。如圖6所示,多個光信號通過采用不同的波長復用到一根光纖中傳輸,每個波長上承載不同信號,在一根光纖中傳輸,大大提高了光纖容量,極大的節(jié)約了光纖資源,降低線路建設(shè)成本。〔2超長的傳輸距離利用摻鉺光纖放大器〔EDFA等多種超長距傳輸技術(shù),可以對DWDM系統(tǒng)中的各通路信號同時放大,實現(xiàn)系統(tǒng)的長距傳輸。〔3平滑升級擴容存儲層解決方案HyperMetro技術(shù)OceanStor系列產(chǎn)品的HyperMetro功能,可以實現(xiàn)存儲雙活架構(gòu),為兩個數(shù)據(jù)中心存儲同時提供讀寫服務(wù),且整個存儲系統(tǒng)架構(gòu)全冗余,任意數(shù)據(jù)中心故障時,另外一個數(shù)據(jù)中心有一份存儲設(shè)備和相同數(shù)據(jù)可用,最大化提高了業(yè)務(wù)連續(xù)性。HyperMetro雙活集群原理存儲雙活集群技術(shù)HyperMetro最大支持32個存儲控制器,向應用服務(wù)器提供無差異的并行訪問,同時處理應用服務(wù)器的I/O請求；各控制器間互為備份,均衡負載,控制器故障后,其承接的業(yè)務(wù)自動切換到正?？刂破?保證系統(tǒng)的可靠性、業(yè)務(wù)的連續(xù)性。集群間的通信支持FC或10Ge鏈路,通信包括集群心跳和數(shù)據(jù)鏡像。其工作原理如下圖所示。存儲數(shù)據(jù)鏡像通過HyperMetroLUN功能,保證兩個站點磁盤陣列之間數(shù)據(jù)的實時同步。兩臺存儲設(shè)備上的LUN被虛擬化為一個虛擬的卷,主機寫操作通過卷虛擬化鏡像技術(shù)同時寫入兩個數(shù)據(jù)中心的存儲設(shè)備,保持數(shù)據(jù)實時一致。具體的IO讀寫流程如下圖所示。假如數(shù)據(jù)中心A陣列收到寫I/O,處理流程如下：1、申請寫權(quán)限和記錄寫日志：數(shù)據(jù)中心A陣列收到主機寫請求,先申請HyperMetroLUN的寫權(quán)限；獲得寫權(quán)限后,HyperMetro將該請求記錄寫日志。日志中只記錄地址信息,不記錄具體的寫數(shù)據(jù)內(nèi)容；該日志采用具有掉電保護能力的內(nèi)存空間記錄以獲得良好的性能。2、執(zhí)行雙寫：將該請求拷貝2份分別寫入本地LUN和遠端LUN。通常情況下LUN是回寫狀態(tài),數(shù)據(jù)會寫入該LUN的Cache就會返回。3、雙寫結(jié)果處理：等待兩端LUN的寫處理結(jié)果都返回；4、響應主機：鏡像卷返回寫I/O操作完成。如果任何一個存儲設(shè)備故障,采用日志記錄故障期間數(shù)據(jù)的變化情況,待存儲設(shè)備恢復正常后,將增量數(shù)據(jù)后臺同步到修復的存儲設(shè)備,整個過程對主機"透明",不會影響主機業(yè)務(wù)。存儲數(shù)據(jù)修復單塊磁盤可能會因為掉電等異常情況出現(xiàn)壞塊。如果是可修復錯誤而且本端無法修復,因為遠端站點有鏡像數(shù)據(jù),則會自動從遠端站點獲取數(shù)據(jù)來修復本地數(shù)據(jù)盤的壞塊,進一步提高系統(tǒng)可靠性。假如數(shù)據(jù)中心A陣列收到寫I/O,鏡像處理流程如下：申請讀權(quán)限：陣列收到主機讀請求,先確認HyperMetro的本地讀權(quán)限。讀本地LUN。讀本地LUN結(jié)果返回,如果可修復錯誤,執(zhí)行錯誤修復。重定向遠端讀。遠端讀返回。讀結(jié)果返回。本地寫入修復。邏輯錯誤保護當遭遇病毒攻擊或人為誤操作等異常時,數(shù)據(jù)中心的數(shù)據(jù)可能被破壞。采用虛擬快照技術(shù),在操作前對現(xiàn)有數(shù)據(jù)卷激活快照,實現(xiàn)本地數(shù)據(jù)保護。虛擬快照采用寫前拷貝〔COW技術(shù),僅將變化的數(shù)據(jù)拷貝至快照卷,系統(tǒng)資源占用少。當原卷數(shù)據(jù)被錯誤修改或刪除,需要進行恢復時,采用快照對原卷進行回滾,實現(xiàn)數(shù)據(jù)恢復,并且,快照卷可分別映射給主機進行數(shù)據(jù)測試和挖掘,不影響生產(chǎn)業(yè)務(wù)。結(jié)合華為容災管理軟件,激活快照前觸發(fā)數(shù)據(jù)庫完全檢查點,待數(shù)據(jù)下盤完成后,激活快照,保證快照數(shù)據(jù)完全滿足數(shù)據(jù)庫的一致性要求,快速拉起數(shù)據(jù)庫。高可靠仲裁防腦裂技術(shù)為保證各種異常情況下,存儲雙活集群能夠進行仲裁,建議設(shè)計第三方仲裁站點,以保證極端場景下的業(yè)務(wù)連續(xù)性。極端場景包括：出現(xiàn)數(shù)據(jù)中心整體故障或中間鏈路故障等場景,存儲集群仍然可以訪問仲裁服務(wù)器進行仲裁,保證業(yè)務(wù)可靠性和數(shù)據(jù)一致性。有仲裁站點的場景如下圖所示,為保證任一數(shù)據(jù)中心整體故障或中間鏈路故障等極端場景下,主機業(yè)務(wù)的連續(xù)性,方案建議采用仲裁服務(wù)器。這樣,可以保證極端災難場景下,存儲集群仍然可以訪問仲裁服務(wù)器進行仲裁,保證業(yè)務(wù)可靠性和數(shù)據(jù)一致性。第三方仲裁站點位于XX點,XX點與兩個數(shù)據(jù)中心之間通過XX線互聯(lián)。仲裁服務(wù)器可以運行在虛擬機上。當出現(xiàn)任一數(shù)據(jù)中心整體故障或中間鏈路故障等極端場景,整個集群的仲裁過程如下：XX數(shù)據(jù)中心與XX數(shù)據(jù)中心之間的中間鏈路斷開,導致兩個數(shù)據(jù)中心集群發(fā)生分裂,進而兩個中心之間的存儲虛擬化平臺發(fā)生"腦裂",存儲虛擬化平臺從一個大集群分裂為兩個小集群；根據(jù)集群"腦裂"的通用原理,當大集群分裂為兩個小集群時,每個小集群分別搶占第三方仲裁服務(wù)器,搶占成功的小集群"獲勝",將繼續(xù)對外提供服務(wù),為應用提供存儲訪問空間；未搶占到仲裁信息的小集群則自動退出集群,不再對外提供服務(wù)；當中間鏈路恢復時,"自動退出的小集群"檢測到中間鏈路由故障變?yōu)檎?嘗試與"繼續(xù)服務(wù)的小集群"握手通信,經(jīng)過握手通信兩個小集群再次組成一個大集群,以Active-Active模式提供服務(wù),互相之間實現(xiàn)冗余。下圖列出了基于仲裁服務(wù)器模式,各種故障場景下雙活業(yè)務(wù)是否存活的概要。H1和H2表示組成雙活HyperMetroLUN的兩個陣列,C表示對應的仲裁服務(wù)器。無仲裁站點的場景若無第三方仲裁站點,建議用戶在某個數(shù)據(jù)中心部署仲裁服務(wù)器,業(yè)務(wù)表現(xiàn)和上述的描述大致一致,但如果仲裁服務(wù)器所在的數(shù)據(jù)中心整體故障,雙活業(yè)務(wù)停止。若無仲裁服務(wù)器,用戶可以設(shè)置其中一端陣列為優(yōu)先站點,另一端為非優(yōu)先站點。當發(fā)生腦裂場景,或者非優(yōu)先站點故障時,優(yōu)先站點上的lun繼續(xù)提供服務(wù),非優(yōu)先站點的lun停止提供服務(wù)。不足之處在于當兩陣列之間失去聯(lián)系,可能是站點間鏈路丟失或其中一個陣列故障。系統(tǒng)不能區(qū)分這兩種情況,當優(yōu)先站點陣列故障時,非優(yōu)先站點不能接管雙活業(yè)務(wù),雙活業(yè)務(wù)停止。主機層解決方案VMWare容災技術(shù)技術(shù)概述虛擬機HA是當計算節(jié)點上的虛擬機出現(xiàn)故障時,系統(tǒng)自動將此虛擬機在其他正常的計算節(jié)點上恢復,使該虛擬機能正常使用。虛擬機在HA的過程中不可以使用。適用場景虛擬機HA使用于虛擬機故障或者主機故障場景,通過監(jiān)控虛擬機或物理機,當虛擬機故障時在原主機上重新拉起；物理機故障則在其它主機上拉起所有故障的虛擬機。組網(wǎng)架構(gòu)生產(chǎn)站點部分正在運行的主機或虛擬機發(fā)生異常〔如主機下電、主機重啟、虛擬機藍屏,虛擬機優(yōu)先通過DRS功能在本地冗余主機上HA。若本地冗余主機資源不足,則虛擬機通過集群內(nèi)HA功能在容災站點主機上HA。發(fā)生容災時,虛擬機短時間內(nèi)不可用〔依賴于虛擬機HA時間,數(shù)據(jù)無丟失。容災后,生產(chǎn)站點虛擬機仍然訪問本地存儲資源,容災站點容災虛擬機將跨站點訪問生產(chǎn)站點的存儲資源。技術(shù)特點當計算節(jié)點上的虛擬機出現(xiàn)故障時,系統(tǒng)自動將此虛擬機在其他正常的計算節(jié)點上恢復,使該虛擬機能正常使用。虛擬機在HA的過程中不可以使用。HA的目標服務(wù)器必須滿足該虛擬機需要的資源要求。虛擬機HA只能在同一個遷移域中進行,一個遷移域即一個Cluster。數(shù)據(jù)庫層解決方案OracleRAC技術(shù)技術(shù)概述RAC全稱RealApplicationClusters,是Oracle數(shù)據(jù)庫高可用技術(shù)的一種,也是Oracle數(shù)據(jù)庫支持網(wǎng)格計算環(huán)境的核心技術(shù)。從10g版本開始Oracle推出了OracleClusterware集群軟件,使得RAC不再依賴于第三方廠商得集群軟件實現(xiàn)多節(jié)點并發(fā)的集群數(shù)據(jù)庫。如圖所示,一組OracleRAC數(shù)據(jù)庫服務(wù)器組成一個集群,他們之間通過高速內(nèi)網(wǎng)相互聯(lián),共享緩存。用戶通過外部網(wǎng)絡(luò)連接到數(shù)據(jù)庫集群,當數(shù)據(jù)庫服務(wù)器有單點故障時,上層用戶不會受到任何影響。數(shù)據(jù)庫集群共享下層的SAN存儲。OracleRAC是Oracle數(shù)據(jù)庫高可用技術(shù)之一,也是Oracle數(shù)據(jù)庫支持網(wǎng)格計算環(huán)境的核心技術(shù),可提供多節(jié)點并發(fā)的數(shù)據(jù)庫應用,并通過監(jiān)聽客戶端和服務(wù)器端實現(xiàn)負載均衡,把用戶連接分配到不同的節(jié)點上執(zhí)行。OracleExtendedRAC在OracleRAC技術(shù)基礎(chǔ)上提供了一種跨數(shù)據(jù)中心的雙活集群架構(gòu),當單中心故障時,另外一個數(shù)據(jù)中心存活的節(jié)點可自動接管業(yè)務(wù),接管過程對上層業(yè)務(wù)透明,用戶無感知?；贠racleExtendedRAC,構(gòu)建雙活數(shù)據(jù)中心來并行承擔相同業(yè)務(wù),提高數(shù)據(jù)中心的整體服務(wù)能力和系統(tǒng)資源利用率成為可能。在這種場景下,兩個數(shù)據(jù)中心互為備份,當單數(shù)據(jù)中心故障時,業(yè)務(wù)可以能自動切換到另一數(shù)據(jù)中心,業(yè)務(wù)不中斷。OracleExtendedRAC的核心是共享存儲子系統(tǒng),通過共享訪問數(shù)據(jù)文件、重做日志文件、控制文件和參數(shù)文件的方式,確保各節(jié)點都能進行讀寫操作,且在單個節(jié)點出現(xiàn)故障時,剩余節(jié)點能夠自動接管并恢復數(shù)據(jù)庫。雙活架構(gòu)數(shù)據(jù)中心方案采用共享卷技術(shù),將跨數(shù)據(jù)中心的存儲空間以共享方式提供給上層應用訪問,滿足OracleRAC共享存儲需求,使得兩個數(shù)據(jù)中心的節(jié)點可構(gòu)成一個跨數(shù)據(jù)中心OracleExtendedRAC集群。OracleExtendedRAC集群配合Oracle監(jiān)聽器技術(shù),可實現(xiàn)客戶端在數(shù)據(jù)中心間業(yè)務(wù)雙活訪問和負載均衡；配合Oracle透明應用程序故障轉(zhuǎn)移〔TAF技術(shù),當服務(wù)器或單數(shù)據(jù)中心故障時,使客戶端能夠在新的連接中繼續(xù)工作,防止業(yè)務(wù)中斷。構(gòu)建以O(shè)racleExtendedRAC為數(shù)據(jù)平臺的雙活數(shù)據(jù)中心,底層以虛擬化智能存儲和智能光傳送平臺為基礎(chǔ),以100km光傳輸距離為限,解決了傳統(tǒng)災備中心不能承載業(yè)務(wù)和自動業(yè)務(wù)切換的問題,為應用系統(tǒng)提供最高的業(yè)務(wù)連續(xù)性保障,確保業(yè)務(wù)系統(tǒng)發(fā)生設(shè)備故障、甚至單數(shù)據(jù)中心故障時,業(yè)務(wù)無感知自動切換,實現(xiàn)RPO〔RecoveryPointObjective和RTO〔RecoveryTimeObjective都為零。以O(shè)racleExtendedRAC為數(shù)據(jù)平臺的雙活數(shù)據(jù)中心,其亮點和優(yōu)勢如下：高可用性：兩中心數(shù)據(jù)實時鏡像同步,任一數(shù)據(jù)中心故障,另一數(shù)據(jù)中心可自動接管業(yè)務(wù),實現(xiàn)RPO=0、RTO=0。結(jié)合存儲虛擬化層的快照技術(shù),可防止人為誤操作導致的數(shù)據(jù)錯誤