DistributedCloudDataCenter1技術(shù)背景 8 8 8 8 10 10 12 12 14 16 16 16 16 17 18 25 25 25 27 28 29 30 30 31 32 34 34 34 36 37 38 38 39 41 45 45 46 49 56 56 57 58 63 63 63 63 64 65 65 65 66 66 66 67 67表1單DC二層部署配置表..............................................................................表2單DC三層部署配置.................................................................................. 12 13 13 14 16 17 23 25 26 26 29 31 31 32 33 圖表21備份恢復示意圖..........................................................圖表22陣列容災部署框架....................................................圖表23主機層復制容災部署框架........................................圖表24FusionSphere云平臺雙活容災方案網(wǎng)絡拓撲............圖表25基于陣列復制的云平臺數(shù)據(jù)級容災拓撲圖..............圖表26同步復制I/O處理原理圖..............................圖表27異步復制I/O處理原理圖..............................圖表28復制一致性組示意圖..................................................圖表29FusionSphere云平臺雙活容災方案網(wǎng)絡拓撲............圖表30華為VIS6600T跨陣列鏡像技術(shù)原理圖........................... 57 58 59 59 60 61 62 65 66分布式云數(shù)據(jù)中心，VDC，VPC，虛擬化，SDN，容災，備份虛擬機容災軟件（ReplicationDi運維中心（OperationCent開源云管理平臺，對虛擬計算、存儲、網(wǎng)絡等服傳統(tǒng)的大型企業(yè)數(shù)據(jù)中心是一個物理分層的架構(gòu)。隨著公司規(guī)模的構(gòu)的建立，企業(yè)全局應用集中部署來實現(xiàn)跨地域跨組織的共享，在每個滿足地域內(nèi)各分支機構(gòu)的應用集中部署和數(shù)據(jù)共享。而營業(yè)/辦公網(wǎng)點則一般采用模塊化或者集裝業(yè)級的數(shù)據(jù)中心部署在深圳和南京，主要負責全球業(yè)務的應用集中部署，同心，建立全球應用的鏡像同時集中共享區(qū)域應用和數(shù)據(jù)，每個區(qū)域級數(shù)據(jù)中遍布全球的分支機構(gòu)，主要是建設網(wǎng)絡機房解決純網(wǎng)絡接利用率低下。一般情況下，數(shù)據(jù)中心服務器資源利用率常年低于15%。資源利用率低也容、升級等全生命周期管理都對數(shù)據(jù)中心管理提新一代數(shù)據(jù)中心的目標應是建設高效節(jié)能與運營成本合理的數(shù)據(jù)中心，支持企持續(xù)發(fā)展，滿足對業(yè)務的全生命周期管理需求。高利用率、自動化、低功耗、?數(shù)據(jù)的集中化管理和數(shù)據(jù)中?數(shù)據(jù)中心競爭將由單個設備競爭變?數(shù)據(jù)中心基礎設施管理系統(tǒng)IT成本分析、桌面幫助、IT服務管理和數(shù)務需求的可編程、高度彈性和動態(tài)、大規(guī)模的虛擬化網(wǎng)絡提供了技術(shù)支資源的統(tǒng)一虛擬化后構(gòu)成統(tǒng)一的資源池，包括服務器內(nèi)存儲風和其他災害能在任何時候襲擊數(shù)據(jù)中心。在數(shù)據(jù)中心建設的初始階務感知網(wǎng)絡，通過自動化管理和虛擬化平臺來支撐數(shù)據(jù)中心一樣提供服務，通過多數(shù)據(jù)中心融合來提升企業(yè)IT效率。去地域化、軟件定義數(shù)據(jù)中心、自動化是這個階段的主要特征。邏輯統(tǒng)一有兩方和運維支持，分權(quán)分域管理，這些能力需要分布平臺、多數(shù)據(jù)中心統(tǒng)一資源管理和調(diào)度的運營運維管理系統(tǒng)、大二層的超寬賴性，使IT主管可以將利用率不足的基礎結(jié)構(gòu)轉(zhuǎn)變成富有彈性、自動化和安用性的提高和宕機時間的縮短使企業(yè)在無形成本方面節(jié)省了大量資金。虛擬機可以遷移之類的服務來提供更高的可用性。此外，虛擬機和虛擬磁盤的封裝屬性提供了資源的按需服務能力，分布式云數(shù)據(jù)中心提供全方位的管理、業(yè)務自動式服務，用戶可以按需自助申請所需的計算、存儲、網(wǎng)絡的資源。提供業(yè)務的快速發(fā)態(tài)負載均衡的能力，能夠基于模板快速進行應用的部署和創(chuàng)建。通過服短到分鐘級。分布式云數(shù)據(jù)中心根據(jù)用戶不同的應用需求提供不同的SLA水平的資源池服分布式云數(shù)據(jù)中心具有靈活的彈性伸縮能力，根據(jù)用戶配置的靈活的調(diào)度策略，動式的管理，利用簡化和標準化的工作流將業(yè)務要求與IT流程連接起來，誤并降低對手動任務的依賴，從而使得多個多數(shù)據(jù)中心的運營與運維效率DistributedCloudDataCenter從能力來講，分布式云數(shù)據(jù)中心要提供以下關鍵能力:虛擬數(shù)據(jù)中心(VDC)為租戶提供DCaaS服務，是軟件定義數(shù)據(jù)中心(SDDC)的一種具體實現(xiàn)。V在不同的應用場景下，對云數(shù)據(jù)中心的基礎設施需求會有差異。分布式云數(shù)據(jù)對不同應用場景提供了不同的基礎設施，以滿足上層應用的差異化需求，提高基交付能力。目前主要針對四大場景：標準虛擬化場景，提供對普通應用虛擬化以及桌面云統(tǒng)一管理，同時提供接口給管理系統(tǒng)調(diào)用。這種能力在多租戶云數(shù)據(jù)中心場景下帶VDC的安全區(qū)，創(chuàng)建虛擬防火墻并配置ACL、NAT策略等，然后快速的實現(xiàn)這些策略。這種靈活度極大的提升了網(wǎng)絡對業(yè)務的支持，使業(yè)務網(wǎng)絡變得靈活。SDN管理的VxLAN技術(shù)也突破了傳統(tǒng)VLA心資源的資源統(tǒng)一的接入和管理；物理虛擬統(tǒng)一管理，物理服務器、存儲、網(wǎng)絡DistributedCloudDataCenterV100R001C10技術(shù)白皮書機密第12頁，共68頁第12頁，共68頁ResourceManag圖表1分布式云數(shù)據(jù)中心邏輯架構(gòu)分布式云數(shù)據(jù)中心總體架構(gòu)如上圖所示，由基礎設施層、虛擬化層和服務層組成。各層都分別向上層提供接口供上層調(diào)用或?qū)印１?分布式云數(shù)據(jù)中心各層介紹說明基礎設施層基礎設施層提供構(gòu)建數(shù)據(jù)中心計算、存儲和網(wǎng)絡的資據(jù)中心提供針對多種場景的POD配置方案。基于物理資源構(gòu)建了虛擬計算、虛擬存儲、虛擬網(wǎng)絡資源池。層數(shù)據(jù)中心管理層提供對虛擬計算、存儲、網(wǎng)絡的管理、資源調(diào)度等方面能力，也提供SDN的網(wǎng)絡虛擬化管理能域管理層提供對多個云數(shù)據(jù)中心的統(tǒng)一管理調(diào)度能力，提供以VDC為核心的DCaaS,VDC內(nèi)提供多種云服務能力。該層也提供對虛擬物理資源的統(tǒng)一運維能2.3分布式云數(shù)據(jù)中心邏輯部署圖分布式云數(shù)據(jù)中心在OpenStack架構(gòu)和FusionManager架構(gòu)下部署方式和部件會有不同。下圖是FusionManager架構(gòu)下的各部件關系。DistributedCloudDataCenterV100R001C10技術(shù)白皮書機密↓數(shù)據(jù)中心1數(shù)據(jù)中心2圖表2分布式云數(shù)據(jù)中心傳統(tǒng)架構(gòu)邏輯部署圖上圖描述的是傳統(tǒng)FusionSphere部署架構(gòu)，云管理采用FusionManager,可管理VMware和華為UVP虛擬化平臺。RD支持跨數(shù)據(jù)中心的容災管理，同時對接異地數(shù)據(jù)中心的FusionManager。數(shù)據(jù)中心1數(shù)據(jù)中心2圖表30penStack架構(gòu)下部件部署圖上圖是在OpenStack架構(gòu)下各部件的部署及連接關系，其中keystone部署在domain域，實現(xiàn)對多個OpenStack實例的統(tǒng)一認證管理。OpenStack平臺原生提供了適配異構(gòu)虛擬化平臺能力，當前僅支持KVM平臺，未來進行產(chǎn)品化后可支持多種虛擬化平臺。下表描述了分布式云數(shù)據(jù)中心的部件及功能：第13頁，共68頁DistributedCloudDataCenterV100R001C10技術(shù)白皮書機密第14頁，共68頁第14頁，共68頁服務集成，可通過集成第三方系統(tǒng)補足資源池管理能力，特別是異0C:運維中心面向數(shù)據(jù)中心業(yè)務，進行場景態(tài)/風險/效率分析，基于分析能力提供主動和可預見FusionManager的定位是集成多個虛擬化軟件和物理設提供網(wǎng)絡，存儲，計算資源的虛擬化，從而實現(xiàn)提供分布式云數(shù)據(jù)中心的虛擬機容災能力，支持主機復制方式將主提供分布式云數(shù)據(jù)中心的虛擬機備份能力提供存儲虛擬化功能，配合系統(tǒng)提供雙活容災能力OpenStack是開源云管理系統(tǒng)，由多個部件構(gòu)成，采用REST接口和消息隊列實現(xiàn)部件解耦，支持對異構(gòu)虛擬化平臺管理(KVM,VMware,Nova:虛擬計算，Glance:鏡像，cinder:虛擬磁盤，neutron:絡，swift:S3存儲，keystone:認證，Cei2.4分布式云數(shù)據(jù)中心數(shù)據(jù)關系圖圖表4服務式云數(shù)據(jù)中心概念關系分布式云數(shù)據(jù)中心中邏輯概念的關系是：

Domain:代表數(shù)據(jù)中心管理系統(tǒng)管理的總范圍，對分布式云數(shù)據(jù)中心來說包括多個物理數(shù)據(jù)中心及包含的物理虛擬資源。

AvailableZone(AZ):AZ是對用戶可見的，用戶在資源申請時首先需要選擇AZ。在同一個AZ區(qū)域內(nèi)，存儲是可達的，因此虛擬機在同一個AZ內(nèi)可以遷移。AZ在同一個匯聚/核心交換機下。DistributedCloudDataCenterVDC：虛擬數(shù)據(jù)中心，可以跨多個AZ，包括多個VPVPC：VPC是一個AZ內(nèi)為保證網(wǎng)絡安全而劃分的區(qū)域，各VPC網(wǎng)絡間采用多種網(wǎng)絡隔離技術(shù)。DistributedCloudDataCenterV100R001C10技術(shù)白皮書機密第16頁，共68頁華為機密，未經(jīng)許可不得擴散第16頁，共68頁3分布式云數(shù)據(jù)中心解決方案關鍵特性b)可以按使用領域劃分，例如：開發(fā)VDC,測試V數(shù)據(jù)中心資源池上網(wǎng)絡資源池存儲資源池計算資源池網(wǎng)絡資源池存儲資源池圖表5FM+SC方式部署>在運維層面，VDC相關的信息可以從eSight或合作廠商的部件獲取性能、告警信息，然后統(tǒng)一DistributedCloudDataCenterV100R001C10技術(shù)白皮書機密第17頁，共68頁華為機密，未經(jīng)許可不得擴散第17頁，共68頁數(shù)據(jù)中心資源池網(wǎng)絡資源池計算資源池存儲資源池網(wǎng)絡資源池計算資源池SC加OpenStack部署方式采用OpenStack提供的服務作為基礎云管理平臺，SC提供VD3.1.3VDC角色VDC相關的角色描述見下表：角色職責負責DC2總體的資源管理和運維管理，例如：負責DC2總體的業(yè)務運營管理，例如：VDC的創(chuàng)建、全局服務管理等VDC的管理員，能夠?qū)DC內(nèi)的資源和用戶進行管理，管理VDC內(nèi)的服務，可以查看DistributedCloudDataCenterV100R001C10技術(shù)白皮書機密第18頁，共68頁第18頁，共68頁3.1.4關鍵特性1.多數(shù)據(jù)中心資源統(tǒng)一管理VDC可以從多個物理數(shù)據(jù)中心的資源池中獲取資源。數(shù)據(jù)中心采用AvailableZone(AZ)方式提供資源池，選擇不同的AZ也就選擇了不同數(shù)據(jù)中心的資源池。在VDC創(chuàng)建時，管理員會根據(jù)需求從AZ列表中選擇需要的AZ,后續(xù)VDC用戶申請資源時將根據(jù)用戶需求從這些AZ中獲取資源。每個AZ內(nèi)部劃分為不同的HostAggregate,不同Aggregate具備不同的SLA特性。例如：有的Aggregate的服務器包含SSD盤，可以定義為高性能Aggregate。Aggregate完全由管理員根據(jù)SLA特性自主劃分。Aggregate對用戶是不可見的，但當用戶申請資源時可提出SLA需求，系統(tǒng)調(diào)度器將根據(jù)SLA需求在滿足要求的Aggregate中選擇資源。2.VDC間的隔離VDC之間提供管理、網(wǎng)絡和資源隔離能力。VDC有管理員和用戶等角色。用戶登錄VDC后，可以申請VDC提供的服務，由VDC管理員審批后使用。每個VDC內(nèi)部有獨立的用戶管理、服務管理、模板管理、服務目錄、容量管理、運維管理和審批流程等管理能力。不同VDC之間的這些管理能力是互相獨立的。每個VDC的管理員負責本VDC的管理職責，互不干擾，從而保證VDC管理上的隔離。網(wǎng)絡隔離：VDC內(nèi)部的網(wǎng)絡拓撲可以自主定義，包含多個安全區(qū)。每個安全區(qū)采用VLAN/VxLAN等方式互相隔離。虛擬資源(如虛擬機等)包含在這些安全區(qū)內(nèi)。安全外部用戶訪問安全區(qū)內(nèi)的資源需要經(jīng)過VFW。VFW上設置的ACL,ASPF,NAT等規(guī)則可以保證訪問的安全控制。不同安全區(qū)之間互通通過IPSecVPN,保證網(wǎng)絡數(shù)據(jù)的安全性。資源隔離：每個VDC都獨立管理自己的資源(例如：VM,VFW屬于某VDC),不存在VDCDistributedCloudDataCenter7.服務自動化VDC的自助網(wǎng)絡管理利用了底層SDN提供的基礎能力，主要包括的功能有：作為進入VPC的入口點。此外根據(jù)網(wǎng)絡拓撲要求還可以定義VFW和VLB等虛擬網(wǎng)絡部件。?子網(wǎng)：安全區(qū)內(nèi)部可以劃分為多個子網(wǎng)，每個子網(wǎng)通過VDistributedCloudDataCenterVDC管理員在OC可以查看VDC的告警列表，然后虛擬云主機服務提供云托管業(yè)務，讓用戶能夠象使用本地物理機一樣使用虛擬登錄服務門戶來申請云主機服務，選擇相應的虛擬機模板，并指定規(guī)格（存儲用戶可以線上申請物理服務器服務。用戶在申請時可查看服務器的可選規(guī)格給物理服務器的IP地址登錄到物理服務器，進行相關ElasticBlockStore(EBS，彈性塊存儲)可以為虛擬機動態(tài)提供塊級存儲服務。彈性塊存儲DistributedCloudDataCenter虛擬防火墻（VFW）用于保護用戶在數(shù)據(jù)中心的資源，不同用戶的虛擬略配置、獨立的吞吐量限制、獨立的會話數(shù)限制、獨立的帶寬保彈性公網(wǎng)IP也稱為彈性IP業(yè)務，是指給用戶申請的虛擬小。在提交業(yè)務請求后，系統(tǒng)會從公網(wǎng)地址池中選擇一個公網(wǎng)IP地址分用戶在使用SNAT功能時，可直接對申請的私網(wǎng)網(wǎng)段開啟或者關閉SNATDNAT功能稱為目的地址轉(zhuǎn)換，提供租戶從外網(wǎng)訪問虛擬機，使用一個公網(wǎng)地址通過據(jù)中心租戶的多臺虛擬機或者物理服務器做一對多的地址映射選擇一個已經(jīng)申請的公網(wǎng)IP地址（這個公網(wǎng)IP地址不能是已經(jīng)被用于彈性I入公網(wǎng)IP地址的端口、私網(wǎng)IP地址以及端口；提交業(yè)務請求之后系統(tǒng)會記錄該條NAT策略，同ASPF功能是針對應用層的包過濾，即基于狀態(tài)的報文過濾，以便于實施內(nèi)部網(wǎng)絡的安全策略。ASPF能夠檢測試圖通過Eudemon提供對有害JavaApplets、有害Activ進行開啟或者關閉。ACL（AccessControlList）是針對用戶的業(yè)務做訪問權(quán)限的控制，務器的IP地址來配置有限的ACL規(guī)則。用戶在使用ACL功能時，這些規(guī)則受到以下條件的約束：如果是IN方向的ACL規(guī)則，那么目標地址必須是用戶申請IPSecVPN即指采用IPSec協(xié)議來實現(xiàn)遠程接入的一種VPN技術(shù)用戶可以申請多個IPSecVPN業(yè)務，用于用戶租用的數(shù)據(jù)中心資源與用戶企業(yè)DistributedCloudDataCenter將業(yè)務主機關聯(lián)到負載均衡器中。負載均衡器可以根據(jù)用戶設定的負載均衡策均勻分發(fā)到相互關聯(lián)的主機上，使得每個業(yè)務主機的負載保持均衡，保證業(yè)務單臺服務器在處理性能、擴展性、穩(wěn)定性方面的問題，同時負載均衡器還抗攻擊的能力。用戶需要先申請VLB服務，選擇VLB的最大吞吐量、最大會話數(shù)務數(shù)量，提交請求之后開通VLB服務。服務開通之后，用戶可以根據(jù)業(yè)務制作功能和應用快速部署服務,管理員或應用開發(fā)者通過自助門戶，根據(jù)應分布式云數(shù)據(jù)中心通過虛擬機模板、應用模板，以及用戶自定義編排等用戶可以自行創(chuàng)建自己的虛擬機模板，并通過系統(tǒng)提供的圖形化編排工可視化手段，自行創(chuàng)建應用模板，模板可以包括計算統(tǒng)提示可以非常方便的部署自己的應用。系統(tǒng)接受到用戶應用部署請求后應用軟件間的依賴關系和網(wǎng)絡，采用基于VXLAN的SDN技術(shù)，靈活的定義網(wǎng)用的之間的拓撲，靈活定義網(wǎng)絡，并且實現(xiàn)不同租戶之DistributedCloudDataCenterV100R001C10技術(shù)白皮書機密第23頁，共68頁第23頁，共68頁基于App模板創(chuàng)建APP實例VM模板庫圖表8基于模板的業(yè)務快速部署在應用模板發(fā)布后，業(yè)務用戶可以在服務目錄中選擇相應模板，填寫應用基本信息，配置應用網(wǎng)絡及應用參數(shù)，通過向?qū)綉脛?chuàng)建流程創(chuàng)建應用。分布式云數(shù)據(jù)中的管理系統(tǒng)根據(jù)用戶的設置，自動化的分配云資源、安裝應用軟件、配置網(wǎng)絡，從而快速的為業(yè)務用于生成一個可用業(yè)務用戶也可以不使用模板，直接基于圖形化界面，直觀的拖放畫布快速創(chuàng)建完整的部署藍本(可視部署拓撲),并可輕松部署到混合云環(huán)境中，并提供完整的應用生命周期管理，用于簡化包括治理、開發(fā)和維護在內(nèi)的應用部署流程，該服務基于強大的流程編排引擎，實現(xiàn)應用拓撲的建模，應資源的分發(fā)，軟件的安裝，網(wǎng)絡配置，實現(xiàn)完全的服務自動化。

VAPP彈性伸縮對于每小時、每天或每周使用率都不同的應用系統(tǒng)，分布式云數(shù)據(jù)中心提供了應用彈性伸縮服務，可以根據(jù)用戶預先設定的策略自動調(diào)整應用占用的資源，可以確保占用的資源數(shù)量與業(yè)務需求保持同步，以最大程度降低成本。用戶可以在應用中創(chuàng)建彈性伸縮組，并針對彈性伸縮組設置彈性伸縮策略。彈性伸縮組是一組適用于相同伸縮策略的虛擬機的集合。系統(tǒng)會根據(jù)自定義的彈性伸縮策略，通過對虛擬機的CPU、內(nèi)存占用率等指標監(jiān)控，實現(xiàn)彈性伸縮組的伸縮控制。伸就是對虛擬機進行創(chuàng)建，啟動，喚醒等操作，縮就是對虛擬機進行刪除，關機，休眠等操作。其實際目的就是通過對虛擬機的資源的控制，達到對伸縮組所使用資源的控制，進而到達對應用所占資源的控制。用戶不僅可以對單個應用設置彈性伸縮策略，也可對多個應用設置應用間資源共享策略。組間策略是指不同應用彈性伸縮組間的組間資源共享策略。管理一個資源池內(nèi)，各個彈性伸縮組之間的的資源分配及搶占。保證整個資源池的健康運行。對于無伸縮組、不參與搶占的應用，不在管理范圍之內(nèi)，不會對業(yè)務做任何操作。組間資源共享策略可以和彈性伸縮組的自動伸縮策略合并使用，滿足多應用間的資源的彈性設置需求。用戶通過設置組間共享策略，設置此組間共享策略所在資源池的資源預留值，同時需要設置對不同應用的彈性伸縮組的資源使用，當系統(tǒng)檢測到資源池的資源少于資源預留值的時候，就會從優(yōu)先級低的應用的伸縮組開始回收資源，以保證高優(yōu)先級的應用申請資源的時候，資源池內(nèi)有足夠的資源進行分配。DistributedCloudDataCenter組間策略的另外一種使用方式，是結(jié)合計劃任務使用。應用在不同求上限是不同的。用戶可以通過定義計劃任務，DistributedCloudDataCenterV100R001C10技術(shù)白皮書機密第25頁，共68頁第25頁，共68頁3.2.1適用場景SDN(SoftwareDefineNetwork)是一種新的網(wǎng)絡框架，其本質(zhì)是網(wǎng)絡的可編程，SDN框架給用戶提供最大的控制網(wǎng)絡靈活度；隨著移動互聯(lián)、大數(shù)據(jù)等技術(shù)的發(fā)展，越來越多的IT業(yè)務遷移到數(shù)據(jù)中心，而在云數(shù)據(jù)中心Naas(NetworkAsaService)已經(jīng)成為一種基本的IT服務，租戶可以靈活的申請所需的虛擬網(wǎng)絡資源來滿足自己的IT業(yè)務。在云數(shù)據(jù)中心，SDN框架的網(wǎng)絡可以使用于如■網(wǎng)絡自動化通過提供北向API,由上層管理軟件通過調(diào)用API接口，實現(xiàn)網(wǎng)絡自動化，提供即時的網(wǎng)絡服務。為業(yè)務快速上線部署提供網(wǎng)絡環(huán)境。■靈活的業(yè)務網(wǎng)絡基于SDN網(wǎng)絡架構(gòu)，將物理網(wǎng)絡虛擬化，提供不同的業(yè)務網(wǎng)絡，實現(xiàn)業(yè)務網(wǎng)絡的靈活部署。并提供多租戶隔離，用戶可自定義網(wǎng)絡策略實現(xiàn)保護數(shù)據(jù)中心內(nèi)部的資源安全訪問。分布式云數(shù)據(jù)中心網(wǎng)絡子系統(tǒng)采用SDN框架的網(wǎng)絡設計，框架圖如下：管理第26頁，共68頁第26頁，共68頁DistributedCloudDataCenterV100R001C10技術(shù)白皮書機密ManageOne(ServiceCenter/OpManageOne(ServiceCenter/OpEdgeEdge通過上述的SDN框架實現(xiàn)將網(wǎng)絡虛擬化，自動為每個租戶提供所需虛擬網(wǎng)絡環(huán)境，如下圖安全組4安全組3虛擬化服務器虛擬化服務器虛擬化服務器安全組4從上圖可以看出，核心交換機上配置VPNVRF和InternetVRF,VPNVRF與匯聚交換機上的VPNVRF對接，internetVRF與匯聚交換機的GlobalVRF對接，用戶將租戶之間的網(wǎng)絡邏輯隔離。匯聚交換機上配置一個GlobalVRF,每個租戶的虛擬防火墻都對接到GlobalVRF中實現(xiàn)對公網(wǎng)訪問。匯聚交換機上配置多個VRF,用于為每個租戶提供虛擬路由器，提供租戶的業(yè)務網(wǎng)關路由功能，在VRF下配置三層網(wǎng)關用于提供業(yè)務網(wǎng)關，每個VRF將與租戶的虛擬防火墻對接；實現(xiàn)對租戶業(yè)務的DistributedCloudDataCenter虛擬交換機邏輯上接入到TOR交換機端口，每個租戶有自己獨立的虛擬交戶）虛擬網(wǎng)絡環(huán)境，每個虛擬網(wǎng)絡擁有獨立的路由表、地址空間、安全服務、DC內(nèi)網(wǎng)絡設計在核心層或者匯聚層使用VRF技術(shù)提供網(wǎng)絡層（L3）之間隔離設計，保證每個租戶有獨立地址重疊場景。每個VRF中可以綁定多個三層網(wǎng)關，承載多個子網(wǎng)，為虛擬機或者物理服支持VLANID或者VXLAN兩種不同二層的隔離域，一個租戶內(nèi)不同的將一個物理防火墻邏輯的虛擬出多個防火墻或者在虛擬個虛擬防火墻有獨立的路由轉(zhuǎn)發(fā)表、安全服務策略、配置管理。防火墻的配置時不影響其他虛擬防火墻的運行。同時將一個物理負載均衡邏輯的虛擬出多個負載均衡或者在虛擬機上跑的軟件虛擬負載DistributedCloudDataCenterDC間網(wǎng)絡設計數(shù)據(jù)中心之間互聯(lián)支持internet互聯(lián)，所有租戶之間的業(yè)務訪問支持跨數(shù)據(jù)中心的資源調(diào)度，由于Internet網(wǎng)絡質(zhì)量相對較差，根據(jù)物理距數(shù)據(jù)中心之間，特別是不同企業(yè)的異地數(shù)據(jù)中心可以通過租用運營商的VPN或者專線資保證每個租戶之間的網(wǎng)絡資源互相隔離，擁有獨立的網(wǎng)絡控制平面、獨），VXLAN的虛擬網(wǎng)絡VXLAN技術(shù)是一種大二層的虛擬網(wǎng)絡技術(shù)，主要的技術(shù)原理就是引入一個UDP格式的外層隧道，VXLAN解決在部署了VM、多租戶環(huán)境下數(shù)據(jù)中心網(wǎng)絡的二層和三層需求。VXLAN運行在現(xiàn)有網(wǎng)絡架構(gòu)上，提供了一種方法“延展”二層網(wǎng)絡。簡言之，VXLAN是一種基于于相同VXLAN網(wǎng)段的VM之間彼此可以通信。每個VXLAN網(wǎng)段通過一個24bit上午網(wǎng)段ID標識，VNI(VXLANNetworkIdentifier)。這就允許多達16M的VXLAN網(wǎng)段可以在相同的r器圖表12SDN控制器實現(xiàn)VXLAN的部署框圖第29頁，共68頁華為機密，未經(jīng)許可不得擴散第29頁，共68頁NetMatrix控制器和網(wǎng)絡設備配套關系設備形態(tài)版本NetMatrix控制器和網(wǎng)絡設備配套關系設備形態(tài)版本DistributedCloudDataCenter網(wǎng)絡協(xié)同NetMatrixV100R001C20網(wǎng)絡控制器SNCV100R001C30VXLANGW/出口路由器NE40E-X8/X16V800R006C30V800R007C00VXLANGW/NVECE128/CE78V100R003C10CE128/CE78/CE6850HIV100R005C00交換機（非VXLAN）CE128/CE6850EI/CE58V100R003C00V100R002C00E8000E-XV200R001C01V300R001E1000E-XV300R001C10E1000E-NV100R001LB（集成F5）F5-BIG-LB-8900BIG-IP10.2AC/CC控制器和網(wǎng)絡設備配套關系AC/CC(僅用于測試)匯聚交換機CE12800系列V1R3C10接入交換機CE5800系列V1R3C10CE6800系列V1R3C10CE7800系列V1R3C10防火墻USG9500系列V3R1C01BIG-IP10.21.多數(shù)據(jù)中心統(tǒng)一管理：存在3.異構(gòu)資源池統(tǒng)一管理：數(shù)據(jù)中心有異構(gòu)的虛擬化平臺需要統(tǒng)一管理的，例如：同時DistributedCloudDataCenterV100R001C10技術(shù)白皮書機密虛擬化和KVM虛擬化平臺需要統(tǒng)一管理。只要存在上述場景就可以使用分布式云數(shù)據(jù)中心的統(tǒng)一管理能力。1.云和非云統(tǒng)一管理物理FW物理Router物理服務器資源發(fā)放圖表13物理、虛擬資源統(tǒng)一管理提供云資源和非云資源的統(tǒng)一管理能力：

非云資源管理：管理物理資源的性能、告警和拓撲。

云資源管理：管理云資源的自動化部署、操作能力；云資源的性能、拓撲、容量管理；云資源和非云資源拓撲映射關系。2.異構(gòu)虛擬化統(tǒng)一管理圖表14異構(gòu)虛擬化管理針對不同的方案采用不同的異構(gòu)虛擬化方式：方案1:在采用FM作為云資源池管理節(jié)點的場景下，F(xiàn)M提供了對異構(gòu)Hypervisor的適配能力主要包括華為FusionSphere平臺和VMware的vCenter。FM對異構(gòu)平臺的適配采用接口調(diào)用方式，F(xiàn)M提供了方案2:采用OpenStack對多Hypervisor的適配能力來解決，目前支持KVM。第32頁，共68頁第32頁，共68頁機密機密廠商對各自插件的服務支持。管理服務門戶(ManageOneUniportal):DC資源管理資源管理資源服務管理(ServiceCenter):全局資源管理DC2管理組成：1.云資源和非云資源統(tǒng)一監(jiān)控能力對云資源和非云資源的統(tǒng)一監(jiān)控體現(xiàn)在對虛擬平臺和物理資源的告警監(jiān)控能力上。支持對物理資源，例如：服務器、存儲和網(wǎng)絡設備的告警監(jiān)控能力；同時支持和VMware的vCenter以及華為FusionManager云管理平臺對接，獲取虛擬化平臺的告警數(shù)據(jù)。詳細的監(jiān)控設備列表請參考對應的軟件監(jiān)控對象列表。根據(jù)不同的運維場景可選擇不同的監(jiān)控軟件：·華為基礎設施：OC+eSight,·異構(gòu)化基礎設施：OC+合作部件，支持小機，第三方存儲設備等DistributedCloudDataCenterV100R001C10技術(shù)白皮書機密第33頁，共68頁華為機密，未經(jīng)許可不得擴散第33頁，共68頁數(shù)據(jù)獲取監(jiān)控對象數(shù)據(jù)獲取監(jiān)控對象圖表16DC2管理系統(tǒng)部件組合提供統(tǒng)一的資源發(fā)放，提供集中的告警呈現(xiàn)和處理界面，以及提供設備性能監(jiān)控和報表功能。支持對告警的處理，在0C上可以對告警進行相應處理，包括告警展示、告警屏蔽、告警確認、虛擬機性能：支持和FusionManager以及vCenter對接，物理資源性能：物理資源性能依賴于eSight或CA監(jiān)器，網(wǎng)絡設備(交換機、路由器、防火墻等),存儲設備的性能監(jiān)控。監(jiān)控指標主要包括CPU物理拓撲管理：對物理資源的自動發(fā)現(xiàn)，物理資源連接關系的自動發(fā)現(xiàn)以由管理員自主定義，因此虛擬拓撲是根據(jù)創(chuàng)建的結(jié)果來定義的。DistributedCloudDataCenter4.云資源的容量管理能力云資源的容量管理是通過OC從FusionManage在異構(gòu)虛擬化平臺管理能力上，針對FusionSphere和OpenStack兩種部署場景提供異構(gòu)虛擬?FusionSphere：采用FusionManager來屏蔽異構(gòu)虛擬化平臺。提供對華為Fusion云平臺的支平臺對接實現(xiàn)對ESX平臺的管理，包括虛擬資源部署和操作，以及監(jiān)控信POD即Pointofdelivery，做為數(shù)據(jù)中心的建設單元，代表了成熟的模塊化設計理念和方法。具有按需部署、分步投資、可靈活擴展、維護方便的優(yōu)點，可有效提高初始階段設備利用提高50%～60%、機房設備提高25%～3），2.具有可復用性，可快速部署與施工3.可適應業(yè)務類型、層次、服務器類型4.具有配套基礎設施E9000E9000E9000E9000CE6850存儲接入網(wǎng)絡CE6850CE6850存儲接入網(wǎng)絡CE6850S5600TS5600TS5600TCE6850CE6850CE6850CE6850接入交換機iStackRH2288RH22882.計算密度高，最大64個處理器；非大數(shù)據(jù)量的核心應用，支持大多數(shù)虛擬化場景（包括公有云、私有云、混合云等）按半柜（6臺RH2288）粒度擴容，最大配置CE6850CE6850接入網(wǎng)絡CE6850CE6850iStackRH2288RHRH2288RH22882.SATA分布式存儲+PCI-ESSD，降低成本同時提升業(yè)務處4.支持半柜方式平滑擴容，應對業(yè)務增長，高擴展，低成本；CE6850CE6850接入網(wǎng)絡CE6850CE6850iStackRH5885RH5885RH5885RH5885OceanStor180002)高效率：微秒級穩(wěn)定響應，業(yè)務響應速度提升10倍用戶在部署和使用虛擬機或者應用時，為應對文件、數(shù)據(jù)丟失或損壞等可往往需要對現(xiàn)有的數(shù)據(jù)進行備份。分布式云數(shù)據(jù)中心解決方案針對備份業(yè)務提供了務Portal上自助完成虛擬機備份；提供基于代理的應用備份能力，用戶可以按照分布式云數(shù)據(jù)中心的備份子系統(tǒng)，主要承載分布式云數(shù)據(jù)中心數(shù)據(jù)保護的功能，其架構(gòu)目標如下：3.521虛擬機備份子系統(tǒng)備份服務/策略快照/備份接點圖表17虛擬機備份架構(gòu)(2)虛擬化平臺：FusionSphere平臺，提供虛擬機快照功能，和HyperDP備份服務器配合個HyperDP備份服務器可備份200個虛擬機，最多可部署10個備份服務器組成一個(4)備份存儲：可備份HyperDP虛擬機掛載的虛擬磁盤，或備份到NFS/CIFS共享文件系DistributedCloudDataCenterV100R001C10技術(shù)白皮書機密第40頁，共68頁第40頁，共68頁3.522應用備份子系統(tǒng)應用備份子系統(tǒng)的框架如下圖所示：介質(zhì)服務器備份代理圖表18應用備份架構(gòu)應用備份子系統(tǒng)由ManageOne、備份系統(tǒng)、備份代理組成；其中備份系統(tǒng)采用simpana備份框架，包含備份服務器、介質(zhì)服務器、代理服務器、web控制臺；其中，備份服務器用于控制和管理備份業(yè)務、備份用戶信息；介質(zhì)服務器用于控制備份任務和備份數(shù)據(jù)存儲；代理服務器用于代理軟件服務；web控制臺用于用于的web網(wǎng)頁操作；各部分組件的具體功能描述如下：管理平臺Portal對申請應用備份服務；備份系統(tǒng)用于備份客戶端與CommServe、Me用于管理節(jié)點與CommServe通信，實現(xiàn)備份業(yè)務的DistributedCloudDataCenter臺和應用的iDataAgent組件），供用戶下載安裝提供Web頁面供用戶選擇下載所需的Simpana客戶支持虛擬機整機恢復，當用戶選擇整機恢復時，系虛擬機快照利用FusionSphere的寫時重定向技術(shù)（RedirectonWrite）實現(xiàn)。寫技術(shù)能夠在虛擬機磁盤文件被修改時，可以不修改原磁盤文件，而是將修D(zhuǎn)istributedCloudDataCenterV100R001C10技術(shù)白皮書機密第42頁，共68頁第42頁，共68頁圖表19虛擬機快照當對虛擬機生成快照時，虛擬機將當前狀態(tài)保存在快照文件中，包括磁盤內(nèi)容、內(nèi)存和寄存器數(shù)據(jù)。用戶可以通過恢復快照多次回到這一狀態(tài)，虛擬機用戶在執(zhí)行一些重大、高危操作前，例如系統(tǒng)補丁，升級，破壞性測試前執(zhí)行快照，可以用于故障時的快速還原。其功能特點如下：◆無代理備份，不需要在要備份的虛擬機內(nèi)安裝備份代理軟件。◆支持虛擬機在線備份，不管虛擬機是開機還是關機都可進行備份。◆支持對多種生產(chǎn)存儲上的虛擬機進行備份和恢復，包括FusionStorage與存儲虛擬化。◆支持備份到多種備份存儲，包括備份服務器所在虛擬機掛載的虛擬磁盤(可位于SAN、NAS或本地硬盤上)和外接的NFS/CIFS共享文件系統(tǒng)存儲設備(如NAS)。◆支持WindowsVSS(VolumeShadowCopyService,卷影復制服務)應用一致性，保證備份數(shù)據(jù)可恢復。◆支持多種備份類型，包括完全備份、增量備份和差量備份，并可批量備份，其特點如下：●完全備份支持有效數(shù)據(jù)備份。對于“普通延遲置零”或“精簡”模式磁盤只備份有效數(shù)據(jù)(如100GB磁盤有效數(shù)據(jù)20GB,則只需要備份20GB數(shù)據(jù)),對于“普通”模式磁盤需要備份所有數(shù)據(jù)(如100GB磁盤需要備份100GB數(shù)據(jù));對需要備份的虛擬機建議其磁盤類型設置為“普通延遲置零”或“精簡”,以減少備份空間。●增量備份和差量備份功能只需備份變化數(shù)據(jù)塊，減少備份數(shù)據(jù)量，降低了備份虛擬機的成本，并最大限度地縮短了備份窗口。◆支持多種恢復類型，包括恢復到新虛擬機(整機恢復)、恢復到原虛擬機和恢復到指定虛擬機(磁盤恢復),并可批量恢復。◆支持多種恢復方式，包括虛擬機鏡像恢復和虛擬機差量恢復。●虛擬機鏡像恢復時，恢復的數(shù)據(jù)量與完全備份相同。●虛擬機差量恢復僅針對存儲虛擬化，恢復到原虛擬機時，利用更改數(shù)據(jù)塊跟蹤(CBT,ChangedBlockTracking)功能只需恢復從備份點到當前變化的數(shù)據(jù)塊，從而實現(xiàn)快◆支持靈活備份策略，管理員可以通過HyperDP設置策略。●支持針對不同虛擬機或虛擬機組設置不同備份策略，最多支持200個備份策略。●支持對全備份與增量備份或差量備份分別設置不同備份周期、備份時間窗口；如DistributedCloudDataCenter部署備份管理服務器并可通過瀏覽器統(tǒng)一管理。每個備份處理服務器支持200個虛擬提供基于圖形的管理工具HyperDPManagementConsole和基于命令行的CLI（Command-LineInterface進行集中VM內(nèi)不需要安裝備份代理軟件，由虛擬化層通過業(yè)務網(wǎng)絡與HyperDVM的數(shù)據(jù)備份策略可以在HyperDP服務器上靈活設置。建議在業(yè)務數(shù)據(jù)備份影響業(yè)務。備份策略可以根據(jù)業(yè)務需要進行調(diào)整，存當某個虛擬機數(shù)據(jù)故障需要恢復時，可以通過Hype虛擬機無代理備份該版本只支持FusionSphere的虛擬機備份，在Openstack架行相關的備份業(yè)務.用戶可以根據(jù)需要備份的應用，下載不同的備份代理軟件，應用兼容性描述ActiveDirectory備份Exchange備份Oracle備份Sybase備份支持備份企業(yè)用戶側(cè)Vmware、Hyper-當用戶由業(yè)務平臺申請備份服務時，系統(tǒng)或管理員會在commvaultcommserve服務器開始掃描待備份的客戶主機，獲取待備份的DistributedCloudDataCenterV100R001C10技術(shù)白皮書機密第45頁，共68頁第45頁，共68頁備份作業(yè)完成后，由客戶主機通知commserve備份完成。圖表20備份過程示意圖■Commvault備份恢復的過程commserve服務器下發(fā)指令通知客戶主機進行數(shù)據(jù)恢復，客戶主機向MediaAgent發(fā)起數(shù)據(jù)通道建立請求，MediaAgent根據(jù)內(nèi)部索引關系建立好數(shù)據(jù)映射后，通知主機數(shù)據(jù)通道建立成功，主機開始進行數(shù)據(jù)恢復，恢復后，通知commserve恢復完成。&8圖表21備份恢復示意圖3.6容災業(yè)務3.6.1適用場景為了保證企業(yè)的業(yè)務連續(xù)性，企業(yè)除了對業(yè)務數(shù)據(jù)做備份外，通常還需要建立容災系統(tǒng)。容災系統(tǒng)是指在相隔較遠的異地，建立兩套或多套功能相同的系統(tǒng)，系統(tǒng)之間可以相互進行健康狀態(tài)監(jiān)視和功能切換，當一處系統(tǒng)因意外(如火災、洪水、地震、人為蓄意破壞等)停止工作時，整個應用系統(tǒng)可以切換到另一處，使得該系統(tǒng)功能可以繼續(xù)正常工作。容災系統(tǒng)需要具備較為完善的數(shù)據(jù)保護與災難恢復功能，保證生產(chǎn)中心不能正常工作時數(shù)據(jù)的完整性及業(yè)務的連續(xù)性，并在最短時間內(nèi)由災備中心接替，恢復業(yè)務系統(tǒng)的正常運行，將損失降到最小。針對企業(yè)部署的虛擬化平臺，分布式云數(shù)據(jù)中心提供基于IaaS層的容災方案，支持主備容災和雙活容災場景；基于物理部署的應用容災，不在這個文檔的描述范圍內(nèi)，請參考《華為點DistributedCloudDataCenterV100R001C10技術(shù)白皮書機密對點容災解決方案V100R001C00技術(shù)白皮書》。業(yè)務連續(xù)性保證是分布式云數(shù)據(jù)中心的一個重要特性，分布式數(shù)據(jù)中心提供以下容災能力：◆支持FusionSphere容災管理、災備業(yè)務可視化管理、災備自動化配置，流程編排、支◆支持應用級容災管理；◆提供雙活容災解決方案，F(xiàn)usionSphere云平臺雙活容災方案適用于滿足下列條件的客客戶生產(chǎn)中心的業(yè)務系統(tǒng)有應用級容災需求，生產(chǎn)中心部分或全部設備(網(wǎng)絡、存儲、主機)故障時需要盡快恢復業(yè)務。對RPO和RTO要求較高，如●生產(chǎn)中心和容災中心要求配置為雙活模式，需要實現(xiàn)跨數(shù)據(jù)中心業(yè)務負荷分擔。●生產(chǎn)中心和容災中心距離較近，小于100KM。●生產(chǎn)中心與容災中心之間具有高速、低時延和高可靠性的光纖互聯(lián)網(wǎng)絡。◆提供主備容災解決方案，支持存儲陣列復制技術(shù)和主機層復制技術(shù)；分布式云數(shù)據(jù)中心容災子系統(tǒng)，提供基于IaaS層的容災方案，包含：◆基于存儲陣列復制的云平臺主備容災框架；◆基于主機復制的云平臺主備容災框架；基于VIS的云平臺雙活容災部署框架；3.621基于存儲陣列復制的云平臺主備容災部署架構(gòu)分布式云數(shù)據(jù)中心基于IaaS層的容災方案中，基于存儲陣列復制的容災業(yè)務部署如下圖所示：圖表22陣列容災部署框架 基于陣列復制的虛擬機容災子系統(tǒng)由FusionSphere、UltraVR容災管理服務器、虛擬化平臺、DistributedCloudDataCenterV100R001C10技術(shù)白皮書機密第47頁，共68頁第47頁，共68頁容災陣列構(gòu)成；(1)虛擬化平臺：FusionSphere平臺，和UlraVR配合完成虛擬機的容災業(yè)務；FusionSphere在主備節(jié)點各部署一套；(2)UltraVR容災管理服務器：部署在虛擬機內(nèi)，主備站點各部署一套。虛擬機規(guī)格至少為：4CPU*1.6GHz、8GB內(nèi)存、50GB,每個UItraVR服務器可管理3000個虛擬機容災。(3)容災陣列：用于做生產(chǎn)側(cè)SAN陣列的容災，陣列上配置HyperMirrorlicense,用于陣列的數(shù)據(jù)復制。要求和生產(chǎn)中心的存儲同構(gòu)；UltraVR根據(jù)管理員定義的容災策略，主備資源關系，通過數(shù)據(jù)網(wǎng)絡實現(xiàn)從主用生產(chǎn)中心到容災中心的數(shù)據(jù)容災；通過管理網(wǎng)絡實現(xiàn)從主用生產(chǎn)中心到容災中心的虛擬機，存儲、網(wǎng)絡、資源池等的信息同步；當災難發(fā)生時，UltraVR可以根據(jù)預先定義好的容災恢復計劃，實現(xiàn)容災站點的業(yè)務切換，快速恢復業(yè)務；3.622基于主機層復制的云平臺主備容災部署架構(gòu)分布式云數(shù)據(jù)中心基于IaaS層的容災方案中，基于主機層復制的容災業(yè)務部署如下圖所示：UltraVRM數(shù)據(jù)網(wǎng)絡管理網(wǎng)絡FR圖表23主機層復制容災部署框架基于主機復制的虛擬機容災子系統(tǒng)由FusionSphere、UltraVR容災管理服務器、虛擬化平臺、容災陣列構(gòu)成；(1)虛擬化平臺：FusionSphere平臺，和UlraVR配合完成虛擬機的容災業(yè)務；FusionSphere在主備節(jié)點各部署一套；(2)UltraVR容災管理服務器：部署在虛擬機內(nèi)，主備站點各部署一套。虛擬機規(guī)格至少為：4CPU*1.6GHz、8GB內(nèi)存、50GB,每個UltraVR服務器可管理3000個虛擬機DistributedCloudDataCenterV100R001C10技術(shù)白皮書機密第48頁，共68頁第48頁，共68頁(3)VRG復制網(wǎng)關：用于將虛擬機的數(shù)據(jù)復制到容災中心，采用虛擬機部署，單個VRG網(wǎng)關可以支持150個虛擬機的復制(IO輕載的場景，平均IOPS<=7,所有VM卷總數(shù)不超過300);(4)容災陣列：支持容災中心和生產(chǎn)中心的存儲異構(gòu)；UltraVR根據(jù)管理員定義的容災策略，主備資源關系，通過數(shù)據(jù)網(wǎng)絡實現(xiàn)從主用生產(chǎn)中心到容災中心的數(shù)據(jù)容災；通過管理網(wǎng)絡實現(xiàn)從主用生產(chǎn)中心到容災中心的虛擬機，存儲、網(wǎng)絡、資源池等的信息同步；當災難發(fā)生時，UltraVR可以根據(jù)預先定義好的容災恢復計劃，實現(xiàn)容災站點的業(yè)務切換，快速恢復業(yè)務；3.623基于VIS的云平臺雙活容災部署架構(gòu)分布式云數(shù)據(jù)中心基于IaaS層的容災方案中，基于VIS的云平臺雙活容災的業(yè)務部署如下圖所(主)10GE鏈路GE鏈路FC鏈路堆疊線纜單模光纖心跳線核心圖表24FusionSphere云平臺雙活容災方案網(wǎng)絡拓撲基于VIS的云平臺雙活容災是結(jié)合VIS集群技術(shù)和云平臺Active-Active模式部署技術(shù)實現(xiàn)的雙活容災方案。通過在云平臺與存儲陣列之間部署VIS集群，多個VIS節(jié)點按照Active-Active模式分布在本地和遠端，并結(jié)合VIS的鏡像技術(shù)，可以支持本地和遠端同時訪問共享存儲；實現(xiàn)容災倒換后存儲業(yè)務的無縫切換；同時云平臺同一個集群內(nèi)的主機按照Active-Active模式分布在本地和遠端，利用虛擬機的HA功能實現(xiàn)容災自動倒換功能。基于VIS的云平臺雙活容災的業(yè)務框架由FusionSphere、UltraVR容災管理服務器、VIS6600T虛擬機化網(wǎng)關構(gòu)成；DistributedCloudDataCenterV100R001C10技術(shù)白皮書機密(3)VIS6600T虛擬機化存儲網(wǎng)關：在云平臺與存儲陣列之間部署VIS6600T集群，多個VIS節(jié)點按照Active-Active模式分布在本地和遠端，并結(jié)合VIS的鏡像技術(shù)，支持(4)第三方仲裁存儲：在部署雙活容災時，需要在第三地部署第三方仲裁存儲，用于在網(wǎng)(5)云平臺的大二層網(wǎng)絡：為了支持集群中主機在物理上拉遠后仍能實現(xiàn)HA、熱遷移等前推薦L1專線(以太口)方式在核心交換機二層互聯(lián)(也可以通過波分設備+裸光纖連接),要求至少兩條L1專線冗余以保證可靠性。(6)全局負載均衡GSLB:在本地和遠端各部署一個GSLB,在多個可提供相同服務的站SNA生產(chǎn)中心同步復制利用日志原理實現(xiàn)主、從LUN的數(shù)據(jù)一致性，同步復制實現(xiàn)原理如下錯誤!未找到引第50頁，共68頁第50頁，共68頁DistributedCloudDataCenterV100R001C10技術(shù)白皮書機密用源。所示。11423圖表25同步復制I/0處理原理圖同步復制實現(xiàn)過程如下：1.首先為主站點的主LUN和遠端復制站點的從LUN建立同步復制關系，并啟動數(shù)據(jù)初始2.如果在初始同步時主LUN收到生產(chǎn)主機寫請求，需要檢查同步進度：若要寫入位置的數(shù)據(jù)塊尚未拷貝到從LUN,只需要寫主LUN即可返回主機成功，稍后利用同步任務將整個數(shù)據(jù)塊同步到從LUN;若要寫入位置的數(shù)據(jù)塊已經(jīng)拷貝，需要分別寫入主LUN和從LUN;若要寫入位置的數(shù)據(jù)塊正在拷貝，需要等待該數(shù)據(jù)塊拷貝完成后分別寫入主3.初始同步完成以后，主、從LUN數(shù)據(jù)完全一致，如果此時主LUN收到生產(chǎn)主機寫請求，按照下面的流程進行I/0處理。4.主LUN接收生產(chǎn)主機寫請求，記錄這個I/0對應數(shù)據(jù)塊的差異日志值為“有差異”;5.同時把寫請求的數(shù)據(jù)寫入主LUN和從LUN,寫從LUN時需要利用配置好的鏈路將數(shù)據(jù)發(fā)送到遠端復制站點；6.判斷寫主LUN和寫從LUN的執(zhí)行結(jié)果，如果都成功，則將差異日志改為“無差異”,否則保留“有差異”,在下一次啟動同步時重新拷貝這一個數(shù)據(jù)塊；7.主LUN返回生產(chǎn)主機寫請求完成。■異步復制異步復制I/0處理的原理如下圖所示：DistributedCloudDataCenterV100R001C10技術(shù)白皮書機密第51頁，共68頁第51頁，共68頁主站點圖表26異步復制I/0處理原理圖1.首先為主站點的主UN和復制站點的從LUN建立異步復制關系，并啟動初始數(shù)據(jù)同步，2.如果在初始同步時主LUN收到生產(chǎn)主機寫請求，只會將數(shù)據(jù)寫入主LUN。3.初始同步完成后，從LUN數(shù)據(jù)狀態(tài)變?yōu)橐淹交蛞恢?在整個初始同步過程中都沒有主機寫請求下發(fā)時，從LUN數(shù)據(jù)狀態(tài)為已同步，否則為一致),然后開始按照下面的流程進行I/0處理。4.主LUN接收生產(chǎn)主機的寫請求；5.寫請求數(shù)據(jù)寫入主UN后，立即響應主機寫完成；每當間隔一個同步周期(由用戶設定，范圍為1-1440分鐘)以后，會自動啟動一個將主LUN數(shù)據(jù)增量同步到從LUN的同步過程(如果同步類型為手動，則需要用戶來觸發(fā)同步)。在同步開始以前，先對主LUN和從LUN分別生成快照：主LUN的快照可以保證同步過程中讀取到的主LUN數(shù)據(jù)是具備一致性的；從LUN的快照用于備份從LUN在同步開始前的數(shù)據(jù)，避免同步過程發(fā)生異常導致從LUN的數(shù)據(jù)不可用；7.主LUN向從UN同步數(shù)據(jù)時，讀取主UN快照的數(shù)據(jù)，復制到從UN;8.主LUN向從LUN同步數(shù)據(jù)完成后，分別取消主LUN和從LUN的快照，然后等待下一個同步的到來。通常業(yè)務系統(tǒng)中會包含多個LUN,并且這些LUN的數(shù)據(jù)存在相互關聯(lián)性；為了保證多LUN在數(shù)據(jù)復制時的數(shù)據(jù)一致性，業(yè)務復制還需要用到存儲提供的一致性組功能；一致性組可以添加多個復制對，如下圖。當對一致性組進行分裂、同步和主從切換等操作時，一致性組的所有成員復制對同時進行分裂、同步、主從切換和強行主從切換。此外，當遇到故障時，一致性組的所有復制對都會一起進入斷開狀態(tài)。DistributedCloudDataCenterV100R001C10技術(shù)白皮書機密第52頁，共68頁第52頁，共68頁圖表27復制一致性組示意圖3.63.2基于主機層復制的云主機容災方案虛擬機的主機層復制容災，主要是通過虛擬化平臺的Hypervisor層進行IO捕獲與復制，實現(xiàn)虛擬主機數(shù)據(jù)的遠程復制；此外，結(jié)合云數(shù)據(jù)中心的容災管理平臺，容災管理員可以實現(xiàn)容災保護策略制定、容災計劃制定、容災切換、容災回切及有計劃性的虛擬機遷移。基于主機層的復制容災技術(shù)，有以下特點：●實時IO分流復制：實時IO分流復制技術(shù)是基于華為自研虛擬化平臺開發(fā)的復制技術(shù)，通過HypserVisor層的IO分流，實現(xiàn)基于虛擬機的整機復制。支持Windows系統(tǒng)的數(shù)據(jù)一致性，通過VSS功能實現(xiàn)系統(tǒng)級別的一致性；支持Linux系統(tǒng)的數(shù)據(jù)一致性，通過部署特定的插件支持文件系統(tǒng)，特定應用(Oracle、DB2)的數(shù)據(jù)一致性；支持更低的RPO需求(最低10S),單VMRTO<=3mins。●復制網(wǎng)關：通過在生產(chǎn)站點和容災站點部署復制網(wǎng)關，可以將多個虛擬機數(shù)據(jù)復制到異地進行保護；復制網(wǎng)關支持傳輸壓縮、加密，隊列緩存；支持虛擬化部署；●可擴展：支持按照虛擬機粒度進行容災，容災規(guī)模可水平擴展，復制網(wǎng)關可以通過水平擴展，支持大規(guī)模的虛擬機實例復制，架構(gòu)上無規(guī)模限制，同等規(guī)模下資源/成本使用更低，業(yè)界最優(yōu)；●存儲無關：支持生產(chǎn)站點與容災站點采用不同存儲陣列，和陣列解耦；3.63.3基于VIS的云平臺雙活容災方案基于VIS的云平臺雙活容災是結(jié)合VIS集群技術(shù)和云平臺Active-Active模式部署技術(shù)實現(xiàn)的雙活容災方案。通過在云平臺與存儲陣列之間部署VIS集群，多個VIS節(jié)點按照Active-Active模式分布在本地和遠端，并結(jié)合VIS的鏡像技術(shù)，可以支持本地和遠端同時訪問共享存儲；實現(xiàn)容災倒換后存儲業(yè)務的無縫切換；同時云平臺同一個集群內(nèi)的主機按照Active-Active模式分布在本地和遠端，利用虛擬機的HA功能實現(xiàn)容災自動倒換功能。基于VIS的容災方案能夠?qū)崿F(xiàn)RPO、RTO接近于0的自動容災切換方案，在生產(chǎn)側(cè)站點故障之后能夠自動地容災倒換到另一側(cè)站點。第53頁，共68頁第53頁，共68頁DistributedCloudDataCenterV100R001C10技術(shù)白皮書機密堆疊線纜單模光纖心跳線圖表28FusionSphere云平臺雙活容災方案網(wǎng)絡拓撲FusionSphere云平臺雙活容災方案采用下面關鍵技術(shù)：跨陣列鏡像技術(shù)存儲虛擬化設備支持跨異構(gòu)陣列配置鏡像，以華為VIS6600T為例，其實現(xiàn)原理如下圖所示：主機層主機層寫教拓完成派國“寫成功”信號③②A生產(chǎn)卷鏡像卷B品牌陣列②寫人鏡像卷③返回“寫成功”信號A品牌陣列新數(shù)拓圖表29華為VIS6600T跨陣列鏡像技術(shù)原理圖其工作流程如下：●主機寫入新數(shù)據(jù)到VIS6600T;●VIS6600T同時將數(shù)據(jù)寫入到生產(chǎn)卷跟鏡像卷；●生產(chǎn)卷寫入成功，并且鏡像卷也寫入成功，都給VIS6600T返回“寫成功”的信號；DistributedCloudDataCenterV100R001C10技術(shù)白皮書機密第54頁，共68頁第54頁，共68頁●VIS6600T返回“寫完成”信號給主機。在鏡像方式下，鏡像卷與生產(chǎn)卷的數(shù)據(jù)嚴格保持一致。鏡像既可以在本地進行部署，也可以在遠端進行部署。相比較于其他備份技術(shù)，鏡像技術(shù)數(shù)據(jù)保護程度最高，效果最好。■集群技術(shù)VIS6600T集群采用Active-Active存儲架構(gòu)，正常情況下各節(jié)點同時工作，并發(fā)處理主機的業(yè)務請求。各節(jié)點互為備份，當其中一個或多個節(jié)點發(fā)生故障的時候，剩余節(jié)點會快速地自動接管其業(yè)務，保證業(yè)務運行的連續(xù)性。VIS6600T集群可以將業(yè)務均衡到多個節(jié)點上處理。這種均衡的分擔業(yè)務的方式，叫做負載均衡。能更有效的利用資源，提高系統(tǒng)的工作效率和性能，用戶可以從集群系統(tǒng)的投資中獲得最大的價值。華為VIS6600T虛擬化設備故障切換如下圖所示：圖表30VIS6600T故障切換原理圖VIS6600T集群支持在線動態(tài)擴容節(jié)點，不影響現(xiàn)網(wǎng)業(yè)務的運行。VIS6600T集群支持最多8個節(jié)點，擴容時只需在陣列上把LUN映射給新增節(jié)點，并將新增節(jié)點接入集群的私有通信網(wǎng)絡中。新增節(jié)點上電后，原有集群會自動檢測到新增節(jié)點的加入，自動同步相關的配置信息并添加新增節(jié)點到集群中，便捷地完成集群的節(jié)點擴容。當前VIS6600T集群不能滿足日益增長的業(yè)務需求時，用戶可以購買新的節(jié)點，對現(xiàn)有集群進行擴展。■全局負載均衡(GSLB)技術(shù)全局負載均衡(GSLB)在多個可提供相同服務的站點之間，根據(jù)相應的分配策略將用戶請求“路由”到合適的站點上。ArrayGSLB的目的是在多個可提供相同服務的站點之間，根據(jù)相應的分配策略將用戶請求分配到合適的站點上。ArrayTM(流量管理)提供高性能的GSLB功能SmartDNS。SmartDNS通過其內(nèi)置的IP地址或網(wǎng)絡對應表來實現(xiàn)用戶的就近訪問策略，當位于不同位置的LocalDNS請求到達時，SmartDNS根據(jù)對用戶的LocalDNS策略判斷用戶所處的位置，可以返回距離用戶最近的鏡像站點的IP地址。SmartDNS通過智能狀態(tài)檢測功能實現(xiàn)對鏈路、服務器健康狀態(tài)的檢測。檢測的策略可以為Ping、TCP端口檢測和內(nèi)容檢測，真正地檢測服務器和鏈路的健康狀態(tài)。對于因故障或檢修而停止服務的服務器和鏈路從負載均衡組中去除，并繼續(xù)檢測鏈路和服務器的狀態(tài)，一旦該鏈路或服務器恢復健第55頁，共68頁第55頁，共68頁康，則將其再次加入負載均衡組。在SmartDNS的內(nèi)部，采用矩陣算法對服務器健康狀態(tài)、網(wǎng)絡健康狀態(tài)、用戶IP地理位置等參數(shù)進行綜合計算，判斷返回給用戶的最佳鏡像站點IP地址，使用戶始終能得到最佳的網(wǎng)絡服務。對GSLB而言，最重要的一點是每一個ArrayTM需要知道其他TM所了解的服務、鏈路和系統(tǒng)狀態(tài)信息，這一點是通過Array的SICP(狀態(tài)信息通信協(xié)議)來完成的。SICP是Array公司的私有協(xié)議，主要完成GSLB服務器組中狀態(tài)信息的交換，需要利用SLB、LLB的健康檢查和狀態(tài)監(jiān)測功能。處在GSLB中的TM每隔幾秒即可互相交換健康狀態(tài)信息，還可以互相交換本地服務器負載、鏈路負載、網(wǎng)絡狀況等信息。這些狀態(tài)信息主要包括鏈路可用性、服務可用性以及集群狀態(tài)等。當CNA物理服務器宕機或者重啟，系統(tǒng)可以將具有HA屬性的虛擬機故障遷移到其他計算服務器，保證虛擬機能夠快速恢復。當計算服務器宕機后，由于單個集群內(nèi)可以運行上千個虛擬機，為避免大量虛擬機遷移造成網(wǎng)絡擁塞和目的服務器過載，系統(tǒng)會根據(jù)網(wǎng)絡流量、目的服務器負荷選擇將虛擬機遷移到不同的目的DistributedCloudDataCenterV100R001C10技術(shù)白皮書機密第56頁，共68頁第56頁，共68頁圖表32虛擬機HA特性示意圖當VRM與CNA的心跳中斷超過30秒則會觸發(fā)虛擬機HA,當一個虛擬機有運行狀態(tài)突然異常消失也會觸發(fā)HA在其他正常的計算節(jié)點上快速恢復業(yè)務。在HA技術(shù)中，涉及以下關鍵技術(shù)：●防止腦裂：通過存儲層面的鎖機制防止同一個虛擬機實例在多個CNA上同時啟動。●CNA節(jié)點的掉電恢復：CNA節(jié)點掉電恢復后，業(yè)務進程開機自啟動恢復，其上之前運行的虛擬機全部故障遷移至其他計算節(jié)點。3.7安全管理3.7.1適用場景隨著信息技術(shù)的發(fā)展，如Web2.0、SOA和云計算技術(shù)的涌現(xiàn)，以及移動設備、遠程設備連接、瀏覽器以及各種應用程序的插件程序、智能終端、云主機的出現(xiàn)，為信息安全帶來了新的挑戰(zhàn)。網(wǎng)絡外部與內(nèi)部的攻擊，以及系統(tǒng)漏洞仍然為信息安全最大威脅。攻擊永遠圍繞最有價值的信息資產(chǎn)展開，作為信息最核心的節(jié)點，數(shù)據(jù)中心首當其沖。隨著云計算、以及數(shù)據(jù)中心的分布式部署，數(shù)據(jù)中心的組成元素也發(fā)生了一些變化，例如虛擬化、邊界延伸。因此，一個體系化的分布式云數(shù)據(jù)中心安全解決方案必然應該覆蓋所有組成元素，且安全元素支持邏輯隔離，而不能單用傳統(tǒng)的技術(shù)手段、物理邊界實現(xiàn)其全部的安全保障。分布式云數(shù)據(jù)中心安全子系統(tǒng)根據(jù)業(yè)界最佳社會實踐，結(jié)合自身多年來的項目積累，提取經(jīng)驗中的精華進行設計的。安全子系統(tǒng)架構(gòu)目標如下：從物理層安全、網(wǎng)絡安全、主機安全、應用安全、虛擬化安全、用戶安全、安全管理、安全服務八大塊內(nèi)容進行設計。安全架構(gòu)可以根據(jù)客戶實際的需求，可以快組合，形成滿足用戶實際需求的安全體系，更具針對性。端到端安全DistributedCloudDataCenter實現(xiàn)用戶從接入、使用、完成退出的端到端的安全防護。通過涉及到數(shù)據(jù)、網(wǎng)絡、應用等各個層面的安全防護，因此，涉及各種安全管理策略。但整個安全架構(gòu)體系具備低耦合性的特點，各種安全技術(shù)之為滿足用戶的安全需求而提出的一個指導性框架。用戶可以根據(jù)該分布式云數(shù)據(jù)中心安全方案從物理層、網(wǎng)絡層、主機層、應用層、數(shù)分布式云數(shù)據(jù)中心安全方案全面滿足電子政務等應用安全、虛擬化安全、數(shù)據(jù)保護、用戶管理、安全管理等幾個層面，求，安全子系統(tǒng)架構(gòu)如下圖所示，圖中紅框安全模塊為分布式云數(shù)據(jù)中心基DistributedCloudDataCenterV100R001C10技術(shù)白皮書機密虛擬化安全虛擬化安全安全管理用戶管理數(shù)據(jù)安全安全服務絡系統(tǒng)中的系統(tǒng)和通信數(shù)據(jù)進行保護，不因偶然的或者惡意的原因而遭受DistributedCloudDataCenterV100R001C10技術(shù)白皮書機密第59頁，共68頁第59頁，共68頁統(tǒng)連續(xù)可靠正常地運行，網(wǎng)絡服務不中斷。傳統(tǒng)的物理邊界的防護已經(jīng)不能適應分布式云數(shù)據(jù)中心以VDC為主體的應用場景。為適應云技術(shù)的發(fā)展，網(wǎng)絡安全產(chǎn)品已經(jīng)逐漸演化為支持虛擬化，支持設備1虛多，提供網(wǎng)絡安全邏輯隔離。目前應用最廣泛的是虛擬防火墻技術(shù)。同時，基于云技術(shù)實現(xiàn)軟件邊界防火墻、安全組等網(wǎng)絡安全特性，提供全面的網(wǎng)絡安全防護。1)虛擬防火墻虛擬防火墻是將一臺防火墻劃分多個為邏輯防火墻，每個邏輯防火墻能夠獨立為一個企業(yè)服務，提供私有網(wǎng)絡，實現(xiàn)獨立的安全保障，進而實現(xiàn)防火墻資源使用率的最大化。虛擬防火墻可以由物理防火墻或軟件防火墻提供。圖表34虛擬防火墻示意圖每臺虛擬防火墻能夠為用戶提供私有的路由轉(zhuǎn)發(fā)服務、安全服務和配置管理服務。2)軟件虛擬防火墻VSAVirtualServiceAppliance華為虛擬化服務應用系統(tǒng)是軟件的虛擬化網(wǎng)絡邊界網(wǎng)關，VSA部署在VM上。VSA提供以下功能：圖表35軟件虛擬防火墻3)安全組用戶根據(jù)虛擬機安全需求創(chuàng)建安全組，每個安全組可以設定一組訪問規(guī)則。當虛擬機加入安全組后，即受到該訪問規(guī)則組的保護。用戶通過在創(chuàng)建虛擬機時選定要加入的安全組來對自身的虛擬機進行安全隔離和訪問控制。DistributedCloudDataCenterV100R001C10技術(shù)白皮書機密第60頁，共68頁第60頁，共68頁VM