日期：201409杭州華三通信技術(shù)有限公司SDN控制器集群中的2SDN&NFVSDN部署實際案例SDNController集群部署方案以及優(yōu)化目錄SDN架構(gòu)3SDNServices,AppsNetworkOSNetworkOSSDNLanguageAppAPIsEast-westInterfaceSouthboundInterfaceControlandDataPlanesSeparationDataPlane(ForwardingHardware)DataPlane(ForwardingHardware)DataPlane(ForwardingHardware)DataPlane(ForwardingHardware)Carriers’InfrastructureInformationNorthboundInterfaceProgrammableControlPlaneProgrammableControlPlaneSDN核心理念4成功？控制和轉(zhuǎn)發(fā)分離開放的API集中控制SDN的背后5云計算控制和轉(zhuǎn)發(fā)分離控制層面可以擺脫對傳統(tǒng)網(wǎng)絡(luò)設(shè)備的依賴，迅速發(fā)展集中控制方便對池化的資源進行靈活的控制和監(jiān)管開放的API開放統(tǒng)一的南向和北向接口將催生成熟的產(chǎn)業(yè)鏈要求按需索取，動態(tài)管理計算存儲網(wǎng)絡(luò)虛擬化SDNServices,AppsProgrammableControlPlaneControlNetworkOSProgrammableControlPlaneControlNetworkOSSDNLanguageAppAPIsEast-westInterfaceSouthboundInterfaceControlandDataPlanesSeparationDataPlane(ForwardingHardware)DataPlane(ForwardingHardware)DataPlane(ForwardingHardware)DataPlane(ForwardingHardware)Carriers’InfrastructureInformationNorthboundInterfaceSDNServices,AppsProgrammableControlPlaneControlNetworkOSNetworkOSProgrammableControlPlaneControlNetworkOSNetworkOSSDNLanguageSDNLanguageAppAPIsEast-westInterfaceSouthboundInterfaceControlandDataPlanesSeparationDataPlane(ForwardingHardware)DataPlane(ForwardingHardware)DataPlane(ForwardingHardware)DataPlane(ForwardingHardware)Carriers’InfrastructureInformationNorthboundInterfaceSDNNFV6NFV——NetworkFunctionsVirtualizationNV——NetworkVirtualizationVPN——VirtualPrivateNetworkMulti-tenantOverlayVNF——VirtualisedNetworkFunctionsNFVArchitecture7OSS/BSSNFVINFVM&OVNFEMS1EMS2EMS3VNF1VNF2VNF3NetworkHardwareService,VNF&Infrastructure

DescriptionVNFManagersOrchestratorVirtualisedInfrastructureManagerVirtualComputeVirtualStorageVirtualNetworkVirtualisationLayerHardwareResourcesComputingHardwareStorageHardwareOpenStack8YourApplicationsOpenStackSharedServicesStandardHardwareCLOUDOPERATINGSYSTEMAPIsOPENSTACKOpenStackDashboardStorageNetworkingCompute網(wǎng)絡(luò)虛擬化9網(wǎng)絡(luò)虛擬化SDNOverlayNFV控制/管理轉(zhuǎn)發(fā)/隔離功能/架構(gòu)云計算需要采用目錄10SDN&NFVSDN部署實際案例SDNController集群部署方案以及優(yōu)化VCF（VirtualConvergedFramework）11IntelligentManagementCenter（iMC）用戶上層應(yīng)用系統(tǒng)服務(wù)編排Orchestration(設(shè)計&交付)資源管理層資源池化，IT基礎(chǔ)服務(wù)單元(OpenStackEmbedded)CloudServiceManagement（CSM）NetworkServiceManagement（NSM）融合控制層VirtualConvergedFrameworkController（VCFC）基礎(chǔ)承載層CVKFlexServer計算FlexStorage存儲OSAppOSOSAppOSUIS端點BYODiNodeEADOpenAPIVDIAppAppVNFOpenFlow網(wǎng)絡(luò)經(jīng)典網(wǎng)絡(luò)vIPSVPNvLBvFWComputeUnitX86hardwarevACvBRASVSREndpointIntelligentCenter（VCF-EIC）CloudIntelligentCenter（VCF-CIC）EndpointServiceManagement（ESM）VCFArchitecture商業(yè)模型12VCFRTFWSWLBSWVMVMVMDiskDiskDiskRTFWSWLBSWRTFWSWLBSW

APPDeliveryESM+NSMiMCPlatformNSMiMCPlatformNSM+CSMiMCPlatformEICVCFControllerCICAPPOrientedComm.&Sec.APPProvisionEndpoints/usersNetworkCompute/StorageNetworkNetworkVCFControllerVCFController浙江政務(wù)云13……ProvincialGovernmentExtranetInternetPublicCloudGovernmentCloudPublicServiceZone(VirtualPrivateCloud)ProvincialGovernmentCloudMunicipalGovernmentCloudMunicipalGovernmentCloudMunicipalGovernmentCloudPublicServiceZoneSharedZone目錄14SDN&NFVSDN部署實際案例SDNController集群部署方案以及優(yōu)化Controller軟件架構(gòu)15KeystoneRESTAPIshellFrameworkGUIshellFrameworkPostgreSQLAlerts…TopologyAppDevelopmentAuditLogZookeeperTeamingDiscoveryNetConfOpenFlowCassandraOSGiRabbitMQJava(1.7/64bits)OS(Linux64bits)Controller邏輯層次16北向接口層內(nèi)置應(yīng)用層基礎(chǔ)網(wǎng)絡(luò)層抽象邏輯層南向接口層UI界面集群管理軟件管理配置管理層RestfulAPIL2網(wǎng)絡(luò)SAL拓撲管理鏈路管理主機管理連接管理設(shè)備管理流表管理報文收發(fā)路徑計算QoS管理轉(zhuǎn)發(fā)管理IPv4協(xié)議IPv6協(xié)議L3網(wǎng)絡(luò)Overlay網(wǎng)絡(luò)服務(wù)功能鏈JAVA/C/C++嵌入式APIBGP/BGP-LS/PCEPNETCONF/XMPPOVSDB/SNMP/CAPWAPOPENFLOW1.0/1.3Overlay處理流程17ControllervSwitch1vm1vm2vSwitch21：packetIn2：SetFlow3：packetOutController的控制能力18ControllerClusterController的處理瓶頸：首包上送的處理能力（路由計算+流表下發(fā)）一個Host節(jié)點一般有1個vSwitch，可以起20-30個vm，每秒可能產(chǎn)生500個以上的新流500KTPS的性能，對應(yīng)的上限是1000個Host>1000?ControllerCluster部署方案19LeaderLeaderLeaderRegionMemberMemberMemberMemberMemberRegionRegionTeam管理功能和結(jié)構(gòu)20Team內(nèi)成員管理Leader選舉上報Team事件APP1APP2APP3APP4TeamZookeeperTeam的功能實現(xiàn)21Team內(nèi)成員管理Leader選舉上報Team事件當(dāng)Team模塊通過zookeeper的watch機制感知到集群成員信息變化或leader信息變化時，會給所有加入Team的模塊上報事件，其中包括：Team的狀態(tài)事件（是否可用）、成員的變化事件（加入/離開）和leader的變化事件等。成員進入Team：首先將本成員節(jié)點信息保存到zookeeper上，同時設(shè)置watch，從zookeeper中讀取現(xiàn)有成員信息，其他成員通過watch機制感知成員加入。成員離開Team：成員由于故障或其他原因離開Team，該成員在zookeeper上Session信息會被老化，導(dǎo)致該成員的節(jié)點信息被刪除，其他成員通過watch機制感知成員離開。leader角色的成員進入Team后，檢測Team是否已選出leader，如果leader不存在，觸發(fā)選舉流程，首先從zookeeper中讀取出所有成員的信息，根據(jù)成員的優(yōu)先級，從中選出優(yōu)先級最高的leader，并將該leader信息保存在zookeeper中，其他成員通過watch機制感知leader變化。Team內(nèi)的HA22BUSKeyStore目標(biāo)提供數(shù)據(jù)實時備份功能提供數(shù)據(jù)批量備份功能HA對App是不可見的，即App使用最簡潔的接口完成數(shù)據(jù)同步BUS23bus通道給應(yīng)用模塊提供了實時消息的分發(fā)和接受處理機制，不同APP的bus通道彼此獨立。發(fā)送的bus消息，實際上就是在zookeeper中創(chuàng)建一個數(shù)據(jù)節(jié)點，其他成員的接收消息的過程是通過watch機制感知到節(jié)點變化事件后，將對應(yīng)節(jié)點數(shù)據(jù)讀出來。APP1APP2BUSBUSZookeeperAPP1APP2BUSBUSZookeeperAPP1APP2BUSBUSZookeeperSDNcontroller1SDNcontroller2SDNcontroller3KeyStore24KeyStore機制給新加入的Controller或者新啟動的App恢復(fù)系統(tǒng)中其它Controller上相同App已經(jīng)生成的運行時數(shù)據(jù)。KeyStore實現(xiàn)了一個非常簡單的數(shù)據(jù)庫功能，采用Key-Value機制，不支持范圍查找，只提供了設(shè)置和獲取接口，沒有通知接口。APP1