北京移動：云平臺建設與運維最佳實踐分享電信行業(yè)資深技術顧問劉承罡201408Copyright?2010VMware,Inc.Allrightsreserved.ThisproductisprotectedbyU.S.andinternationalcopyrightandintellectualpropertylaws.VMwareproductsarecoveredbyoneormorepatentslistedat/go/patents.三大運營商云專家VMware售前/售后/研發(fā)專家團隊運營商全國超過100個的云平臺遇到什么問題?如何解決?使用什么技術?什么Solution適合運營商云平臺的最佳實踐集什么是電信行業(yè)的最佳實踐?VMware

inCMCC……穩(wěn)定&可靠！不受限制！良好的運營能力！完善的增值服務能力最佳實踐1.虛擬機減肥、云資源池的報表與分析問題描述資源池使用過程中，業(yè)務系統(tǒng)的虛擬機的資源申請，存在申請資源過高、資源浪費的情況，如何在云資源池中通過有效的方法對虛擬機的資源分配進行指導，避免資源的浪費和爭用解決方案通過VMwareVCops的“容量過剩的虛擬機”報表功能，生成虛擬機減肥的報表，幫助云資源池的管理人員對業(yè)務部門的虛擬機的配置進行合理化建議。需求單位江蘇某運營商增值業(yè)務云、某集團總部IT云、陜西某運營商增值業(yè)務云、湖北某運營商IT云、山東某運營商IT云虛擬機減肥報表主要界面云資源池下的經(jīng)分報表------1云資源池下的經(jīng)分報表------2最佳實踐2.核心共享存儲的單點故障問題描述部署資源池后，所有的系統(tǒng)都部署在共享存儲上，通過HA等解決方案，提高了服務器故障后的故障恢復能力，但是對存儲的依賴增加了，一旦共享存儲發(fā)生故障、所有業(yè)務都會收到影響解決方案通過使用DP+SRM+VR技術，以較低的成本確保高度可靠的RTO和RPO，并通過容災演練保障業(yè)務部門對容災系統(tǒng)的信心維護單位吉林某運營商IT云、山東某運營商IT云、湖北某運營商IT云、廣東某運營商增值業(yè)務云利用SRM實現(xiàn)站點級業(yè)務連續(xù)性AnyStoragevSphereReplicationvCenter1->vCenter2APPOSAPPOSESXServersSZVMsvSphereReplicationvCenter1<-vCenter2AnyStorageAPPOSAPPOSESXServersSHVMsAPPOSAPPOSESXServersSHStandbyVMsAPPOSAPPOSESXServersSZStandbyVMsSRMSRMFailoverFailover最佳實踐3.

某個時間點的數(shù)據(jù)恢復問題描述解決方案VDPA，具備重復數(shù)據(jù)刪除，配置對VM的數(shù)據(jù)保護方式：每天的備份保留一個月；每周的備份保留1年每月的備份保留5年維護單位北京某運營商IT云業(yè)務部門的VM部署后，由于數(shù)據(jù)的邏輯錯誤和客戶審計的需要，需要恢復到過去一周甚至幾個月前的數(shù)據(jù)；并且需要重復刪除能力以有效的節(jié)省磁盤空間；需要CTB的備份與恢復以加快數(shù)據(jù)備份與恢復VDPA備份與恢復最佳實踐4.分權分域的備份與恢復問題描述解決方案維護單位某集團公司增值業(yè)務云資源池化后，各個業(yè)務系統(tǒng)的基礎架構集中統(tǒng)一管理后，各個系統(tǒng)的業(yè)務維護人員需要對各自的數(shù)據(jù)和VM的備份與恢復進行分權分域的管理通過使用VDP+FLR技術，對VM的備份與恢復統(tǒng)一管理（云管理員），對VM內(nèi)數(shù)據(jù)的恢復進行分權分域的管理（自服務）用戶通過FLR進行文件恢復的自服務最佳實踐5.

云平臺的東西向隔離問題描述解決方案維護單位浙江某運營商增值業(yè)務云、山東某運營商IT云、集團公司IT資源池、廣西某運營商增值業(yè)務云、陜西某運營商增值業(yè)務云、江蘇某運營商增值業(yè)務云VCNS可以實現(xiàn)二層的虛擬化防火墻，有效的進行DMZ區(qū)的劃分、VLAN內(nèi)的二次隔離等功能VLAN資源有限，多業(yè)務網(wǎng)系統(tǒng)共用一個VLAN后，仍然需要東西向的二層隔離；同一個業(yè)務系統(tǒng)配置一個VLAN后，需要進行DMZ區(qū)和核心區(qū)的劃分典型架構1iLoKVM業(yè)務區(qū)域業(yè)務區(qū)域OSSMSS匯聚核心交換出口區(qū)周邊網(wǎng)絡接入設備管理CMNETIntranet典型架構2核心交換機：三層接入交換機：二層邊界路由器、防火墻東西向隔離VRF:配置復雜，配置靜態(tài)路由，然東西向通信強行走虛擬防火墻二層二層二層二層典型架構3OSS、MSS、BSS、IT共處云資源池之內(nèi)通過VLAN隔離，防火墻虛擬分區(qū)典型架構4核心交換機：三層接入交換機：二層邊界路由器、防火墻東西向隔離ACL：VLAN過多交換機CAM不足，過少控制粒度不足二層二層二層二層核心交換機：三層接入交換機：二層邊界路由器、防火墻云平臺網(wǎng)絡設計2.5：通過DFW優(yōu)化數(shù)據(jù)流二層二層二層二層虛擬交換機：虛擬防火墻IP地址管理+ACL優(yōu)勢：業(yè)務的IP地址：從原來的VLAN上的IP，變成了虛擬網(wǎng)絡里面的VXLAN的IP，通過劃分了更多的更小的二層實現(xiàn)IP地址的再分配，他們之間的ACL控制通過分布式防火墻（DFW）進行控制，基于資源池、安全組來進行控制只要不接入同一個虛擬路由器（Edge），虛擬網(wǎng)絡里的地址是可以重疊的管理IP、vMotionIP和可能存在的存儲IP地址，還采用傳統(tǒng)的VLAN方案+ACL方案，但是種類和地址段的增加都大大降低了DFW中常見的兩種ACL訪問規(guī)則寫法：方案1（單獨vCenter）：Allow資源池A(資源池A,Ｂ，Ｃ，Ｄ)；Allow資源池Aoutsideof(虛擬數(shù)據(jù)中心)……最后加上：BlockAny方案2（多個Center）：Allow資源池A(資源池A,Ｂ，Ｃ，Ｄ)；Allow資源池A(所有的網(wǎng)關地址)；…BlockAny核心交換機：三層接入交換機：二層邊界路由器、防火墻分布式路由引入后的進一步數(shù)據(jù)流優(yōu)化二層二層二層二層虛擬交換機：虛擬防火墻DMZ區(qū)的劃分場景：劃分DMZ區(qū)，設置邊界防火墻和外部防火墻解決的問題：原先必選劃分兩個資源池、計算資源、存儲資源被人為分開，降低了資源的利用率和云平臺的靈活性vShieldApp基于組的策略CMNET/163/DCN財務Web組數(shù)據(jù)庫WebVMwarevSphere+vCenter人力資源數(shù)據(jù)庫Web數(shù)據(jù)庫市場營銷按照資源池進行不依賴VLAN的二層隔離Web數(shù)據(jù)庫組安全組資源池MAC組IP/端口組TCP/IP最佳實踐6.

虛擬化平臺下可感知應用程序的HA問題描述解決方案維護單位某集團公司增值業(yè)務云云資源池原有的HA解決方案，可以監(jiān)控服務器硬件、虛擬化軟件,GuestOS，但是VM內(nèi)的應用發(fā)生故障后無法感知，必須借助第三方HA軟件，比如MSCS/RHCS/賽門APPHA等vSphere5.5App-awareHA，保持原有vSphere簡化配置的基礎上，實現(xiàn)應用感知的HA方案vSphere5.5ApplicationHA無需配置即可查看服務狀態(tài)最佳實踐7.

多站點vCenter統(tǒng)一管理問題描述解決方案維護單位集團公司IT云資源池、北京某運營商IT云、湖北某運營商增值業(yè)務云多數(shù)據(jù)中心的vCenter平時都是統(tǒng)一進行維護，一旦數(shù)據(jù)中心之間通信網(wǎng)絡中斷，各自的vCenter可以對各自的數(shù)據(jù)中心分別管理通過SSO的方式統(tǒng)一登錄各個vCenter，vCenter之間通訊故障后，各個vCenter可以單獨登錄vCenter數(shù)據(jù)中心的管理最佳實踐8.

虛擬機使用詳細情況問題描述解決方案維護單位四川某運營商IT云、江蘇某運營商增值業(yè)務云如何查看每個虛擬機內(nèi)每個磁盤、尤其是每個分區(qū)內(nèi)文件系統(tǒng)的空間使用情況，并且可以通過一張報表的方式來進行體現(xiàn)。我們可以通過vCenterOperationsManager來用于監(jiān)控和管理虛擬環(huán)境的運行狀況、容量和性能的應用程序等。虛擬機清單報告表通過vcops查看異常的網(wǎng)絡流量查看虛擬機異常的網(wǎng)絡流量：通過虛擬機網(wǎng)絡流量排名，很快速的定位到遭受攻擊的虛擬機。來源于上海電信信網(wǎng)部通過vcops異常的存儲查看異常的儲存：通過查看存儲延時排名，很快速的定位儲存鏈路問題。來源于浙江移動資源池最佳實踐9.VLAN下IP的使用情況問題描述解決方案維護單位四川某運營商IT云每個網(wǎng)段內(nèi)IP地址的使用情況，管理員創(chuàng)建VM時候可以自動從地址池獲取靜態(tài)地址，刪除VM后自動釋放該地址。通過vCloud進行地址池的管理VAPP在數(shù)據(jù)中心的IP池上的自動分配IP地址最佳實踐10.

thinprovision的磁盤問題描述解決方案維護單位四川某運營商IT云需要部署和存儲硬件無關的瘦供給模式以節(jié)省空間，同時為了減少磁盤碎片以及對以往錯誤分配的厚供給的磁盤進行瘦身，必須經(jīng)常進行兩種格式的互相轉換；以虛擬機磁盤為粒度，提供細粒度的遷移能力通過StoragevMotion進行兩種磁盤存儲模式的互相轉換今天：兩個層次的thinprovision技術的選擇存儲硬件層虛擬化層VMVMVMFileFileFile存儲硬件層實現(xiàn)thinprovision存在的問題：虛擬機的空間回收磁盤碎片對高端存儲的依賴虛擬機內(nèi)文件的空間回收虛擬化層側集群文件系統(tǒng)如何解決這些問題？虛擬機的空間回收---vmdk磁盤碎片---storagevmotion對高端存儲的依賴---硬件無關虛擬機內(nèi)文件的空間回收---目前在VDI環(huán)境實現(xiàn)StoragevMotion下兩種模式的互相轉換最佳實踐11.

部署oracleRAC問題描述解決方案維護單位四川某運營商IT云、浙江某運營商增值業(yè)務云、廣東某運營商增值業(yè)務云、江蘇某運營商增值業(yè)務云在虛擬化環(huán)境部署部署OracleRAC，仍然需要保留vMotion的功能，并且必須避免隨機的讀寫錯誤采用共享磁盤的模式進行配置而不是采用共享總線的方式配置共享磁盤OracleRAC場景：云平臺上部署多個數(shù)據(jù)庫服務器，滿足數(shù)據(jù)庫服務器高可用需求解決的問題：云平臺如何透過云平臺的存儲虛擬化功能實現(xiàn)底層LUN的共享保障共享disk的前提下，仍能夠使用熱遷移、負載均衡的功能中國電信上海節(jié)點轉售BOSS一期上線3個省使用ORACLE12C服務器配置，UCS4404C*8core,256G內(nèi)存，總的庫容量在4T左右案例一：四川電信數(shù)據(jù)庫服務器虛擬化BillingOracle數(shù)據(jù)庫（國內(nèi)行業(yè)首家）全省分4個庫，計劃其中三個運行于VMwareVM，已上線2套物理服務器：IBMX3850(4路E7540/24CORE/128GRAM)存儲：HDS-VSP單臺VM：(18vCPU/118GRAM/12TB）單臺IO極大，峰值近600M字節(jié)/秒；CPU負荷不高；活動內(nèi)存占用低于30％考慮靈活性方便遷移，使用VMFSdatastore未使用裸映射（RDM)數(shù)據(jù)庫：Oracle11gR2；磁盤管理:ASM40案例二：四川電信數(shù)據(jù)庫服務器虛擬化信用控制OracleRAC數(shù)據(jù)庫全省分4套（每套2節(jié)點），計劃全運行于VMwareVM，已上線1套物理服務器：HPBL460刀片(2路E5620/8CORE/96G)存儲：HDS-VSP單臺VM：(8vCPU/88GRAM/2.3TB）使用VMFS共享磁盤，未使用裸映射數(shù)據(jù)庫：Oracle11gR2;磁盤管理:ASM41案例三：數(shù)據(jù)庫服務器虛擬化江蘇電信網(wǎng)上營業(yè)廳OracleRAC數(shù)據(jù)庫剛剛增加到4節(jié)點，全運行于VMwareVM，之前vmware未介入的時候是3個節(jié)點物理服務器：IBM刀片(4路/128G)存儲：IBM單臺VM：(8vCPU/32GRAM）裸映射RDM方式數(shù)據(jù)庫：Oracle10gR2;磁盤管理:ASMOracle數(shù)據(jù)庫虛擬化-江蘇移動RACDATA1-15200GParavirtualSCSI2:0,1,2,4,5,6,8.9,10,11,12,13,14,15lun0-14DATA16-18200GParavirtualSCSI3:0,1,2lun15-17部署了18個200G的數(shù)據(jù)磁盤，采用裸設備的方式.總容量達到3.6T。查詢速度，2000萬數(shù)據(jù)表表，第一次selectcount(*)的反應時間是12秒。

最佳實踐12.

云平臺下虛擬機大規(guī)模遷移、Clone的效率問題描述解決方案維護單位江蘇某運營商增值業(yè)務云大容量磁盤的VM，在克隆、存儲遷移的時候?qū)π实囊筝^高，為了避免對生產(chǎn)環(huán)境影響，需要較少的時間窗口目前購買的云資源池的存儲，均通過升級Firmware的方式支持VMwareVAAI，大規(guī)模的提升了遷移、克隆的效率（6倍以上）VAAI–低成本的云存儲加速利器vStorageAPIforArrayIntegration=VAAI重點解決3+1問題-快速的數(shù)據(jù)復制：clone、遷移-快速的數(shù)據(jù)格式化-縮小鎖的鎖定范圍-和硬件存儲thinprovision技術的合作-沒有額外的硬件成本

ApplicationHypervisorFabricArrayLUN

01LUN

02VI-3Non-VAAIVAAI最佳實踐13.

vSphere自動部署問題描述解決方案維護單位浙江某運營商增值業(yè)務云定制化服務器，沒有本地硬盤，必須使用無本地硬盤的遠程方式進行部署AutoDeploy的方式進行統(tǒng)一部署和升級最佳實踐14.

定制化服務器本地U盤的使用問題描述解決方案維護單位浙江某運營商增值業(yè)務云定制化服務器具有一個本地U盤，為了防止遠程啟動服務器的單點故障，想把本地U盤作為一個本地備份AutoDeploy的LocalCache模式最佳實踐15.

本地硬盤全部故障后云資源池的穩(wěn)定性問題描述解決方案維護單位四川某運營商IT云X86服務器本地用來安裝ESXi的硬盤全部故障，ESXi仍然要求能夠運行，并將VM在線遷移出來之后進行停機維護ESXi強大的硬件無關性最佳實踐16.

網(wǎng)絡的QOS設置問題描述解決方案維護單位江蘇某運營商增值業(yè)務云、某運營商IDC公有云虛擬化環(huán)境的VLAN內(nèi)的VM，發(fā)生病毒后大量發(fā)包，把整個帶寬都占滿了，堵死了其他VLAN的帶寬，以往的做法是發(fā)生故障后進行端口組限速，但是這種方法相應很慢，光定位故障VLAN就要花很長時間，建議能設定網(wǎng)絡QOS值，保證在發(fā)生爭用的時候自動調(diào)整帶寬虛擬交換層進行二層網(wǎng)絡的QOS設計，并且做成相對值，以放置做成絕對值后對日常性能的影響NETWORKIOCONTROL最佳實踐17.

服務器虛擬化軟件支持FCOE卡問題描述解決方案維護單位廣東某運營商IT云新型的CISCO/IBM服務器，均配置了FCOE的卡進行存儲和網(wǎng)絡連接，要求虛擬化軟件對這種板卡均進行支持支持最新型FCOE卡的驅(qū)動最佳實踐19.

端口鏡像：SPAN/RSPAN/ERSPAN問題描述解決方案維護單位北京某運營商公有云、江蘇某運營商增值業(yè)務云網(wǎng)絡行為分析系統(tǒng)、外包的銀行類需要審計類系統(tǒng)，需要對業(yè)務VM的所有流量鏡像后進行業(yè)務分析，需要虛擬網(wǎng)絡支持SPAN/RSPAN技術支持SPAN/RSPAN/ERSPAN等端口鏡像最佳實踐20.

netflow的功能問題描述解決方案維護單位廣東某運營商IT云虛擬化數(shù)據(jù)中心的東西向流量、各個資源池之間缺少有效的網(wǎng)絡分析能力：NETFLOW，要求支持最新的Netflow協(xié)議基于虛擬交換層進行東西向的NetflowNetflow配置示意圖最佳實踐21.

數(shù)據(jù)庫云：DataDirector問題描述解決方案維護單位江蘇某運營商增值業(yè)務云數(shù)據(jù)庫的部署耗時耗人力，需要數(shù)據(jù)庫專家進行部署，無法滿足業(yè)務上對數(shù)據(jù)庫部署的實效要求，數(shù)據(jù)庫升級補丁繁雜，容易出錯，需要一個高效的解決方案通過DataDirector支持Oracle數(shù)據(jù)庫的模板發(fā)布，更新升級。新業(yè)務，新應用：數(shù)據(jù)庫面臨挑戰(zhàn)成千上萬的失控數(shù)據(jù)庫分散的數(shù)據(jù)庫管理難以執(zhí)行公司策略不斷增長的基礎架構公司IT影子IT云應用的新需求利用虛擬化和云平臺的運營便利節(jié)約成本保護原有投資并選擇合適的云平臺備份請求創(chuàng)建或者克隆數(shù)據(jù)庫長時間等待數(shù)據(jù)庫的管理瓶頸數(shù)據(jù)庫數(shù)量持續(xù)增長，遇到管理瓶頸開發(fā)人員等待時間過長HA\DR升級復制性能調(diào)優(yōu)安全監(jiān)控測試數(shù)據(jù)庫云-部署環(huán)境計算資源：3臺ESXi服務器主機構建的集群（Cluster）資源池存儲資源：2個的共享存儲LUN，供所有3臺ESXi主機訪問網(wǎng)絡資源：根據(jù)vFDD網(wǎng)絡模型，準備相應的VLAN及IP地址段最佳實踐22.

vCops：高效的管理平臺問題描述解決方案維護單位江蘇某運營商增值業(yè)務云，浙江某運營商OSS云如果對多個vCenter的運行狀態(tài)進行管控。VCops的統(tǒng)一展示功能。多個vCenter的統(tǒng)一管理網(wǎng)絡&存儲常見問題！常見問題1：vSphere的虛擬交換機會進行MAC地址學習嗎？答案：不會。原因：Hypervisor知道其上運行的所有虛擬機的MAC地址，因此虛擬交換機不再需要進行mac地址學習常見問題2：vSphere的虛擬交換機會啟用STP協(xié)議嗎？拓撲1：Host上創(chuàng)建2個以上的vSwitch，每個vSwitch一個uplink。答案：不會。原因：這是最基本、最簡單的拓撲，所有的vSwitch只有一個上聯(lián)網(wǎng)卡，一個Host內(nèi)多個vSwitch之間是不允許互聯(lián)，所以所有的廣播報文到了vSwitch后如果目標mac地址不在vSwitch上，會自動丟棄該廣播報文，不會二次flooding。因此，對于vSphere來說沒有必要啟用STP和物理交換機進行BPDU的交互學習。VM0VM1vSwitchPhysicalSwitchesMACaMACbSwitchessendingBPDUsevery2stoconstructandmaintainSpanningTreeTopologyvSwitchdropsBPDUsBlockedlinkvSwitch常見問題2：vSphere的虛擬交換機會啟用STP協(xié)議嗎？拓撲2：Host上創(chuàng)建1個vSwitch，每個vSwitch通過2個以上的uplink和一臺或者多臺交換機互聯(lián)。拓撲2：不會。收：這個在vSphere里面被叫做Split-horizonforwarding（思科的術語叫做EndHostMode），其基本原理就是包的接收只通過一條uplink（具體是哪一條鏈路是根據(jù)vSwitch的LB機制選取的），收到廣播包后如果目標mac不在這臺Host上，vSwitch也不會再把包轉發(fā)給其他上行鏈路（停止flooding），這種過濾規(guī)則就防止了環(huán)路產(chǎn)生。發(fā)：對于vm產(chǎn)生的廣播包，vSwitch根據(jù)負載均衡算法只選取一條uplink發(fā)送給物理交換機,這樣就保障了外部網(wǎng)絡只會收到廣播包的單一來源，避免了環(huán)路常見問題2：vSphere的虛擬交換機會啟用STP協(xié)議嗎？物理交換機通過和虛擬交換機互聯(lián)的一條鏈路收到flooding信息后，會往除了原端口之外的其他所有物理端口發(fā)flooding，會形成環(huán)路嗎？答案：不會。ReversePathcheckbasedonsourceMACaddress這個時候vSwitch會檢查flooding包的源mac地址，如果這個mac地址屬于Host上的vm，vSwitch會主動丟棄這個flooding包常見問題3：VMware的文檔建議和ESXi連接的物理端口開啟Portfast/BPDUGuard？有什么用，是必須要開啟嗎？答案：itdepends。Portfast的作用是在STP的環(huán)境下，為配置Access接口的端口配置該功能，會讓該端口立即進入”ForwardingState”,從而加快整個二層環(huán)境的生成樹的收斂。如果ESXI上聯(lián)的物理交換機開啟了STP，建議相應端口開啟Portfast（雖然該端口是trunk端口，但是vswitch不參與STP），會提高上層交換機STP的收斂速度如果上層交換機沒有啟用STP，則不需要開啟portfast功能。備注：如果網(wǎng)絡管理員在連接其他物理交換機的端口上啟用portfast，則有可能產(chǎn)生環(huán)