ZZ互聯網為互聯網而生2016年1月云計算方案——匯報1、項目總體架構描述——系統現狀分析WEB前端服務器易耗CPU，內存需求小，對磁盤大小及性能要求不高緩存服務器除了對內存需求較大，對其他資源需要不多中間件服務器對cpu要求不高，內存需要偏大，對磁盤空間及性能要求不高應用服務器通常對cpu，內存，磁盤沒有特別需求，需求可大可小，對磁盤性能要求不高提供全面快捷的資源服務新華網云數據中心技術支撐類基礎業務類報道支撐類社交應用類數據中心運營服務類數據庫服務器對cpu、內存、磁盤性能、網卡性能都需要較多資源。對磁盤大小需求不多存儲服務器需要多組服務器做分布式存儲，用于NAS、對象存儲負載均衡器F5，A10等第三方硬件；外圍邊界軟硬件設備應急制定類基礎設施類大數據業務類1、項目總體架構描述——系統總體需求業務需求技術支撐類基礎業務類報道支撐類社交應用類運營服務類應急定制開發基礎設施類大數據業務類功能需求架構及虛擬化功能需求管理功能需求兼容性與擴展性功能需求可靠性功能需求性能需求虛擬機性能要求存儲性能要求網絡性能要求關鍵技術需求利舊與兼容需求云平臺管理私有云和公有云支持多租戶統一運維運營管理平臺擴容機制系統總體需求跟蹤安全需求云平臺外層防護需求云平臺內部防護需求云安全應用需求2、需求分析需求分析計算資源分析存儲資源分析資源管理分析PAAS平臺分析大數據分析安全分析現有設備分析虛擬化環境資源統計存儲容量和性能分析運維自動化服務編排封閉開發架構缺乏支撐能力安全隱患未整合數據采集東西向安全南北向安全根據實際業務增加相應部件升級2、需求分析——安全分析隨著云計算的迅速崛起，云安全也越來越備受業界的重視。云安全聯盟CSA發布的《十二大云安全威脅》報告給出了十二種云安全的嚴重威脅：數據泄露、憑證被盜和身份驗證如同虛設、界面和API被黑、系統漏洞利用、賬戶劫持、惡意內部人士、APT寄生蟲、永久的數據丟失、調查不足、云服務濫用、拒絕服務（Dos）攻擊、共享技術，共享危險。公司硬件資源總體情況新華網安全現狀云外層基礎建設云平臺內部需求分析云安全應用與運維公有云與私有云銜接安全分保安全需求涉密信息系統也按照秘密、機密、絕密三級進行分級管理等保安全需求對物理層、系統層、網絡層、應用層、管理層多個維度進行防護企業安全要求保護自己的資產業務流不受攻擊傳統安全挑戰一：租戶安全挑戰二：虛擬化安全挑戰三：運維管理安全新增挑戰云安全3、總體方案設計——建設目標總體建設目標統籌規劃、整合現在技術系統資源，全面打造可持續提供基礎設施、平臺和應用三種服務形式的云計算平臺。實現資源的按需分配、按需擴展，實現系統從粗放型分散建設向集約型云計算模式轉變，最終形成統一的以“信息集成、資源共享”為特色的云計算管理平臺和云計算服務平臺。總體建設內容1、可以實現將新華網的硬件資源重新進行統一管理、統一分配、統一部署、統一監控和統一運維。實現業務系統硬件資源的一鍵式分配，縮短系統搭建周期。2、完成云平臺的分區分層分級設計和建設，實現不同區域資源規劃和安全隔離，實現云運營、云管理、云運維、云安全、云應用等模塊的標準化、流程化、可視化。3、實現自建云計算平臺與公有云的資源共享和融合，通過對自建云計算平臺和公有云進行統一管理，實現資源和服務之間的互通、動態調度、必要數據的相互備份等。3、總體方案設計——建設原則總體策略實用性、先進及成熟型、高可用及高可靠性、用戶體驗及可維護型、經濟性、兼容及擴展性、開發性、安全性融合計算、存儲、網絡、數據、應用資源安全可信、可靠按需擴展伸縮兼容開放綠色節能可用性先進性可維護性實用性經濟性激發創新、循環生態安全性擴展性3、總體方案設計——總體架構設計總體架構設計拓撲3、總體方案設計——總體功能設計功能架構圖3、總體方案設計——資源池分區規劃資源池分區邏輯架構新華網云計算數據中心邏輯架構分為基礎設施層、虛擬資源池、物理資源池、Docker資源池、安全管理區和運維管理區組成。邏輯架構圖如下圖所示：3、總體方案設計——資源池分區規劃容量性能測算按照虛擬CPU與物理CPU的整合比為1:1，每臺物理服務器CPU可用量為80%計算，內存整合比也為1:1，可用容量為80%。物理服務器內存（GB）=虛擬內存（GB）/0.8物理服務器總CPU=vCPU*虛擬機數量/0.8IT資源類型建議云虛擬環境虛機需求數量物理服務器資源總量vCPU內存(G）本地磁盤(G)CPU內存(G）存儲容量WEB前端區10101001722150215017200緩存服務區432100168840672016800中間件區6162004303225860086000應用服務區4820082241108220164400數據庫1型區83220027827801112055600數據庫2型區43220031015501240062000虛機資源匯總

000所需物理機數量預估218

3、總體方案設計——計算資源規劃設計計算資源池化設計3、總體方案設計——計算資源規劃設計計算資源分析IT資源類型主機資源需求特點虛擬機數量集群數量物理服務器WEB前端區整體資源消耗不高，對于CPU和網絡有中度需求，內存需求較小，對于磁盤容量和IO要求很小。17222緩存服務區CPU需求較低，內存容量需求較高，對網絡小包轉發能力要求較高。16821中間件區整體資源消耗適中，對于CPU、網絡要求不高，對內存要求高，對于磁盤容量和IO要求很小。43027應用服務區各方面資源比較均衡82252數據庫1型區CPU和內存需求相對較高，需要非常好的磁盤IO性能。27835數據庫2型區CPU需求較低，內存容量需求較高，對網絡小包轉發能力要求較高。31020大數據區CPU要求低，需要大內存，對磁盤存儲空間要求較高，但對磁盤的隨機IO能力要求不高。100PAAS平臺區各方面資源比較均衡16運營運維管理區對CPU、內存要求較高，對于磁盤容量有要求，網絡要求適中1計算+網絡密集型計算密集型計算密集型+順序I/O計算密集型+隨機I/O計算密集型計算密集型計算密集型3、總體方案設計——計算資源規劃設計計算資源部署設計命名規范虛擬數據中心命名規范集群命名規范物理主機命名規范虛擬主機命名規范虛擬主機規劃整體規劃虛擬主機配置規劃虛擬機管理虛擬機創建虛擬機配置虛擬機遷移虛擬機擴容物理主機規劃集群架構設計集群設計原則資源需求原則物理服務器管理BIOS設置內存設置I/O設置3、總體方案設計——計算資源規劃設計服務器利舊分析服務器型號配置利用原則HPDL380Gien92*E52630V3/16GB/300GBSAS10K/4端口千兆網卡/500W電源可用于WEB服務器、緩存服務器使用HPDL380Gien92*E52630V3/16GB/480GBSATASSD+1TB12GSAS7.2K2.5/4端口千兆網卡/500W電源可用于數據庫1型區使用DELLR7302U機架式服務器，帶可調節機架安裝導軌，2顆

IntelXeonE5-2630v3CPU,6塊熱插拔2.5寸1T7.2KSAS希捷硬盤和2塊2.5寸480G固態硬盤；128GB（8×16GB）DDR42133MHzRDIMMsECC內存,PERCH730PRAID卡2GB緩存,4端口千兆Inteli350網卡,熱插拔冗余電源，單電源功率495,內置iDRACExpress設備遠程管理控制卡1塊,整件產品5年原廠售后服務。可用于數據庫1型區使用DELLR7302U機架式服務器，帶可調節機架安裝導軌，2顆

IntelXeonE5-2630v3CPU,8塊熱插拔2.5寸300G10KSAS希捷硬盤；128GB（8×16GB）

DDR42133MHzRDIMMsECC內存,PERCH730PRAID卡2GB緩存,4端口千兆Inteli350網卡,熱插拔冗余電源，單電源功率495,內置iDRACExpress設備遠程管理控制卡1塊,整件產品6年原廠售后服務。WEB服務器、緩存服務器使用DELLR7302U機架式服務器，帶可調節機架安裝導軌，2顆

IntelXeonE5-2630v3CPU,8塊熱插拔3.5寸4T7.2KSAS希捷硬盤,2塊7.2K2.5寸

SAS1TB；128GB（8×16GB）DDR42133MHzRDIMMsECC內存,PERCH730PRAID卡2GB緩存,4端口千兆Inteli350網卡,熱插拔冗余電源，單電源功率495,內置iDRACExpress設備遠程管理控制卡1塊,整件產品7年原廠售后服務。開發測試類使用DELLR7302U機架式服務器，帶可調節機架安裝導軌，2顆

IntelXeonE5-2630v3CPU,12塊熱插拔3.5寸4T7.2KSAS希捷硬盤和2塊2.5寸1tb后置；128GB（8×16GB）DDR42133MHzRDIMMsECC內存,PERCH730PRAID卡2GB緩存,4端口千兆Inteli350網卡,熱插拔冗余電源，單電源功率495,內置iDRACExpress設備遠程管理控制卡1塊,整件產品8年原廠售后服務。分布式存儲、大數據使用DELLR7302U機架式服務器，帶可調節機架安裝導軌，2顆

IntelXeonE5-2630v3CPU,12塊熱插拔3.5寸4T7.2KSAS希捷硬盤和2塊2.5寸1TB后置；128GB（8×16GB）DDR42133MHzRDIMMsECC內存,PERCH730PRAID卡2GB緩存,4端口千兆新華網云計算平臺需求22Inteli350網卡,SFP+萬兆Intel網卡，熱插拔冗余電源，單電源功率495,內置iDRACExpress設備遠程管理控制卡1塊,整件產品9年原廠售后服務。分布式存儲、大數據使用所有利舊設備都需要增減配部件3、總體方案設計——存儲資源規劃設計根據目前新華網需求情況，針對現有環境，本次新華網云計算平臺將采用專業分布式存儲系統作為新平臺建設的NAS、對象池使用，結合多副本、糾刪碼保護方式，客戶端、標準NAS、對象、HDFS、S3、Swift等多協議支持方式，提供完善的數據存儲服務。存儲系統的拓撲架構新改造后的系統架構3、總體方案設計——存儲資源規劃設計全新分布式對稱架構選用8臺4U36盤位節點組成集群，每個節點SSD作為分層加速磁盤，其余35塊選用4TBNL-SAS磁盤，整體裸容量達到4TB*35*8*0.93=1041.6TB≈1PB裸容量，如果是雙副本情況下，容量將達到500TB左右實際有效可用空間；對于糾刪碼保護方式，采用4+2的節點故障域計算方式，可用容量將達到66%，可用容量達到687.06TB，并且可以保證兩個節點損壞數據不丟失，業務不中斷，單節點內磁盤損壞直接自動修復（只要有剩余空間）。根據目前市場主流分布式存儲產品性能對比，整體分布式存儲系統在連續讀寫場景下，單節點最高性能應達到1GB/s以上，8節點整體性能可達到5GB/s以上帶寬，近線性提升。3、總體方案設計——存儲資源規劃設計按需擴展，按需購買性能容量按需擴展，按需購買線性增長，可預期，可獲得數據均衡分布，消除熱點堆疊擴展，3分鐘完成單節點擴容性能容量3、總體方案設計——存儲資源規劃設計數據冗余保護糾刪碼技術針對近線存儲數據池中非常有效。存儲系統還支持糾刪碼K+2:1規則設置。即可以支持2塊硬盤故障或者1個節點故障。這種保護方式在節點數量少于K+2的小容量系統中非常有效。例如，三個節點的集群，可以配置2+1的糾刪。但是不可以配置4+2的糾刪，因為4+2>3（且4+2<=2*節點數）個節點數。此種場景下，可以配置4+2:1的糾刪。4+2:1的糾刪冗余可以支持單個節點故障，或者任意兩個節點同時各壞一塊磁盤的故障。3、總體方案設計——存儲資源規劃設計疑問存儲：ZZ存儲是自研的還是用的誰家的（例如哪家開源的產品）在存儲這里沒有寫如何利舊，希望得到一個總體的拓撲圖將利舊和新購同時畫在圖里3、總體方案設計——資源管理規劃設計云平臺部署用戶環境分為內網區和DMZ區，為保證內部數據安全，本次方案中租戶端節點部署在DMZ區，方便AD用戶直接訪問租戶端，進行業務的申請及資源調用，考慮到雙網隔離，租戶端建議部署在物理機上，物理機配置如下：ISM節點詳細說明服務器硬件處理器隨部署拓撲決定，至少4核網卡至少2塊網卡硬盤無要求內存隨部署拓撲決定，至少4G內存網絡管理網、業務網主控節點部署在內網區，本次方案中部署在虛擬機上，主機配置如下：主控節點配置詳細說明硬件配置處理器隨部署拓撲決定，至少8核網卡至少2塊網卡硬盤大容量，最好上TB內存隨部署拓撲決定，至少16GB內存網絡管理網3、總體方案設計——資源管理規劃設計虛擬化對接物理機對接新華網前期已部署KVM虛擬化，采用煙囪式管理方式，給后期的運維管理帶來困難，本次新增虛擬化設備，包括web前端服務區、緩存服務區、中間件服務區、應用服務區以及數據庫服務區，大量虛擬化設備以及不同的虛擬化平臺需要統一管理。用戶先期采購大量物理設備，包括服務器、存儲、網絡和安全等，設備廠商不一，包括Dell、華為和ZZ等，本次方案建設將所有物理設備進行統一管理。3、總體方案設計——資源管理規劃設計Ceph對接AD域對接3、總體方案設計——PAAS平臺方案設計平臺服務應提供云中間件與云應用的自動化部署、彈性調度、服務化管理、運行監控以及開發交付等功能，支撐新華網應用整合及創新。平臺服務應包括彈性運行環境、基于云計算和分布式技術的中間件服務以及開放服務接口，為各種規模和各種類型的云應用，提供松耦合、高效和高可用、高度可伸展、安全可靠等特性的應用支撐環境。3、總體方案設計——PAAS平臺方案設計3、總體方案設計——PAAS平臺方案設計大數據處理平臺面臨業務的復雜性、多樣性、數據量大、以及各種業務數據處理時間要求的不一致性，僅靠單一的產品無法滿足業務需求，組合使用，效果更佳3、總體方案設計——大數據方案設計3、總體方案設計——包含大數據服務的新華網PAAS平臺搭建IaaSPaaS物理資源SaaS統一服務交付MPP數據庫內存數據庫軟件定義計算軟件定義存儲軟件定義網絡Hadoop開放架構應用商店應用平臺云管理平臺容器即服務Web應用關系數據庫對象存儲消息隊列流程類應用交易類應用分析類應用創新應用…3、總體方案設計——大數據方案設計疑問大數據需要為客戶詳細寫出：總體架構圖拓撲圖邏輯什么哪些是用過云來實現，那些是通過裸機來實現PASS平臺能實現那些功能，如何實現，這些功能是二次開發還是購買一些組件攢的？還是兩者都有。需要詳細給出3、總體方案設計——安全方案設計ZZ云安全解決方案VM間通信安全虛擬機防病毒終端/租戶安全應用安全數據安全虛擬化平臺安全系統安全物理與環境安全網絡安全虛擬機鏡像安全北南西東信息流數據庫安全審計加固系統（ZZSDP）主機安全加固系統（ZZSSR）安全應用交付系統（ZZSSA）——負載均衡安全運維管控系統（ZZSSC）——堡壘機云形態下，所有的物理資源均資源池化，用戶共享計算、存儲、網絡等資源，那么需要在硬件上安裝虛擬化等系列軟件，對黑客來說多了層攻擊的面，及虛擬化平臺安全虛擬化安全？云環境下，租戶隨時隨地均可接入訪問資源，那么接入租戶的身份認證及訪問資源是否有合法權限Hypervisor安全VM安全ZZ的產品定位Hypervisor安全（SSR-V加固，業內唯一）VM加固3、總體方案設計——安全方案設計物理安全系統安全虛擬化安全數據安全應用安全租戶安全ZZInCloudSecurity系統架構機房監控物理資源服務器監控檢查主機系統加固（SSR-P）主機病毒防護Hypervisor強制訪問控制虛擬機加固虛擬機防病毒管理數據庫加固數據防泄密應用審計/防火墻抗DDOS攻擊應用業務監控租戶身份認證租戶隔離云應用交付說明：ZZ安全產品全面云化ZZ安全產品已融合到InCoudManager里，各安全產品作為ICM的安全Option選件ZZ產品合作伙伴產品InCloudManager安全運維ZZ云安全體系3、總體方案設計——安全方案設計疑問安全部分主要解決哪些問題安全功能是買的還是ZZ自行開發的如何實現這些功能5、運維方案設計系統管理資源管理混合云管理業務管理智能監控運維管理安全管理5、運維方案設計——核心價值云主機云硬盤云物理機云盤云負載均衡云桌面云備份云防火墻云服務交付業務支撐管理運維全面監控展示拓撲性能管理日志報表部署管理系統配置組織劃分業務流程資源計量計價計費資源管理資源審批InCloudManager5、運維方案設計疑問：6、運營管理方案設計——云服務交付云服務器

即租即用、彈性擴展的主機服務，提供豐富硬件配置和操作系統云桌面自服務模式申請云桌面環境，提供可移動的辦公環境云盤提供文件的網絡備份、同步和分享，空間大、速度快,并提供多終端訪問負載均衡提供安全的鏈路負載服務，提升業務的訪問效率物理云主機

提供最卓越的計算性能，滿足高性能場景，可與云產品靈活結合使用服務目錄：資本能力+資源能力+成熟云產品操作系統agent應用應用模板創建虛擬機選擇應用模板及軟件列表…6、運營管理方案設計——計費管理在計費管理模塊設計中，管理端和用戶端有不同的交互界面。管理端可進行資源單價、計費等級、組織余額等信息進行查詢設置，另可設置欠費提醒方式及余額提醒等人性化服務：計費管理設計需要實現的體系結構分為業務邏輯層、業務支撐層與數據支撐層。7、產品選型——服務器選型資源均衡型WEB、緩存、中間件業界頂級水平SA5212M4IO密集型數據庫1型、Oracle業界頂級水平SA5212M4存儲容量型大數據、分布式存儲業界頂級水平SA5212M47、產品選型——服務器選型推薦方案利舊方案推薦配置7、產品選型——存儲選型分布式存儲系統配置表選型依據：新華網目前存儲數據較大，對功耗、空間都有較高要求，故本次存儲系統采用較高密度的4U36盤位存儲節點。節點間內部互聯選用萬兆光口交換機，對外提供服務依然采用新華網現有千兆網絡。7、產品選型——安全設備選型ZZSSA：安全應用交付系統Internet數據庫服務器存儲系統MicrosoftLinuxUnixSolarisWebSphere應用服務器安全管理安全審計運維管理中心開發、第三方運維人員ZZSSC：運維安全管控系統ZZSSR：主機安全增強系統ZZSDP：數據庫審計安全加固系統7、產品選型——虛擬化選型Hypervisor高效穩定的虛擬化計算Efficiency&StableSDCVMVMVMVMVM高性能高可靠易用性單物理機整合比200–1000內存預讀，VM啟動提升5倍vGPU圖形運算加速管理節點高可用主機宕機保護：高可用HA業務連續：FT容錯保障分鐘級單物理機部署DRS實現資源智能自動調度安全性Hypervisor加固，VMM可信主動安全策略，鏈路加密專業的第三方災備和安全集成企業級軟件定義計算

7、產品選型——虛擬化選型功能豐富，提供最佳用戶體驗HAvMotionStoragevMotion管理節點高可用虛擬機快照虛擬機備份網卡多鏈路業務連續性vCPU綁定DRSvAPPNUMA巨型虛擬機存儲QoS網卡QoS分布式交換機鏈接克隆高效性CPU、內存、磁盤熱添加一鍵安裝部署角色權限管理全VM生命周期管理性能監控和趨勢分析易用性P2VV2V標準OVF支持多版本操作系統支持OpenStack、CloudStack支持開放性7、產品選型——云管理平臺選型PrivateCloudPublicCloud開放融合的云服務與混合云管理Open&FusionManagerInCloud?ManagerInCloudOpenStack高性能單一數據中心，5k+物理機，20K+VMs，任務并發10K量級多數據中心，20k+物理機

，10+數據中心7大類資源監控：服務器、存儲、網絡、操作系統、中間件、數據庫、業務應用20,000項監控項：數據中心全面監控高可靠微服務架構，分布式擴展無狀態設計，與成熟災備方案無縫兼容99.99%可用性易用BS架構，web客戶端接入服務編排與服務器自動化，自動化管理多種客戶端支持，隨時隨地管理企業級的云管理平臺-InCloudManager異構的硬件、虛擬化、系統，和應用，業界最完整的異構資源管理客戶價值避免廠商鎖定，提高客戶議價空間利舊已有虛擬化基礎設施，降低整體采購成本監控運維效率的提升，帶來人力成本的下降異構管理統一云化硬件兼容異構虛擬化全面監控既有虛擬化環境平滑遷移服務器、存儲、網絡、安全設備、中間件、數據庫等ZZ和其它主流廠商服務器、存儲設備、網絡設備等InCloudSphere、vShpere、XenServer、KVM、PowerVMSDDC資源統一管理企業級的云管理平臺-InCloudManager7、產品選型——云管理平臺選型數據中心無人值守，業界領先的自動化運維狀態監控全數據中心覆蓋：服務器，存儲網絡、安全、中間件、數據庫、WEB服務等狀態展示拓撲圖、故障分布圖、實時監控告警管理自定義告警多種告警方式軟件倉庫軟件批量部署和自動分發部署管理應用軟件部署管理遠程運維遠程命令和任務執行巡檢服務巡檢計劃、巡檢任務、巡檢報告客戶價值智能的運維，快速定位系統問題，提高運維管理效率實時了解IT系統運行情況，異常情況預先告警，有效降低業務宕機風險軟件簡單易用降低系統使用復雜度，節省人力資源投入配置管理應用配置管理導入導出自動運維智能監控分析告警便捷運維軟件部署故障分析應用軟件部署管理告警管理自定義告警多告警方式企業級的云管理平臺-InCloudManager7、產品選型——云管理平臺選型面向客戶業務，提供業界最靈活服務交付客戶價值提供與業務匹配的組織和管理，提高審批效率，提升IT系統服務水平幫助數據中心實現由成本中心向價值中心的轉變服務交付業務交付資源交付資源管理計量計費業務上線業務快速上線：應用服務、模板庫靈活服務異構資源、負載均衡資源計量資源的量化和設置計費管理

租戶資源使用計價計費報表管理豐富多樣的展現形式資源服務虛擬機、云硬盤、云網絡、防火墻等審批管理自定義審批節點組織管理組織、部門、資源角色關系企業級的云管理平臺-InCloudManager7、產品選型——云管理平臺選型異構資源池面向客戶業務，提供可伸縮彈性云服務客戶價值應對業務突發資源峰值需求資源合理調度和分配，資源價值最大化節省投資資源彈性VDC集群虛擬機負載均衡vCenterServerIncloudSphereIBMPowerVMXenServerOpenstackInCloudManager組織AVDC1VDC2VDC3組織BVDC1VDC2VDC3自動化編排及抽象服務基于業務感知的調度服務資源等