金融行業新IT整合基礎架構解決方案基礎架構部署&打包應用架構開發流程私有數據中心物理機單體結構瀑布式運維外包虛擬機N層結構敏捷開發運維外包虛擬機N層結構敏捷開發云服務容器化微服務產品解決方案綱要?基礎架構核心—OpenStack核心EasyStack?基礎架構核心—容器云XX云?基礎架構核心—SDN銳捷?基礎架構核心—SDSXSKY分布式存儲?安全工具箱—業務連續性保障，備份容災Information2英方?安全工具箱—特權賬號管理CyberArk?安全工具箱—代碼白盒測試CheckMarxDevSecOps?安全工具箱—云網絡安全HillStone隔界?安全工具箱—云主機安全360安全?運維工具箱—監控與自動化運維AnsibleTower?運維工具箱—遠程接入VDIOpenShiftLinuxRedhat?運維工具箱—移動業務發布控制平臺國信靈通?培訓課堂—OpenStack系列培訓（入門，認證，高級規劃架構）?服務柜臺—OpenStack對接開發服務（Cinder傳統存儲系統對接，KeyStone身份認證對接，Ceilometer監控計費開發）OpenStack是精心設計的數據中心集成引擎提供從IaaS>>SwiftSwift云訪問服務API服務云管理服務存儲管理鏡像管理硬件管理策略管理存儲QoS虛擬機HA基礎架構管理API監控/計量虛擬監控存儲監控硬件監控網絡監控監控API遠程管理API安裝部署API身份管理認證管理權限管理身份管理認證管理權限管理升級管理通知管理X86云主機X86裸機容器小機云主機防火墻負載均衡VPNOpenStack原生功能云管理平臺增強功能云管理平臺增加功能OpenStack技術社區與EasyStackESCloud技術平臺DashboardZaqarZaqarSharedTroveSaharaComputeComputeNetworkingCongressNetworkingCongressGovernanceDeploymentDeploymentOpenStackOpenStackCoreServiceDashboardDashboardCinderStorageObjectCinderStorageObjectStorageOrchestrationContainerCeilometerContainerCeilometerTelemetryVmwareSupportAppCatalogOpenStackCommunityESCloudPlatformOpenStack解決方案在金融行業的實踐高可用架構實踐：?控制（HAProxy+Pacemaker+?存儲(Ceph多副本)備份及容災實踐?與Information2英方的全面集成（i2Mover虛擬機遷移，i2Avaliable高可用，i2Box對Cind?為郵儲、農信銀、銀聯用戶規劃和設計基于OpenStack備份及容災方案并推動落地云平臺基本能力實踐計算：Ironic裸機部署及多租戶增強（銀聯／興業Magnum增強-基于OpenStack的容器能力交付（興業二期，計劃農網絡：硬件SDN集成實施（銀聯：CiscoAPIC/華為AC；興業：華三VCF軟件SDN-Neutron調優（VXLANOffload,三級要求）網絡節點拆分部署（郵儲）成;Ceph的調優和開發統一圖形化運維工具（興業、銀聯、郵儲）單Region（數據中心）大規模部署架構設計及部署腳本開發（銀聯、郵儲）跨數據中心多Region部署（銀聯）除此之外金融行業用戶還常要求做的定制：Horizon除此之外金融行業用戶還常要求做的定制：Horizon/Keystone(LDAP&SSO&嵌套多級)/Ceilometer及Zabbix（短信告警，Ceilometer匯總至Zabbix，Zabbix對接用戶監控中心）/Glance(私有鏡像，鏡像的下載)/按應用組（NovaServerGroup）部署／操作行為日志的導出（審計）?內部私有云和面向外部的行業云統一部署（按OpenStackDomain規劃）?私有云工單與興業內部ITSM流程管理的對接?行業云工單事件及問題上報機制的定制化?行業云審批功能的定制化應用和解決方案應用和解決方案部API認證計費部API認證計費司司F,/用戶界面管理界面司司F,/用戶界面管理界面對象存儲公網IP文件共享備份路由器云硬盤網絡與子網對象存儲公網IP文件共享備份路由器云硬盤網絡與子網密鑰對密鑰對安全組鏡像云主機SDNControllerIntegrationCisco/H3C/Juniper/OpenDaylight…SDNControllerIntegrationCisco/H3C/Juniper/OpenDaylight…Vlan/Vxlan/GREESConnector混合云彈性專享云ESConnector混合云彈性專享云私有云/公有云/行業云安全監控與管理安全組方案特點全面監控開放API容器、虛擬機、物理機統一管理多級計費數據庫服務套件多級權限賬單管理大數據服務套件安全監控與管理安全組方案特點全面監控開放API容器、虛擬機、物理機統一管理多級計費數據庫服務套件多級權限賬單管理大數據服務套件大數據服務套件數據庫服務套件關系型數據庫關系型數據庫分布式緩存數據庫分布式緩存數據庫文檔數據庫文檔數據庫容器編排服務套件容器編排引擎容器編排引擎容器鏡像倉庫容器鏡像倉庫監控與日志監控與日志Zookeeper……Zookeeper……可視化資源編排多級權限、多級審批、多級計費多級權限、多級審批、多級計費虛擬云主機虛擬云主機VPC塊存儲VPC塊存儲配額審批物理云主機云平臺管理、監控、運維套件對象存儲配額審批物理云主機云平臺管理、監控、運維套件對象存儲混合云管理鏡像混合云管理鏡像負載均衡服務混合云管理套件文件存儲負載均衡服務混合云管理套件文件存儲專屬云專屬云ESCaaS快照快速交付物理隔離的專屬云服務存儲QoS快照快速交付物理隔離的專屬云服務存儲QoS快照與備份快照與備份新技術擁抱：ESCloud混合云實現?公有云作為OpenStack的單獨一個Region實現，便于界面的靈活自定義?整體操作和OpenStack保持基本樣的資源及其操作?采用adapter的方式，能夠管理多個公有云的資源?上層接受請求統一處理(如Instance資源相對應的請求交由同的Adapter進行具體處理?架構設計兼顧和多個公有云控制平面對接能力ESCloud組件及典型部署架構生產Private網Ceph存儲Storage網存儲CephPublic網光纖生產Private網Ceph存儲Storage網存儲CephPublic網光纖和計算節點(1-N)存儲節點(3-N)商業存儲 CephCephCephCeph ?控制節點：cephpublic-雙萬兆，public-雙萬兆，private-雙萬兆，management-雙千兆，pxe-單千兆(其中管理網和CephPublic網可合并)?計算節點：cephpublic-雙萬兆，private-雙萬兆，management-雙千兆,pxe-單千兆(其中管理網和CephPublic網可合并)?存儲節點：cephpublic-雙萬兆，cephstorage-雙萬兆,management-雙千兆,pxe-單千兆(其中管理網和CephPublic網可合并)?計算&存儲超融合節點：cephpublic,private,manag北京數據中心北京數據中心生產Private網和計算節點(1-N)存儲節點(1-N)Ceph存儲Storage網和計算節點(1-N)存儲節點(1-N) 光纖管理節點管理節點CentOS6.5CentOS6.5CentOS6.5CentOSCentOS6.5CentOS6.5CentOS6.5CentOS6.5CentOS6.5CentOSCentOS6.5CentOS6.5CentOS6.5CentOS6.5CentOS6.5CentOS6.5 廣州數據中心廣州數據中心XXXX計算發展遇到的問題及需求當前問題：基于OpenStackE版本開?用戶體驗：界面、操作?安全隔離：基于NovaNetwork難以做到靈活的組?性能：XEN和老版本OpenStack性能需要進一步提升?基于EasyStackESCloud為XXXX做OpenStack深度定制-XXXX云計算資源管理平臺（含源代碼、軟件可發布版本等）及實現其功能的輔助組件（如數據庫、消息隊列、分布式存儲等）-相關文檔：完成XXXX云計算資源管理平臺開發過程中的項目需求分析報告、項目實施方案報告，定期項目實施報告，項目完成報告等。?EnableXXXX云計算開發團隊（XXXX開發中心21人團隊）-持續的深層次培訓（技術、進階、開發類）-聯合開發，幫助建立XXXX自己的云計算開發團隊-項目一期：基于OpenStack版本升級及基本功能預研與應用，重點進行云平臺自動化安裝與部署；用戶及認證體系；計算、網絡、存儲虛實現對云計算資源的統一管理、保證平臺可操作性。興業數金“數金云”項目背景1.集中力量完成現有科技輸出業務的全面升級，建設國內領先的、符合銀行業監管標準的云1.集中力量完成現有科技輸出業務的全面升級，建設國內領先的、符合銀行業監管標準的云計算服務中心，構建面向銀行的云端服務，全面提升中小銀行科技服務水平。2.依托集團非銀金融機構的發展經驗，進一步擴展行業云服務的外延和內涵，為蓬勃興起的非銀金融以及各類新興互聯網金融企業提供云端信息服務，將銀行云升級打造為金融云。3.依托金融云、互聯網連結中小企業，通過資源整合、通過數據積累為中小企業提供更準確、更及時、更貼身的金融服務，從而把興業數金打造成為國內領先的普惠金融服務平臺，即普惠金融云。銀行業的市場份額。合金融服務解決方案，幫助眾多中小銀行實現了經營管理水平和市場競爭力提升。面（互）通合作銀行294家，聯結網點超過3.5萬個，支付結算總金額超過2.5萬億元。其中為中小銀行提供科技輸出一項，累計簽約客戶2﹣2015年12月，興業銀行和高偉達、金證科技、新大陸等數家公司共同投資設立興業數金公司，承接興業銀行“銀銀平臺”的科技輸出優勢，為中小銀行、非銀行金融機構、中小企業提供金融信息云服務。興業數金“銀銀平臺”概覽興業數金“數金云”平臺構建為滿足互聯網金融系統的應用特點，興業數金建設新型的、安全可靠、智能高效的云平計算臺。該云平臺必須技術先進，且適用于互聯網金融應用特性，適應互聯網金融業務對IT基礎資源彈性伸縮、高效變化的需求?！皵到鹪啤背跗诮ㄔO：測試云（興業內部生產云（興業內部和外部客戶<“數金云”當前承載：興業銀行聯互聯網金融業務（互金平臺、興生活、興財道、興支付等）、全網收單業務；行業云業務未來計劃：“銀銀平臺”上合作的中小銀行的互聯網金融業務、錢大掌柜、掌柜錢包等…EasyStack與興業數金在項目上的合作?基于EasyStackESCloud為興業數金構建“數金云”（測試云和生產云）-六個月的項目實施周期（一期包括ESCloud標準功能實施和OpenStack界面及功能定制-與興業數金客戶一起設計定制化功能，在確保OpenStack可升級性的前提下豐富所需功能u一期包括（2017年2月底實現）：UI界面定制化（數金風格）監控類需求定制化（短信告警Ceilometer監控導入Zabbix，Grafana做展示）計費類需求定制化（行業云要求：On-Demand&Pre-Pay&多計價單）流程管理類需求定制化（行業云要求：審批&工單&事件和問題）組織架構類需求定制化（行業云要求：多層級組織架構）?Enable興業數金運維團隊能力-持續的深度培訓-建立完善的運維支持體系?深度的戰略合作打造金融行業云u二期規劃（預計2017年3月啟動）：用戶體驗持續優化：e.g.界面操作、統計報表、彈ITSM系統的對接（服務于內部的私有云資源池）公有云對接（國外：Azure；國內選1～2家）容器及容器編排功能（ContainerasaService）物理隔離的高SLA專屬云（CloudasaService）應用服務商店功能引入（有共性的行業特色應用）數據庫即服務（DBaaS）功能的引入備份功能的完善和容災方案的引入ESCloud云平臺：監控－虛擬機的監控?核心技術實現－OpenStackCeilometer?指標項：CPU/Mem/Disk/NetworkESCloud云平臺：監控－虛擬機的監控使用百分比讀速率接受數據包發送數據包實時、天、周、月、年ESCloud云平臺：監控－物理機的監控?核心技術實現－Zabbix?監控點：計算、網絡、存儲物理節點資源及健康狀態；OpenStack服務狀態；Ceph集群狀態ZabbixZabbixAgentZabbix andAgentESCloud云平臺：監控－物理機的監控RedisorKafkaTransportlogIngestandtransformSearchandanalyzeVisualizeELK日志系統框架ELK日志系統框架?Elasticsearch：是一種全文的、實時的搜索和分析引擎，它存儲通過Logstash索引的日志數據。它構建于ApacheLucene搜索引擎庫之上，通過REST和Javaapi來公開數據。Elasticsearch是可擴展的，構建它是為了供分布式系統使用它?Logstash：日志收集插件實現多種日志收集方式,通過filter過濾插件,結構化事件.?Kibana：基于Web的圖形界面，用于搜索、分析和可視化存儲在Elasticsearch指標中的日志數據。它利用Elasticsearch的REST接口來檢索數據，不僅允許用戶創建他們自己的數據的定制儀表板視圖，還允許他們以特殊的方式查詢和過濾數據全局考慮云平臺安全體系的構建從OpenStack看云安全的實現+SecureKeyStorage(Neutron)(Barbican)(Neutron)Metering(Ceilometer)Metering(Ceilometer)從ESCloud平臺安全體系建立看安全的實現-源于OpenStack基礎安全體系，實現立體化的系統安全防護分層次設計，按功能劃分控制，漏洞掃描），以及“事后”安全（如審計、隔離，殺毒等）?與平臺互聯互通的安全實現（結合第三方網絡安全組件）?運行于平臺之上的虛擬機安全和應用的安全（結合第三方安全組件）?風險控制和預判?安全管理規范和體系的建立ESCloud云平臺：多租戶多級權限及多級配額審批可以更改任意一級的配額需要系統管理員批準需要企業管理員批準項目配額變更需要部門管理員批準普通用戶申請配額變更需要上級審批APPAPPAPPOSOSOSAPPAPPAPPOSOSOSAPPAPPOSOSAPPOSAPPAPPAPPOSOSOSAPPAPPAPPOSOSOSAPPAPPOSOSAPPOSAPPAPPOSOSAPPAPPOSOSAPPAPPOSOSAPPAPPOSOSAPPAPPAPPOSOSOSAPPAPPAPPOSOSOSAPPAPPAPPOSOSOSAPPAPPAPPOSOSOSAPPAPPAPPOSOSOSAPPAPPAPPOSOSOSAPPAPPOSOSAPPAPPOSOSAPPAPPOSOSAPPAPPOSOSAPPAPPAPPOSOSOSAPPAPPAPPOSOSOSAPPAPPAPPOSOSOSAPPAPPAPPOSOSOSAPPAPPOSOSAPPAPPOSOSAPPAPPOSOS精細化資源管理樹形框顯示企業組織架樹形框顯示企業組織架構理ESCloud云平臺：工單系統增強集成工單系統：幫助用戶解決問題管理和問題跟蹤難題重新激活工單否重新激活工單否是是!提交工單提交上級提交上級提交上級提交上級提交上級集成即時通信工具集成即時通信工具記錄與追溯處理過程工作流程跟蹤工作流程跟蹤待辦事務提醒待辦事務提醒支持上傳附件支持上傳附件關于容災：異地主備數據級災備災備管理控制臺：災備管理控制臺：站點信息及災備后臺狀態監控、高可用組配置、災備切換設置、工作進度及日志U控制臺觸發U控制臺觸發ΘΘ災備切據和Volumes及相關映射項對應及手工拉起向導U加入U加入/退出高可用組CollectAgentCollectAgent心MySQL獲取元心MySQL獲取元數據及定期獲取ΘInsert完成上報CollectAgent信息定期上報信息定期上報URBDMirroringJournal方式數據復制信息定期上報信息定期上報URBDMirroringJournal方式數據復制主數據中心Ceph集群Pools關于容災：異地“雙活”互備數據級災備災備管理控制臺：站點信息及災備后臺狀態監控、高可用組配置、災備切換設置、工作進度及日志UU數據中心數據中心AUUUUUU數據中心B災備服務Θ災備切數據中心B災備服務Θ災備切據和Volumes及相關映射項對應及手工拉起向導旮旮旮旮固固ΘΘΘ囚Θ囚信息定期上報URBDMirroringJournal方式數據復制信息定期上報URBDMirroringJournal方式數據復制關于容災：網絡切換設計數據級災備包括兩個方面：數據同步和災備切換。數據同步是災備的前提。在保證數據同步基礎上，要實現災備業務切換，還要能實現災難發生時的網絡切換和應用切換。應用級災備要求提供冗余的網絡線路和設備。正常情況下，客戶端通過生產中心的業務網絡訪問生產中心的應用服務器；在發生災難時，通過網絡切換，客戶端能夠訪問到災備中心的備用服務生產中心和災備中心主備應用服務器的IP地址空間相同，客戶端通過唯一的IP地址訪問應用服務器。在正常情況下，只有生產中心應用服務器的IP地址處于可用狀態，災備中心的備用服務器IP地址處于禁用狀態。一旦發生災難，管理員手工或通過腳本將災備中心服務器的IP地址設置為可用，實現網絡訪問路徑切換。在這種方式下，所有應用需要根據主機名來訪問，而不是直接根據主機的IP地址來訪問，從而通過域名實現網絡切換。（3）基于負載均衡設備的切換通過在服務器集群前端部署一臺負載均衡設備，根據已配置的均衡策略將用戶請求在服務器集群中分發，為用戶提供服務，并對服務器可用性進行維護。負載均衡能夠按照一定的策略分發到指定的服務器群中的服務器或指定鏈路組的某條鏈路上，調度算法以用戶連接為粒度，并且可以采取靜態設置或動態調配的方式。負載均衡設備能夠針對各種應用服務狀態進行探測，收集相應信息作為選擇服務器或鏈路的依據，包括ICMP、TCP、HTTP、FTP、DNS等。通過對應用協議的深度識別，能夠對不同業務在主生產中心和災備中心之間進行切換。關于容災：云從應用層考慮的容災設計跨數據中心局管理或應用結合負載均衡和數據復制等技術實現全局高可數據中心場景無中斷遷移；?SDN實現Underlay和Overlay層網絡集中管理和自動化運維；可視化；?基于租戶的安全隔離和資源分配；按需分配；XSKY對Ceph的增強持續服務與在線運維?在線插拔光纖不中斷?插拔硬盤實時告警XSKY產品線超融合部署架構資源池分離部署架構i2Software英方軟件英方云i2Distributori2Availability英方一體機i2COOPYi2Backup技術原理字節級復制應用INFO2SOFT操作系統硬硬