1、魅族基礎系統架構運維之路運營現狀0102發展歷程目錄03前言04系統運維的未來前言2015年應用商店現有超過100萬款 應用應用總下載量超過100億營收能力同比增長12倍服務器規模數百到數千2016年游戲平臺累積超過3000 萬用戶，同比增長150%月活躍程度超過1200萬58004000600005000100002011201420152016魅族服務器發展歷程發展歷程運營現狀目錄010203前言04系統運維的未來發展歷程2011啟程第一個IDC在廣 州亞太建立，系 統運維之路開啟2014.6質量CMDB、告警平臺、 RSA Token-堡壘機、 機型配置標準、OS標準、供應商管理標準等2

2、015.12效率變更管理 巡檢平臺自動化管理平臺2016.6流程生命流程閉環、利舊、 改造，打造運營平臺 工單系統實現流程聯 動、事件系統成本服務器運營 容量系統 營收平臺Flyme內部結算填坑、標準化自動化未來混合云運營數據化流程化遠古時代 2011-2011.12機房規模機柜：1個機房穩定性服務器：5臺監控缺失業務：2個人力：開發兼職運維問題架構單點石器時代 2012.1-2014.6APPDR LVSPHP、Java、Cmysql、mongodb、 MFS服務器/VM網絡V1.0業務架構接入層邏輯/展示層數據存儲層IDC基礎VPN運維架構Nagios,Cacti監控腳本工具實現 自動化運

3、維KS+CobbleriDRACExcel資產管 理運維管理IDC管理石器時代 2012.1-2014.6IDC：1個 機柜：30個服務器/vm：800臺 業務：100個人力：運維12個機房規模問題和解決 方案去IOE、建立云平臺遷移機房、資源冗余、 CMDB新網絡架構、帶寬冗余IBM、EMC、Vmware機房資源不足、擴容難、 資源管理問題網絡不穩定 活動日流量突增DB壓力手工部署操作、監控 不完善、監控覆蓋率低安全性低使用SSDansible、zabbix 監控定時巡檢RSA、WAF、DDoS流量清洗青銅時代 2014.7-2015.12APPPHP、Java、C、 C+、GolangMy

4、sql、redis、mongodb、MFS、FastDFS、HDFS服務器/KVM網絡V2.0業務架構接入層邏輯/展示層數據存儲層IDC基礎VPN+多機房運維架構Zabbix監控 BI監控發布平臺裝機平臺RSA 堡壘機CMDB資產 管理IDC管理DR LVSHAProxy告警系統自動化工具 Ansible域名平臺云管理平臺運維管理WAF青銅時代 2014.7-2015.12IDC：多個機柜：150個服務器/vm：4000臺業務：200個人力：運維平臺35個機房規模問題和解決 方案標準化率低、維護成本高部分業務架構單點， 業務可用性供應商單一標準化巡檢梳理單點業務、 統一高可用架構引入多廠商，建

5、立標準配置管理、準確性低規模突增、資源擴容率低故障多樣性流程化管理資源冗余、裝機平臺、 容量管理故障分析、 建立知識庫鐵器時代 2016.1APPPHP、Java、C、 C+、GolangMysql、redis、mongodb、MFS、FastDFS、HDFS服務器/KVM/Docker網絡V3.0業務架構接入層邏輯/展示層數據存儲層IDC基礎VPN+專線多機房運維架構Zabbix監控BI監控發布平臺裝機平臺RSA 堡壘機CMDB資產 管理運維管理IDC管理告警系統域名平臺云管理平臺Fullnat LVSrouter工單平臺容量系統營收系統巡檢平臺WAF事件系統鐵器時代 2016.1IDC：多

6、個機柜：200個服務器/vm：6000臺業務：200個人力：運維平臺43個機房規模問題和解決 方案統一告警平臺監控指標量化、 可視化機型套餐多、 業務需求個性化業務成本高， 各業務ROI量化工作流程化根據業務特性 整合同類機型資源使用考核， 建立內部營收體系工單平臺資源利用率低容量平臺預案管理定時演練回顧總結標準化：OS標準化、硬件標準化、軟件標準化、 架構標準化、組件標準化、協議標準化規范：日志規范、部署規范運維自動化、平臺化達到快速交付要求 上線流程+標準化打包+自助發布+灰度發 布（持續交付）異地雙活+快速切換措施 專線切換演練告警分級：郵件、短信、釘釘自動化添加監控設備，根據CMDB業

7、務 樹進行巡檢，保證監控覆蓋率BI告警，度量系統提高資源使用率：監控系統+容量管理平臺 容器服務化供應商管理，引入多家廠商Flyme內部結算，建立內部營收體系監控告警與定 位（及時發現 與定位）成本控制IDC遷移，一個變多個資源冗余，保證快速部署需求。去IOE，建設以KVM為基礎的魅族云平臺，引入Docker容器平臺，實現微服務基礎設施規劃業務同質化（業務爆發式 與差異性 增長）手工重復 操作（效率）預案發展歷程運營現狀目錄010203前言04系統運維的未來魅族運維整體架構服務目錄質量管理度量系統框架支撐用戶視圖SaaS 運維 服務化PaaS 運維 平臺化業務監控 預警系統自動發布 業務模型子

8、機管理 Logserver預算系統 需求系統容量管理監控平臺發布平臺云平臺流程平臺IaaS計算網絡存儲其他計算服務統一調度數據存儲糅合配置收斂事件管理SACMDB安全管理資源層API監控系統分布式部署88%100 %105%100%95%90%85%80%基礎監控覆蓋率基礎監控覆蓋率Q3Q4監控模板標準化 監控自動添加監控的精細化甄別Zabbix server Zabbix serverZabbix proxyZabbix proxyZabbix proxyDatabaseDatabaseDatabaseZabbix agentWeb 服務器Database統一告警平臺告警收斂效果： 每個業務

9、運維每天 少接收322條告警 短信，提高了運維 效率。監控分級告警機制，提高故障定位效率告警分級告警策略優化 告警信息收斂 告警統計統一告警平臺工單平臺目標：減少人為溝通成本服務器生命周期管理自動化 工單流程可視化工單流程自定義 工單流程可追蹤業務需求多樣化 溝通成本較高 流程無法跟蹤日志平臺目標：日志集中管理和分析 減少溝通成本日志搜索準確定位，提高故 障排查速度日志可視化日志種類多，難以尋找因權限問題，開發需要找業務運維索要日志，溝通成本較高。 日志級別較多，查找困難VMLogstash- shipperVMLogstash- shipperVMLogstash- shipperVMLog

10、stash- shipperBroker Redis（cache）Logstash Indexer過濾、數據寫入Elasticsearch存儲、索引搜索Kibana日志分析web界 面Web BrowerHTTP巡檢平臺系統初始化檢測系統 常規檢測系統 內核檢測系統 安全檢測下線檢測Bond模式、yum源配置文件、MFS掛載檢測、selinux狀態 等等宿主機上報狀態、交換分區 大小、初始化磁盤raid配置 等等空口令賬戶、passwd文件讀 寫權限、shadow文件讀寫權 限、 拒絕.rhosts文件存在、 防止syn攻擊優化等等Kernel版本檢測、nf_conntrack檢測等等服務器回

11、收進程檢測、磁盤 數據檢測等等巡檢平臺目標：建立標準體系，提升工作效率，規范運維工作，考核供應商服務，保證業務穩定性、可用性。梳理15個組件的標準化，發現問題96個，整改服務器項目4000+次，有效的避免了因非標準因素導致的風險。更安全的堡壘機用戶軟件硬件RSA-Token模式原因openssh key認證登陸機房：南沙堡壘機 狀態：主機房：無錫堡壘機 狀態：備RSA認證堡壘機 堡壘機 堡壘機 堡壘機IDC賬號管理平臺分權分配用戶管理 登陸記錄 操作記錄功能摘要審計把控052013201420152016非法訪問IDC事故非法訪問IDC事故用戶中心數據庫被拖走win堡壘機密碼失竊JW郵箱被盜流程管理生命周期流程管理資源交付類流程資源采購、日常申請、 領用、上下線、自動驗 收檢查、自動部署、預 置環境調整資源調度類流程服務器搬遷、改造、回收、備件調 撥等生命周期末端流程服務器退役、利舊拆解、 報廢處理、硬盤消磁等2倍100%節省溝通時間資產準確性資產歸屬權明確 資產數據質量高容量系