1、第1頁第2頁目錄目錄p 運維部門的工作內容運維部門的工作內容p 運維工作體系建設之流程與制度（運維工作體系建設之流程與制度（ProcessProcess）p 運維工作體系建設之人員（運維工作體系建設之人員（PeoplePeople）p 運維工作體系建設之技術（運維工作體系建設之技術（TechnologyTechnology）p 運維工作的現狀與展望運維工作的現狀與展望第3頁運維部門的定位運維部門的定位p 運維部門在公司的位置圖例：運維部門在公司的位置圖例：對熱線服務提供疑對熱線服務提供疑難技術支持，提升難技術支持，提升品牌形象，對產品品牌形象，對產品優化研究，提升產優化研究，提升產品質量品質量

2、服務中心熱線RMA技術支持中心備件中心Tec中心實驗室平臺為最終用戶提平臺為最終用戶提供安全、可靠的支供安全、可靠的支付等服務付等服務豐臺豐臺菜市口菜市口CMNETCMNET望京望京亦莊亦莊根據產品方案，定制根據產品方案，定制集成的系統方案，并集成的系統方案，并保證按照規范平穩的保證按照規范平穩的運行系統運行系統各業務線前端的產各業務線前端的產品和研發人員設計品和研發人員設計和生產軟件模塊和生產軟件模塊第4頁運維部門的價值運維部門的價值p “以流程為導向，以客戶為中心，以技術為支點，提供低以流程為導向，以客戶為中心，以技術為支點，提供低成本、高質量的成本、高質量的ITIT服務，以滿足業務快速發

3、展的需要服務，以滿足業務快速發展的需要”全面管控企業范圍內基礎設施、信息資產等資源，實現前端業務的快速上線；售后用戶的投訴等問題實現第一時間、一次性的完善解決，提升內外部客戶的滿意度業務快速響應要求業務快速響應要求業務連續性要求業務連續性要求業務安全性要求業務安全性要求成本預測與量化要求成本預測與量化要求對在線業務從系統層到業務層實現全面的監控，從被動處理轉變為主動預防，制定SLA考核指標，提升故障的快速定位和解決，保障業務達到超出競爭對手的穩定運行率運維服務實現標準流程化管理，統一計費單元，對服務進行計費管理，服務價值與業務發展相符。采用先進的技術，低成本對應業務轉型，技術創造價值橫向從人員

4、、流程、制度、技術手段等方面，縱向從網絡層、主機層、存儲層、數據層、業務層等方面，形成網狀結構全面梳理安全問題，保障業務的機密、完整和可用性第5頁運維部門的價值運維部門的價值p 運維部門在公司的地位和作用運維部門在公司的地位和作用大背景：大背景：產品的前期設計和開發在整個生命周期中只占產品的前期設計和開發在整個生命周期中只占20%20%左右，左右，80%80%時間集中在運時間集中在運維和運營工作，隨著各行各業的大規模信息化建設時代接近尾聲，維和運營工作，隨著各行各業的大規模信息化建設時代接近尾聲，ITIT運維運維時代已經來臨。時代已經來臨。不同的公司，公司不同的發展階段，運維部門地位和作用不同

5、：不同的公司，公司不同的發展階段，運維部門地位和作用不同：“管理要效益管理要效益”Consumer lead“規范期規范期”Normative夢網業務的夢網業務的“蠻荒期蠻荒期”Start up time業務拓展為重，業務量考核業務拓展為重，業務量考核，滿足接入上量為原則，滿足接入上量為原則SP為中心為中心緩解管理壓力為重，重點解緩解管理壓力為重，重點解決系統穩定性、產品可用性決系統穩定性、產品可用性、投訴處理、投訴處理運營、運維管理為中心運營、運維管理為中心效益考核為重，業務品牌效益考核為重，業務品牌建設，個性化服務細節，建設，個性化服務細節，產品質量提升產品質量提升用戶為中心用戶為中心移動

6、夢網發展三個階段移動夢網發展三個階段運維部門頻繁上線及排運維部門頻繁上線及排障，多采用人海戰術，障，多采用人海戰術，規范性較差，規范性較差，“被動、被動、無序無序”，產品的可用性，產品的可用性及安全問題突顯。及安全問題突顯。運維部門承擔了產品質運維部門承擔了產品質量的評價和部分管理職量的評價和部分管理職能，規范流程制度，向能，規范流程制度，向技術運維轉型，致力于技術運維轉型，致力于消除人為事故和安全隱消除人為事故和安全隱患患運維部門從系統整體性運維部門從系統整體性角度出發，牽頭持續優角度出發，牽頭持續優化產品質量和性能。化產品質量和性能。用戶滿意度成為考核指用戶滿意度成為考核指標標第6頁網絡和

7、產品缺乏可網絡和產品缺乏可用性等指標評價體用性等指標評價體系，系統優化缺乏系，系統優化缺乏依據；依據；運維人員在運維流運維人員在運維流程中缺乏服務評價程中缺乏服務評價指標體系，從而不指標體系，從而不能作為績效考核的能作為績效考核的依據；依據；生產環境中單點設生產環境中單點設備較多，業務中斷備較多，業務中斷風險高；風險高；老舊設備對新技術老舊設備對新技術支持較差，資源分支持較差，資源分配不靈活；配不靈活；監控、撥測等自動監控、撥測等自動化運維工具缺乏，化運維工具缺乏，工作效率差、人力工作效率差、人力成本高；成本高；CMDBCMDB缺乏，生產缺乏，生產環境中環境中“僵尸節點僵尸節點”較多，影響業務

8、較多，影響業務更新，甚至帶來平更新，甚至帶來平臺重構的風險；臺重構的風險； 運維部門處于生運維部門處于生產和銷售的中間環產和銷售的中間環節，對前后端各條節，對前后端各條業務線提供多種服業務線提供多種服務，規范的流程缺務，規范的流程缺失，導致解決問題失，導致解決問題靠英雄和人情，責靠英雄和人情，責任定位不明確；任定位不明確；各種特批流程泛濫各種特批流程泛濫，運維人員的工作，運維人員的工作處于無序化，緊急處于無序化，緊急且重要的業務需求且重要的業務需求得不到優先支持，得不到優先支持，影響內外部客戶的影響內外部客戶的滿意度；滿意度； 運維部門規模較運維部門規模較小，人員緊張，分小，人員緊張，分工粗泛

9、，要求一人工粗泛，要求一人多能，一人管理多多能，一人管理多條業務線，導致人條業務線，導致人員專業性不強，人員專業性不強，人員數量和技能與實員數量和技能與實際要求差距較大，際要求差距較大，業務需求得不到快業務需求得不到快速良好的支持；速良好的支持；運維人員的職業規運維人員的職業規劃和能力培養尚不劃和能力培養尚不完善，不規律的作完善，不規律的作息和巨大工作壓力息和巨大工作壓力，導致了運維人員，導致了運維人員大量流失，工作分大量流失，工作分工不明確，經驗固工不明確，經驗固化隨之薄弱。化隨之薄弱。運維部門的挑戰運維部門的挑戰p 運維部門的困境和挑戰運維部門的困境和挑戰指標績效指標績效基礎設施基礎設施流

10、程制度流程制度運維人員運維人員第7頁目錄目錄p 運維部門的價值與挑戰運維部門的價值與挑戰p 運維工作體系建設之流程與制度（運維工作體系建設之流程與制度（ProcessProcess）p 運維工作體系建設之人員（運維工作體系建設之人員（PeoplePeople）p 運維工作體系建設之技術（運維工作體系建設之技術（TechnologyTechnology）p 運維工作的現狀與展望運維工作的現狀與展望第8頁運維部門的工作內容運維部門的工作內容p 概念介紹概念介紹系統分層：系統分層：業務層業務層數據層數據層存儲層存儲層主機層主機層網絡層網絡層DBDB層層* *DBDB層的運維目前不在層的運維目前不在網

11、絡與系統運行部網絡與系統運行部第9頁運維部門的工作內容運維部門的工作內容p 工作內容的分類工作內容的分類配配置置梳梳理理配置配置間關間關系梳系梳理理日日常常巡巡檢檢全全面面監監控控售售前前方方案案系系統統調調優優投投訴訴處處理理備備份份災災備備問問題題排排查查故故障障處處理理上上線線割割接接商商戶戶接接入入業務業務推廣推廣活動活動支撐支撐業務業務數據數據提取提取告告警警處處理理容量容量分析分析與報與報告告安安全全掃掃描描安安全全加加固固安全安全工具工具更新更新安全安全策略策略制定制定 1 2 3 4 5 6 7 8 9 10 11 12 1 2 3 4 5 6 7 8 9 10 11 12 1

12、3 14 15 16 17 18 19 20 2113 14 15 16 17 18 19 20 21應應急急演演練練第10頁運維部門的工作內容運維部門的工作內容p 運維工作部署演進運維工作部署演進運維工作多而雜，通過運維工作多而雜，通過把復雜的運維工作從項目把復雜的運維工作從項目、系統分層、業務線進行、系統分層、業務線進行三個維度的切分，使工作三個維度的切分，使工作內容職責清晰，更易于落內容職責清晰，更易于落地執行；地執行；對細分的工作內容進行對細分的工作內容進行梳理，固化工作經驗，形梳理，固化工作經驗，形成專業的操作手冊，對于成專業的操作手冊，對于可以自動化實現的部分，可以自動化實現的部分

13、，做成運維工具，達到降本做成運維工具，達到降本增效的目的，降低人為操增效的目的，降低人為操作的誤差；作的誤差；將細分的專業化的工作將細分的專業化的工作模塊化，由一線運維團隊模塊化，由一線運維團隊、二線支撐團隊，和臨時、二線支撐團隊，和臨時的虛擬項目組承擔，或者的虛擬項目組承擔，或者考慮成本的要求，在安全考慮成本的要求，在安全性要求較低的工作上購買性要求較低的工作上購買外包服務外包服務第11頁目錄目錄p 運維部門的價值與挑戰運維部門的價值與挑戰p 運維部門的工作內容運維部門的工作內容p 運維工作體系建設之人員（運維工作體系建設之人員（PeoplePeople）p 運維工作體系建設之技術（運維工作

14、體系建設之技術（TechnologyTechnology）p 運維工作的現狀與展望運維工作的現狀與展望第12頁運維工作體系建設之流程制度運維工作體系建設之流程制度p 流程制度分類流程制度分類部門內部的流程制度部門內部的流程制度部門與外部的流程制度部門與外部的流程制度部門內各團隊間的工作流程一線、二線團隊之間的工作流程；虛擬團隊的工作流程；服務產品外包的工作流程；部門內的操作規范、安全制度銀聯的安全規范、制度移動的安全規范、制度公司的安全基線規范運維相關的編碼的安全規范售前技術支撐流程上線流程投訴處理流程事件管理流程問題管理流程敏感數據提取流程業務推廣活動支撐流程商戶接入流程第13頁運維工作體系

15、建設之流程制度運維工作體系建設之流程制度p 流程制度舉例流程制度舉例北京移動安全管理實施細則北京移動安全管理實施細則 V5V5為了防止客戶信息泄露等事故再次發生，重鑄公司的品牌和信譽，北京移動為了防止客戶信息泄露等事故再次發生，重鑄公司的品牌和信譽，北京移動公司網絡部牽頭，歷時公司網絡部牽頭，歷時1 1年，各個部門均有參與，參與編寫人員近百名，完成了年，各個部門均有參與，參與編寫人員近百名，完成了公司內部的安全管理實施細則，共公司內部的安全管理實施細則，共3535個分類，全面梳理了公司內部各重要的流程個分類，全面梳理了公司內部各重要的流程中人因因素的部分，制定了操作和審計制度。中人因因素的部分

16、，制定了操作和審計制度。系統的安全制度體系方系統的安全制度體系方面我們公司比較缺失面我們公司比較缺失第14頁運維工作體系建設之流程制度運維工作體系建設之流程制度p 部門間服務接口部門間服務接口-服務目錄服務目錄概念：服務目錄是管理內外部客戶期望，使服務產品化、提升服務交付質量的重要工具服務的內容服務的內容和范圍和范圍服務運行的服務運行的前提條件前提條件服務的水平服務的水平要求要求服務的溝通服務的溝通界面界面服務的評價服務的評價方法方法1 1售前技術支撐售前技術支撐2 2上線服務上線服務3 3投訴處理服務投訴處理服務4 4事件處理通報事件處理通報5 5問題處理問題處理6 6數據提取服務數據提取服

17、務7 7業務推廣支撐業務推廣支撐 我們會按照和各業我們會按照和各業務線梳理和簽訂的務線梳理和簽訂的服務目錄，制定人服務目錄，制定人力資源計劃和各團力資源計劃和各團隊及各人的隊及各人的KPIKPI服務項目服務項目服務內容服務內容第15頁運維工作體系建設之流程制度運維工作體系建設之流程制度p 服務目錄舉例服務目錄舉例上線服務上線服務服務的內容和范服務的內容和范圍圍服務運行的前服務運行的前提條件提條件服務的水平要服務的水平要求求服務的溝通界服務的溝通界面面服務的評價方服務的評價方法法1 1售前技術支售前技術支撐撐 服務項目服務項目服務內容服務內容第16頁目錄目錄p 運維部門的價值與挑戰運維部門的價值

18、與挑戰p 運維部門的工作內容運維部門的工作內容p 運維工作體系建設之流程與制度（運維工作體系建設之流程與制度（ProcessProcess）p 運維工作體系建設之技術（運維工作體系建設之技術（TechnologyTechnology）p 運維工作的現狀與展望運維工作的現狀與展望第17頁運維工作體系建設之人員運維工作體系建設之人員p 研發團隊和運維團隊的關系舉例：研發團隊和運維團隊的關系舉例：項目項目1 1項目項目2 2保守期保守期X X產品生命周期產品生命周期例一：例一：NECNEC項目項目1 1項目項目2 2保守期保守期X X產品生命周期產品生命周期例二：華為、聯想、騰訊等例二：華為、聯想、

19、騰訊等項目項目保守期保守期X X產品生命周期產品生命周期例一：北京移動例一：北京移動運維部門運維部門研發組研發組1 1研發組研發組2 2例四：聯動優勢例四：聯動優勢第18頁運維工作體系建設之人員運維工作體系建設之人員p 運維團隊內的架構舉例運維團隊內的架構舉例產品產品1 1一線一線運維運維團隊團隊產品產品2 2產品產品n n二線應用運維團隊二線應用運維團隊一線一線運維運維團隊團隊一線一線運維運維團隊團隊二線網絡運維團隊二線網絡運維團隊二線主機運維團隊二線主機運維團隊二線數據庫運維團隊二線數據庫運維團隊安全團隊安全團隊北京移動北京移動：一線運維組：購買各產品原廠的一線運維組：購買各產品原廠的維保

20、；維保；二線應用運維組：系統負責人二線應用運維組：系統負責人A A、B B角；角；二線的網絡、主機、數據庫運維二線的網絡、主機、數據庫運維組購買神碼的專業團隊支撐所有組購買神碼的專業團隊支撐所有產品；產品；安全組：移動員工專業團隊安全組：移動員工專業團隊運營商、銀行、證劵公司多采用運營商、銀行、證劵公司多采用騰訊公司騰訊公司：一線運維組：按各產品劃分一線運維組：按各產品劃分二線的應用運維組：支撐產品組二線的應用運維組：支撐產品組合；合；二線的網絡、主機、數據庫組：二線的網絡、主機、數據庫組：按照機房物理地點劃分按照機房物理地點劃分安全組：管理所有產品安全組：管理所有產品互聯網公司多采用互聯網公

21、司多采用研發團隊研發團隊第19頁運維工作體系建設之人員運維工作體系建設之人員p 根據公司的運維人員來源，人員架構如下：根據公司的運維人員來源，人員架構如下：商商戶戶組組運運行行組組主主機機組組網網絡絡組組維維護護組組技術技術支撐組支撐組一線團隊一線團隊二線團隊二線團隊技術支撐團隊技術支撐團隊負責商戶接入負責商戶接入商戶接入前的技商戶接入前的技術支撐；接入中術支撐；接入中的調試；接入后的調試；接入后的問題解決的問題解決負責生產系統的一線運維負責生產系統的一線運維全面監控生產環境；告警全面監控生產環境；告警、投訴和故障的及時響應、投訴和故障的及時響應；一線問題梳理；協助二；一線問題梳理；協助二線對

22、系統優化線對系統優化負責應用深度運維負責應用深度運維各業務線一名專員在產品、研發階段各業務線一名專員在產品、研發階段隨工；產品設計階段規劃系統方案；隨工；產品設計階段規劃系統方案；做成維護手冊前移至一線團隊；各業做成維護手冊前移至一線團隊；各業務的系統排障；處理復雜投訴；負責務的系統排障；處理復雜投訴；負責系統質量指標制定和系統優化工作系統質量指標制定和系統優化工作負責自動化工具研發與新技術研究負責自動化工具研發與新技術研究研發監控、部署、商戶調試等自動研發監控、部署、商戶調試等自動化運維工具；業界先進的運維技術化運維工具；業界先進的運維技術研究并立項研究并立項負責網絡、主機的深負責網絡、主機

23、的深度運維度運維制定主機、網絡方案制定主機、網絡方案，維護及優化生產環境維護及優化生產環境物理設備，響應一線物理設備，響應一線團隊的告警、排障需團隊的告警、排障需求。求。第20頁運維工作體系建設之人員運維工作體系建設之人員p 運維人員的發展路徑運維人員的發展路徑以成本低、適應面以成本低、適應面廣、服務優為視角廣、服務優為視角，形成規模化的綜，形成規模化的綜合能力優勢，鍛造合能力優勢，鍛造一支準確定位、快一支準確定位、快速反應的一線運維速反應的一線運維技術服務技術服務團隊團隊一線運維專才一線運維專才1 1以技術精、業務通為以技術精、業務通為視角，鍛造專家型技視角，鍛造專家型技術支援團隊術支援團隊

24、, ,形成對形成對各業務線的核心把控各業務線的核心把控能力，向能力，向IBM 800IBM 800技技術熱線或思科術熱線或思科CASECASE團隊水平靠攏，彰顯團隊水平靠攏，彰顯公司技術售后服務品公司技術售后服務品牌形象牌形象TACTAC專家專家2 2系統技術架構師系統技術架構師3 3以靈活可靠以靈活可靠, ,擴展性擴展性強為視角，形成各強為視角，形成各業務線的軟件、硬業務線的軟件、硬件集成架構體系，件集成架構體系，具備主機、網絡、具備主機、網絡、DBDB及應用的綜合及應用的綜合技術能力，以及全技術能力，以及全方位的安全保障的方位的安全保障的能力能力技術體系規劃師技術體系規劃師4 4以技術前瞻

25、為視角以技術前瞻為視角，形成清晰的技術，形成清晰的技術體系規劃藍圖，確體系規劃藍圖，確保基礎架構以最優保基礎架構以最優的方案滿足供公司的方案滿足供公司的業務需求，技術的業務需求，技術戰略與時俱進，保戰略與時俱進，保持行業領先水平，持行業領先水平，具有核心技術優勢具有核心技術優勢和競爭力和競爭力第21頁目錄目錄p 運維部門的價值與挑戰運維部門的價值與挑戰p 運維部門的工作內容運維部門的工作內容p 運維工作體系建設之流程與制度（運維工作體系建設之流程與制度（ProcessProcess）p 運維工作體系建設之人員（運維工作體系建設之人員（PeoplePeople）p 運維工作的現狀與展望運維工作的

26、現狀與展望第22頁運維工作體系建設之技術運維工作體系建設之技術p 業務支撐能力建設業務支撐能力建設IaaSIaaS平臺架示意構圖平臺架示意構圖IaaSIaaS：基礎設施即服務，主要是將網絡、服務器等基礎設施和操作系統、數據庫等基礎軟件看作資源，對這些資源進行虛擬化，以CPU、內存、存儲容量、操作系統等為單位向用戶提供應用軟件運行環境的服務模式。IAAS平臺可提供的網絡資源、計算資源、存儲能力等構建成資源池，隨時隨需進行分配和調度；底層硬件設施的采購不會受制于應用的制約；對于業務增減變化頻繁的的情況，不僅可靈活彈性的分配資源，還可及時對下線業務占用的資源進行回收再利用，實現投資保護并減少系統建設

27、成本；通過資源的分配量，可計量每個業務所占用的系統成本，并使服務可度量，為公司預算管理提供依據；對于公司移動金融云的戰略，IaaS也是基礎。第23頁運維工作體系建設之技術運維工作體系建設之技術p 運營支撐能力建設運營支撐能力建設北京移動企業信息門戶北京移動企業信息門戶內部信息門戶：內部信息門戶：企業內部信息門戶是一個基于Web的系統，它是企業內部員工與團隊之間互動、信息和知識共享的門戶： 信息門戶可為員工提供一個統一入口，只需單點登錄，即可處理各類工作和流程，快捷獲取所需信息 可為整個企業的信息發布和集成提供統一的渠道。 實現統一的用戶認證、授權和安全管理。 企業內部的員工之間是有分工的，不同

28、員工由于角色不同、層級不同，因而不同的員工具有不同的工作，內部信息門戶為每位員工提供獨特的工作的平臺。由于公司辦公地點分散，不同的部門、項目組，也應該有自己的工作場景的門戶，包括團隊的工作方法、規范和共享的信息等，使大家感覺協同辦公的。第24頁運維工作體系建設之技術運維工作體系建設之技術p 自動化運維能力建設自動化運維能力建設自動化運維建設：自動化運維建設：本著“網絡質量是第一生命力”的宗旨，移動大力建設技術支撐平臺，實現對業務的全面、實時的監控，不斷提升業務的連續性和可用性，主要部分包括：運維流程平臺：變更、配置、問題、事件等流程工具；業務管理平臺：端到端撥測、業務指標呈現及分析工具；監控管

29、理平臺：系統各層的監控工具、診斷工具、性能管理工具等；資源管理平臺：CMDB、知識庫、資源展現等安全管理平臺：漏洞掃描、日志審計、權限控制等安全類工具舉例舉例( (北京移動數據業務支撐體系北京移動數據業務支撐體系) )第25頁運維工作體系建設之技術運維工作體系建設之技術p 現有的自動化運維工具現有的自動化運維工具系統層的監控工具系統層的監控工具Mocha：網絡設備的連通性、主機的CPUMEMDISKNagios：進程、端口p 大部分監控工作依靠人工大部分監控工作依靠人工日志停刷大面積的返回碼報錯目前只有對主機、網絡層的設備指標的監控，缺少網絡流量目前只有對主機、網絡層的設備指標的監控，缺少網絡

30、流量、防攻擊等安全性方面的防護工具；缺少數據層的監控工具、防攻擊等安全性方面的防護工具；缺少數據層的監控工具，如對內存中的堆棧、線程棧等的監控；缺少業務層的監控，如對內存中的堆棧、線程棧等的監控；缺少業務層的監控工具，如業務撥測、業務質量指標等的監控。工具，如業務撥測、業務質量指標等的監控。隨著業務增長迅速，被監控的應用數量成倍遞增，日志的復隨著業務增長迅速，被監控的應用數量成倍遞增，日志的復雜度加大，人工輪詢的速度降低，受人因因素影響越加嚴重雜度加大，人工輪詢的速度降低，受人因因素影響越加嚴重，且缺少對返回碼的個性化監控規則定制能力，只能發現大，且缺少對返回碼的個性化監控規則定制能力，只能發

31、現大面積錯誤，應著力發展自動化運維，取代人工監控面積錯誤，應著力發展自動化運維，取代人工監控第26頁運維工作體系建設之技術運維工作體系建設之技術p NagiosNagios背景及問題背景及問題通過通過mochamocha已監控到底層設備的關鍵指標，但是對于應用已監控到底層設備的關鍵指標，但是對于應用層仍無法進行自動化監控，無法第一時間發現應用的異常層仍無法進行自動化監控，無法第一時間發現應用的異常，而應用層又是出現問題較多的區域，因此對應用的監控，而應用層又是出現問題較多的區域，因此對應用的監控需求非常迫切。需求非常迫切。解決方案解決方案 通過對市場上開源的監控軟件進行調研，通過對市場上開源的

32、監控軟件進行調研，nagiosnagios的成功案的成功案例較多。例較多。 基于基于nagiosnagios之上，運行人員深入研究，定制開發，之上，運行人員深入研究，定制開發，性能調試、配置優化，試運行后，正式上線已經一年多，性能調試、配置優化，試運行后，正式上線已經一年多，運行穩定，達到了預期的目標運行穩定，達到了預期的目標項目需求項目需求 通過新建一套自動化監控工具，可以監控到應用層面的狀通過新建一套自動化監控工具，可以監控到應用層面的狀態，細化到指標級別，期望可以監控到應用進程和端口的態，細化到指標級別，期望可以監控到應用進程和端口的存活狀態兩個關鍵指標。存活狀態兩個關鍵指標。投資估算投

33、資估算效益分析效益分析 由于開源軟件，且利用維護人員下班后時間自行研發，因由于開源軟件，且利用維護人員下班后時間自行研發，因此為零投資。此為零投資。 目前已經監控了目前已經監控了247247個進程，個進程，457457個端口，大概產生了個端口，大概產生了3 3萬萬個左右的報警，為及時發現應用異常提供了有力的支撐個左右的報警，為及時發現應用異常提供了有力的支撐第27頁運維工作體系建設之技術運維工作體系建設之技術p 自動化運維工具體系框架自動化運維工具體系框架 數據存儲層數據存儲層HDFSHDFS 邏輯層邏輯層 展示層展示層 數據收集層數據收集層數據展示數據展示監控信息管理監控信息管理規范化管理規

34、范化管理監控工具監控工具自動化部署自動化部署數據分析數據分析撥測工具撥測工具CacheCache工具工具數據中間層數據中間層NoSQLNoSQL（mysqlmysql、HbaseHbase）監控信息管理監控信息管理規范化管理規范化管理第28頁運維工作體系建設之技術運維工作體系建設之技術p 邏輯層邏輯層- -監控工具監控工具基礎監控服務器監控，如：cpu、memery、I/O、并發量等；操作系統監控，堆棧監控、線程棧監控等網絡監控，如：連通性、流量等應用監控對交易狀態（返回碼、Exception）監控用戶端URL監控進程和端口的存活狀態監控負載均衡監控等業務監控對業務量、成功率進行監控等安全監控

35、外部攻擊監控等第29頁運維工作體系建設之技術運維工作體系建設之技術p 邏輯層邏輯層- -自動化部署工具自動化部署工具自動化配置快速且一致對集群內所有設備的系統參數進行配置，如：管理配置文件、用戶、軟件包、系統服務等對設備的系統參數的修改進行記錄和跟蹤，矯正個別設備的異常配置應用的配置文件自動化上線統一進行上線、發布及時、準確的進行應用回滾和監控工具無縫集成根據上線內容能夠進行自動化監控各業務線之間的影響關系分析第30頁運維工作體系建設之技術運維工作體系建設之技術p 邏輯層邏輯層- -數據分析工具數據分析工具應用日志分析實時日志分析非實時日志分析用戶行為分析產品成功率分析交易量分析安全分析網絡異

36、常流量分析外部攻擊行為分析內部人員行為審計系統信息分析容量分析、性能分析等第31頁運維工作體系建設之技術運維工作體系建設之技術p 目前的研究進度目前的研究進度 - - 對一些開源軟件進行可行性研究對一些開源軟件進行可行性研究 數據存儲層數據存儲層HDFSHDFS 邏輯層邏輯層 展示層展示層 數據收集層數據收集層數據展示數據展示監控信息管理監控信息管理規范化管理規范化管理監控工具監控工具自動化部署自動化部署數據分析數據分析撥測工具撥測工具CacheCache工具工具數據中間層數據中間層NoSQLNoSQL（mysqlmysql、HbaseHbase）監控信息管理監控信息管理規范化管理規范化管理c

37、acti、gangliaPuppet、kick、mcollective、funczabbix后羿后羿第32頁運維工作體系建設之技術運維工作體系建設之技術p 技術演進路線圖技術演進路線圖l學習搭建私有云的策略、學習搭建私有云的策略、原則及相關技術，大量在原則及相關技術，大量在現有系統中采用虛擬化技現有系統中采用虛擬化技術作為實踐經驗積累術作為實踐經驗積累l完善對完善對ITIT基礎設施和應用基礎設施和應用的監控自動化，建設配置的監控自動化，建設配置管理自動化工具管理自動化工具l學習學習ItilItil規范相關知識，規范相關知識，確定確定ItilItil實施范圍和步驟實施范圍和步驟l完成公司內部信息

38、門戶需完成公司內部信息門戶需求整理，產品和解決方案求整理，產品和解決方案調研調研201220132014需求收集需求收集初步建設初步建設整合階段整合階段l測試選型資源管理軟件，測試選型資源管理軟件，搭建小規模實驗云搭建小規模實驗云l實現安裝、部署、變更、實現安裝、部署、變更、交易模擬、健康檢查等自交易模擬、健康檢查等自動化運維動化運維l選定選定ITSMITSM解決方案供應商解決方案供應商，梳理事件管理、問題管，梳理事件管理、問題管理、配置管理、變更管理理、配置管理、變更管理流程流程l建立企業內部信息門戶的建立企業內部信息門戶的基礎運行環境和軟件平臺基礎運行環境和軟件平臺，并逐步集成已有管理信，

39、并逐步集成已有管理信息系統息系統l擴大擴大IaaSIaaS規模和覆蓋范圍規模和覆蓋范圍，完善運營服務和管理措，完善運營服務和管理措施，打造穩定可靠的云計施，打造穩定可靠的云計算平臺算平臺l整合各種自動化工具，建整合各種自動化工具，建立統一運維管理平臺，并立統一運維管理平臺，并加入知識管理、發布管理加入知識管理、發布管理、服務級別管理等功能和、服務級別管理等功能和相應流程，實現相應流程，實現ItilItil的完的完整落地整落地l完成各信息系統的集成整完成各信息系統的集成整合，完善內部信息門戶及合，完善內部信息門戶及運行維護支撐體系運行維護支撐體系使用使用與完善與完善向公司推廣各種支撐平臺向公司推

40、廣各種支撐平臺搭建各種支撐平臺的架構搭建各種支撐平臺的架構需求業務需求，建設需求業務需求，建設技術體系演進路線圖技術體系演進路線圖第33頁目錄目錄p 運維部門的價值與挑戰運維部門的價值與挑戰p 運維部門的工作內容運維部門的工作內容p 運維工作體系建設之流程與制度（運維工作體系建設之流程與制度（ProcessProcess）p 運維工作體系建設之人員（運維工作體系建設之人員（PeoplePeople）p 運維工作體系建設之技術（運維工作體系建設之技術（TechnologyTechnology）第34頁運維工作現狀運維工作現狀p 幾組數字幾組數字 8 8月份舉例月份舉例網絡部生產系統上線次網絡部生

41、產系統上線次數：數：應用上線次數：應用上線次數：應用上線團隊加班數：應用上線團隊加班數：處理投訴數量：處理投訴數量：處理報警和故障事件：處理報警和故障事件：深夜問題對應的數量：深夜問題對應的數量：接入商戶數量：接入商戶數量：處理商戶問題：處理商戶問題：設備總數：設備總數：監控應用數量：監控應用數量：監控返回碼數量：監控返回碼數量：自動化運維率：自動化運維率：265265次次124124次次232232小時小時/2/2人人15941594次次/2/2人人125125次次3636次次4141家家530530個個/2/2人人911911臺臺297297個個12961296個個不足不足5%5%第35頁運維工作現狀運維工作現狀不良循環：不良循環：良性循環：良性循環：業務量和用戶業務量和用戶商戶和用戶投訴商戶和用戶投訴機械性上線機械性上線系統優化系統優化人員流失人員流失業務質量業務質量用戶滿意度用戶滿意度告警和排障告警和排障現狀的兩個突出矛盾現狀的兩個突出