1、 深圳市天境世紀(jì)網(wǎng)絡(luò)科技有限公司Shenzhen Heaveng Network 天境世紀(jì)服務(wù)器運(yùn)維故障應(yīng)急預(yù)案一、總則1 1目的本預(yù)案旨在全面提高應(yīng)對(duì)服務(wù)器系統(tǒng)中各種突發(fā)事件的能力,提供科學(xué)的指揮方案,最大限度地減少突發(fā)事件所造成的游戲服務(wù)停頓時(shí)間。力爭(zhēng)在最短的時(shí)間內(nèi)恢復(fù)系統(tǒng)運(yùn)行，保證系統(tǒng)的穩(wěn)定、安全運(yùn)行。1 2工作原則121 貫徹統(tǒng)一領(lǐng)導(dǎo)，分級(jí)負(fù)責(zé)，反應(yīng)及時(shí)，措施果斷，依靠科學(xué)，加強(qiáng)合作的原則。服務(wù)器系統(tǒng)故障具有突發(fā)性強(qiáng)、影響大、范圍廣的特點(diǎn)，一旦出現(xiàn)重大故障必須在公司領(lǐng)導(dǎo)的統(tǒng)一指揮下，以運(yùn)行維護(hù)部門為中心，相關(guān)部門積極配合，協(xié)同作戰(zhàn)，迅速反應(yīng)，最大限度地保證業(yè)務(wù)的連續(xù)性和安全性。122

2、遵循預(yù)防為主，常備不懈的方針。做好應(yīng)對(duì)突發(fā)事件的思想準(zhǔn)備和思想教育；加強(qiáng)服務(wù)器系統(tǒng)的日常監(jiān)控；通過技術(shù)創(chuàng)新和技術(shù)進(jìn)步完善監(jiān)控和預(yù)警手段；加強(qiáng)專業(yè)隊(duì)伍建設(shè)和培訓(xùn)；制定完善的單項(xiàng)應(yīng)急處理流程，提高處理速度。定期進(jìn)行預(yù)演。二、組織結(jié)構(gòu)與職責(zé)運(yùn)維技術(shù)應(yīng)急組織機(jī)構(gòu)由突發(fā)事件領(lǐng)導(dǎo)，突發(fā)事件應(yīng)急實(shí)施小組和突發(fā)事件應(yīng)急技術(shù)小組構(gòu)成。2.1應(yīng)急領(lǐng)導(dǎo)。應(yīng)急領(lǐng)導(dǎo)由體驗(yàn)中心總監(jiān)擔(dān)任，負(fù)責(zé)重大故障應(yīng)急對(duì)應(yīng)的決策。22 應(yīng)急實(shí)施小組。221應(yīng)急實(shí)施小組由運(yùn)維部門經(jīng)理及技術(shù)較為成熟的相關(guān)工程師組成。2.2.2應(yīng)急實(shí)施小組工作職責(zé)。1） 貫徹執(zhí)行上級(jí)領(lǐng)導(dǎo)部門的工作部署。2） 定期進(jìn)行服務(wù)器故障處理模擬演練。3） 組織安全檢查

3、；監(jiān)督應(yīng)急措施的落實(shí)和整改。4） 遇到故障發(fā)生，協(xié)調(diào)相關(guān)各部門、廠商和IDC機(jī)房工作人員，行使指揮職能。23應(yīng)急技術(shù)小組。2.3.1應(yīng)急技術(shù)小組由運(yùn)維部門的運(yùn)行維護(hù)技術(shù)人員組成。2.3.2應(yīng)急技術(shù)小組職能。1） 制定具體的應(yīng)急措施，不斷完善應(yīng)急措施。2） 24小時(shí)監(jiān)控系統(tǒng)運(yùn)行，發(fā)生故障及時(shí)執(zhí)行應(yīng)急措施。3） 遇到不能處理的及時(shí)預(yù)警、上報(bào)。三、監(jiān)測(cè)和預(yù)警3.1故障監(jiān)測(cè)與預(yù)警發(fā)布3.1.1 監(jiān)控。運(yùn)維部建立網(wǎng)絡(luò)和主要設(shè)備、系統(tǒng)的運(yùn)行監(jiān)控系統(tǒng)，一旦發(fā)生故障，會(huì)產(chǎn)生及時(shí)報(bào)警。其他設(shè)備和系統(tǒng)采用設(shè)備巡檢制度（公司內(nèi)部），定時(shí)對(duì)設(shè)備運(yùn)行狀態(tài)進(jìn)行記錄。312監(jiān)控部門一旦發(fā)現(xiàn)故障報(bào)警，首先判斷故障級(jí)別，如果是

4、預(yù)警級(jí)別四級(jí)的則及時(shí)按應(yīng)急措施處理故障并做好相關(guān)記錄；預(yù)警級(jí)別在三級(jí)（含二級(jí)）以上要及時(shí)聯(lián)絡(luò)應(yīng)急實(shí)施小組，由應(yīng)急實(shí)施小組組織應(yīng)急處理并做好相關(guān)記錄。預(yù)警級(jí)別在二級(jí)（含二級(jí)）以上的應(yīng)同時(shí)上報(bào)應(yīng)急領(lǐng)導(dǎo)知曉。當(dāng)故障預(yù)警的應(yīng)急處理在規(guī)定的時(shí)限內(nèi)沒有處理完成，或故障預(yù)警級(jí)別上升，則由應(yīng)急運(yùn)維實(shí)施小組啟動(dòng)相應(yīng)級(jí)別的應(yīng)急處理，超過二級(jí)預(yù)警上報(bào)應(yīng)急領(lǐng)導(dǎo)小組。3.2預(yù)警級(jí)別3.2.1網(wǎng)絡(luò)一般預(yù)警：預(yù)警級(jí)別為四級(jí)。部分備份輔助服務(wù)器發(fā)生故障（能夠短時(shí)間內(nèi)解決）導(dǎo)致短時(shí)間內(nèi)業(yè)務(wù)無法進(jìn)行。預(yù)警信息用藍(lán)色表示。較重預(yù)警：預(yù)警級(jí)別為三級(jí)。主干線路發(fā)生故障，或地市中心網(wǎng)絡(luò)匯接設(shè)備發(fā)生故障，導(dǎo)致一個(gè)地區(qū)的業(yè)務(wù)全部癱瘓。預(yù)警信

5、息用黃色表示。嚴(yán)重預(yù)警：預(yù)警級(jí)別為二級(jí)。省中心一條骨干線路或部分網(wǎng)絡(luò)設(shè)備發(fā)生故障，導(dǎo)致全省業(yè)務(wù)停頓1小時(shí)以上或國家局線路或設(shè)備出現(xiàn)故障導(dǎo)致省際業(yè)務(wù)無法進(jìn)行。預(yù)警信息用橙色表示。特別嚴(yán)重預(yù)警：預(yù)警級(jí)別為一級(jí)。省中心全部骨干線路；主、備網(wǎng)絡(luò)設(shè)備設(shè)備出現(xiàn)故障，導(dǎo)致全省和省際業(yè)務(wù)在短時(shí)間內(nèi)無法進(jìn)行。預(yù)警信息用紅色表示。3.2.2 設(shè)備一般預(yù)警：預(yù)警級(jí)別為四級(jí)。外圍系統(tǒng)硬件設(shè)備或核心系統(tǒng)硬件設(shè)備只是產(chǎn)生硬件故障報(bào)警，出現(xiàn)了設(shè)備故障的提示。預(yù)警信息用藍(lán)色表示。較重預(yù)警：預(yù)警級(jí)別為三級(jí)。外圍系統(tǒng)硬件發(fā)生故障，但業(yè)務(wù)仍可維持進(jìn)行。預(yù)警信息用黃色表示。嚴(yán)重預(yù)警：預(yù)警級(jí)別為二級(jí)。核心系統(tǒng)一臺(tái)主機(jī)出現(xiàn)重大故障，無法

6、運(yùn)行；或部分外圍系統(tǒng)出現(xiàn)嚴(yán)重硬件故障而導(dǎo)致業(yè)務(wù)停止。預(yù)警信息用橙色表示。特別嚴(yán)重預(yù)警：預(yù)警級(jí)別為一級(jí)。發(fā)生不可預(yù)測(cè)性自然災(zāi)害，導(dǎo)致省中心機(jī)房嚴(yán)重破壞；或核心主機(jī)、存儲(chǔ)等出現(xiàn)重大故障，無法運(yùn)行（主、備機(jī)均無法運(yùn)行）。預(yù)警信息用紅色表示。3.2.3 系統(tǒng)一般預(yù)警：預(yù)警級(jí)別為四級(jí)。外圍系統(tǒng)cpu、內(nèi)存、網(wǎng)絡(luò)和存儲(chǔ)等資源占用較大，導(dǎo)致網(wǎng)點(diǎn)交易緩慢。預(yù)警信息用藍(lán)色表示。較重預(yù)警：預(yù)警級(jí)別為三級(jí)。儲(chǔ)蓄主機(jī)系統(tǒng)cpu、內(nèi)存、網(wǎng)絡(luò)和存儲(chǔ)等資源占用較大，導(dǎo)致網(wǎng)點(diǎn)儲(chǔ)蓄等主要交易緩慢；外圍系統(tǒng)cpu、內(nèi)存、網(wǎng)絡(luò)、存儲(chǔ)等資源占用嚴(yán)重，導(dǎo)致部分或全部前端交易無法進(jìn)行，并且故障在1小時(shí)內(nèi)無法解決的。預(yù)警信息用黃色表示。嚴(yán)

7、重預(yù)警：預(yù)警級(jí)別為二級(jí)。儲(chǔ)蓄系統(tǒng)出現(xiàn)嚴(yán)重的交易堵塞現(xiàn)象，網(wǎng)點(diǎn)業(yè)務(wù)無法正常開展，并且在1小時(shí)內(nèi)沒有解決；外圍系統(tǒng)出現(xiàn)嚴(yán)重故障，無法開展業(yè)務(wù)，在2小時(shí)內(nèi)無法解決的。預(yù)警信息用橙色表示。特別嚴(yán)重預(yù)警：預(yù)警級(jí)別為一級(jí)。出現(xiàn)嚴(yán)重的系統(tǒng)故障，導(dǎo)致全省無法開展業(yè)務(wù)，并且在2小時(shí)內(nèi)無法解決的（外圍系統(tǒng)時(shí)限為1天）；或結(jié)息沒有結(jié)束，導(dǎo)致業(yè)務(wù)停頓。預(yù)警信息用紅色表示。四、應(yīng)急響應(yīng)41網(wǎng)絡(luò)應(yīng)急響應(yīng)411藍(lán)色預(yù)警-四級(jí)預(yù)警的應(yīng)急響應(yīng)。分支機(jī)構(gòu)操作發(fā)現(xiàn)故障后，應(yīng)立刻通知分支行維護(hù)協(xié)調(diào)人，并由維護(hù)協(xié)調(diào)人通知本地區(qū)公司維護(hù)人員，由本地公司維護(hù)人員負(fù)責(zé)故障的處理和與相關(guān)線路運(yùn)營(yíng)商的協(xié)調(diào)。如果本地區(qū)50%以上網(wǎng)點(diǎn)出現(xiàn)線路故障，

8、并且在4小時(shí)內(nèi)無法修復(fù)的，升級(jí)為黃色警告。412 黃色預(yù)警-三級(jí)預(yù)警的應(yīng)急響應(yīng)。分行維護(hù)協(xié)調(diào)人上報(bào)省行應(yīng)急辦公室，同時(shí)通知本地區(qū)維護(hù)負(fù)責(zé)人，由本地區(qū)負(fù)責(zé)人啟動(dòng)相關(guān)網(wǎng)絡(luò)應(yīng)急流程。應(yīng)急辦公室上報(bào)省分行應(yīng)急領(lǐng)導(dǎo)小組。應(yīng)急辦公室及時(shí)與故障地區(qū)維護(hù)單位溝通故障處理情況，并上報(bào)給應(yīng)急領(lǐng)導(dǎo)小組。故障在24小時(shí)內(nèi)無法解決的，升級(jí)為橙色預(yù)警。413 橙色預(yù)警-二級(jí)預(yù)警的應(yīng)急響應(yīng)。機(jī)房值班人員發(fā)現(xiàn)故障后，立刻通知省中心網(wǎng)絡(luò)維護(hù)員和維護(hù)部門負(fù)責(zé)人，在半小時(shí)內(nèi)到達(dá)現(xiàn)場(chǎng)，確定故障情況后，上報(bào)省分行應(yīng)急辦公室，應(yīng)急辦公室上報(bào)省分行應(yīng)急領(lǐng)導(dǎo)小組，并向相關(guān)部門發(fā)布故障警報(bào)和預(yù)警級(jí)別。應(yīng)急辦公室到大省中心機(jī)房，組織技術(shù)應(yīng)急，提

9、出技術(shù)應(yīng)急方案，經(jīng)應(yīng)急辦公室上報(bào)應(yīng)急領(lǐng)導(dǎo)小組批準(zhǔn)后實(shí)施。應(yīng)急辦公室及時(shí)掌握故障處理進(jìn)展，并及時(shí)匯報(bào)。應(yīng)急領(lǐng)導(dǎo)小組在1小時(shí)內(nèi)到達(dá)現(xiàn)場(chǎng)，指揮應(yīng)急處理。414 紅色預(yù)警-一級(jí)預(yù)警的應(yīng)急響應(yīng)。機(jī)房值班人員發(fā)現(xiàn)故障后，立刻通知省中心網(wǎng)絡(luò)維護(hù)員和維護(hù)部門負(fù)責(zé)人，在半小時(shí)內(nèi)到達(dá)現(xiàn)場(chǎng)，確定故障情況后，上報(bào)省分行應(yīng)急辦公室，應(yīng)急辦公室上報(bào)省分行應(yīng)急領(lǐng)導(dǎo)小組，并向相關(guān)部門發(fā)布故障警報(bào)和預(yù)警級(jí)別。應(yīng)急辦公室和應(yīng)急領(lǐng)導(dǎo)小組在半小時(shí)內(nèi)到達(dá)現(xiàn)場(chǎng)，由應(yīng)急領(lǐng)導(dǎo)小組組織應(yīng)急處理，提出整體應(yīng)急方案，由技術(shù)應(yīng)急領(lǐng)導(dǎo)小組上報(bào)分行主要領(lǐng)導(dǎo)，待應(yīng)急方案批準(zhǔn)后實(shí)施。42設(shè)備應(yīng)急響應(yīng)。421 藍(lán)色預(yù)警-四級(jí)預(yù)警的應(yīng)急響應(yīng)。機(jī)房值班人員發(fā)現(xiàn)故

10、障后，立刻通知相關(guān)系統(tǒng)的維護(hù)技術(shù)人員，維護(hù)人員通過遠(yuǎn)程或到達(dá)現(xiàn)場(chǎng)的方式，經(jīng)一步確定故障的程度，并執(zhí)行一般故障處理流程。422 黃色預(yù)警-三級(jí)預(yù)警的應(yīng)急響應(yīng)。機(jī)房值班人員發(fā)現(xiàn)故障后，立刻通知相關(guān)系統(tǒng)的維護(hù)技術(shù)人員，維護(hù)人員和維護(hù)主管等半小時(shí)內(nèi)到達(dá)現(xiàn)場(chǎng)，執(zhí)行應(yīng)急處理流程，同時(shí)報(bào)告應(yīng)急辦公室。應(yīng)急處理完成后，維護(hù)人員和維護(hù)主管監(jiān)控系統(tǒng)運(yùn)行情況，確認(rèn)系統(tǒng)運(yùn)行平穩(wěn)后，方可離開現(xiàn)場(chǎng)，并上報(bào)應(yīng)急辦公室，應(yīng)急辦公室上報(bào)應(yīng)急領(lǐng)導(dǎo)小組。423 橙色預(yù)警-二級(jí)預(yù)警的應(yīng)急響應(yīng)。機(jī)房值班人員發(fā)現(xiàn)故障后，立刻通知相關(guān)系統(tǒng)的維護(hù)技術(shù)人員，維護(hù)人員和維護(hù)主管等半小時(shí)內(nèi)到達(dá)現(xiàn)場(chǎng)，確認(rèn)故障情況，報(bào)應(yīng)急辦公室，辦公室成員1小時(shí)內(nèi)到

11、達(dá)現(xiàn)場(chǎng)，指揮應(yīng)急處理，并上報(bào)應(yīng)急領(lǐng)導(dǎo)小組。如果是主機(jī)故障，啟動(dòng)主機(jī)應(yīng)急流程。其他故障，辦公室協(xié)同技術(shù)應(yīng)急小組，制定應(yīng)急方案，上報(bào)領(lǐng)導(dǎo)小組，并及時(shí)通知相關(guān)業(yè)務(wù)部門。必要時(shí)應(yīng)急領(lǐng)導(dǎo)小組到達(dá)現(xiàn)場(chǎng)指揮應(yīng)急處理。424 紅色預(yù)警-一級(jí)預(yù)警的應(yīng)急響應(yīng)。機(jī)房值班人員立刻上報(bào)應(yīng)急辦公室和應(yīng)急領(lǐng)導(dǎo)小組，各技術(shù)應(yīng)急小組、應(yīng)急辦公室、領(lǐng)導(dǎo)小組成員半小時(shí)內(nèi)到達(dá)現(xiàn)場(chǎng)。應(yīng)急辦公室通知相關(guān)業(yè)務(wù)部門，應(yīng)急領(lǐng)導(dǎo)小組上報(bào)省分行主要領(lǐng)導(dǎo)。應(yīng)急領(lǐng)導(dǎo)小組組織應(yīng)急方案，上報(bào)省分行主要領(lǐng)導(dǎo)，待方案批準(zhǔn)后，領(lǐng)導(dǎo)小組統(tǒng)一指揮應(yīng)急處理的實(shí)施。43系統(tǒng)應(yīng)急響應(yīng)431 藍(lán)色預(yù)警-四級(jí)預(yù)警的應(yīng)急響應(yīng)。相關(guān)系統(tǒng)的技術(shù)維護(hù)人員在發(fā)現(xiàn)故障后，向運(yùn)維主管報(bào)告

12、故障情況，維護(hù)主管組織技術(shù)人員登陸故障系統(tǒng)查找、分析故障原因，制定故障處理方案并實(shí)施。如果故障在48小時(shí)內(nèi)無法解決或情況迅速惡化，升級(jí)為黃色預(yù)警。432 黃色預(yù)警-三級(jí)預(yù)警的應(yīng)急響應(yīng)。相關(guān)系統(tǒng)的技術(shù)維護(hù)人員在發(fā)現(xiàn)故障后，向運(yùn)維主管報(bào)告故障情況，維護(hù)主管上報(bào)應(yīng)急辦公室，并在1小時(shí)內(nèi)到達(dá)現(xiàn)場(chǎng)，組織技術(shù)人員登陸故障系統(tǒng)查找、分析故障原因，制定故障處理方案并實(shí)施，處理情況報(bào)應(yīng)急辦公室。應(yīng)急辦公室及時(shí)匯總情況，并上報(bào)應(yīng)急領(lǐng)導(dǎo)小組。如果故障在2小時(shí)內(nèi)沒有得到解決，或情況進(jìn)一步惡化，則升級(jí)到橙色預(yù)警。433 橙色預(yù)警-二級(jí)預(yù)警的應(yīng)急響應(yīng)。機(jī)房值機(jī)人員或相關(guān)系統(tǒng)的技術(shù)維護(hù)人員在發(fā)現(xiàn)故障后，通知運(yùn)維主管，維護(hù)主管上報(bào)應(yīng)急辦公室。運(yùn)維主管組織技術(shù)人員半小時(shí)內(nèi)到達(dá)現(xiàn)場(chǎng)登陸故障系統(tǒng)進(jìn)行故障分析、診斷。應(yīng)急辦公室上報(bào)應(yīng)急領(lǐng)導(dǎo)小組，并發(fā)布故障預(yù)警級(jí)別，應(yīng)急辦公室和領(lǐng)導(dǎo)小組人員在半小時(shí)內(nèi)到達(dá)現(xiàn)場(chǎng)。應(yīng)急領(lǐng)導(dǎo)小組組織應(yīng)急方案的制定，并上報(bào)分行主要領(lǐng)導(dǎo)。由應(yīng)急辦公室組織應(yīng)急方案的實(shí)施，并及時(shí)向應(yīng)急領(lǐng)導(dǎo)小組和分行領(lǐng)導(dǎo)匯報(bào)應(yīng)急進(jìn)展情況。434 紅色預(yù)警-一級(jí)預(yù)警的應(yīng)急響應(yīng)。發(fā)生故障后，立刻報(bào)應(yīng)急辦公室和應(yīng)急領(lǐng)導(dǎo)小組，由應(yīng)急辦公室發(fā)布紅色預(yù)警。相關(guān)應(yīng)急小組盡快趕到現(xiàn)場(chǎng)。由應(yīng)急領(lǐng)導(dǎo)小組組織應(yīng)急處理。應(yīng)急