天津移動業務支撐應急系統設計與實現DESIGNANDIMPLEMENTATIONTOTIANJINCMCCNGCRM/BOSSEMERGENCYSYSTEM領域計算機技術研究生李珅指導教師竇友眾企業導師張根泉天津大學軟件學院二零一三年三月獨創性聲明本人聲明所呈交的學位論文是本人在導師指導下進行的研究工作和取得的研究成果，除了文中特別加以標注和致謝之處外，論文中不包含其他人已經發表或撰寫過的研究成果，也不包含為獲得天津大學或其他教育機構的學位或證書而使用過的材料。與我一同工作的同志對本研究所做的任何貢獻均已在論文中作了明確的說明并表示了謝意。學位論文作者簽名簽字日期年月日學位論文版權使用授權書本學位論文作者完全了解天津大學有關保留、使用學位論文的規定。特授權天津大學可以將學位論文的全部或部分內容編入有關數據庫進行檢索，并采用影印、縮印或掃描等復制手段保存、匯編以供查閱和借閱。同意學校向國家有關部門或機構送交論文的復印件和磁盤。（保密的學位論文在解密后適用本授權說明）學位論文作者簽名導師簽名簽字日期年月日簽字日期年月日摘要目前中國移動集團天津公司NGCRM/BOSS系統的業務連續性保障體系有三種模式，一種是多節點負荷分擔方式，該方式主要用于系統接入層和業務邏輯層，有效地降低了個別節點故障對業務的影響程度；一種是容災模式，由于多年未升級，系統資源與生產中心已不匹配，在發生突發事件時，容災系統不能在特定的時間要求內全部或部分恢復關鍵業務功能；一種是雙機備份共享存儲（以下簡稱本地HA）方式，該方式主要用于系統核心層。對于系統核心層采用的本地HA模式來保障業務連續性，存在如下風險1由于核心系統IO量較大，如發生系統單節點宕機等嚴重故障可能會造成由于IO未及時寫入磁盤而產生的文件系統錯誤，導致備機啟動失敗。2人為因素、數據庫邏輯錯誤或者存儲故障造成的數據損壞從而引起業務中斷，本地HA將無法解決。NGCRM/BOSS系統全部業務要求724小時運行，存儲陣列的使用強度大大增加，沒有時間對存儲系統進行定期維修和保養。因此，當使用一段時間后，存儲系統的部件連續或同時出現故障的可能性增加。此外，隨著存儲系統的功能和性能越來越強，存儲系統內部的控制軟件也日趨復雜，就像一個操作系統，其本身也會出現故障或漏洞。部分省公司也曾經發生過由于存儲故障造成業務系統長時間停機、數據丟失的重大故障。3在系統割接、平臺軟硬件維護或應用版本升級等情況下，本地HA都將可能無法滿足業務連續性要求。4生產機房發生火災、泡水等情況下，多節點負載分擔和本地HA模式都不能保障業務連續性。本文將從應急系統的系統架構、建設實現、系統測試各方面對于上述風險及問題進行研究并逐一解決。關鍵詞業務支撐系統應急系統運營商ABSTRACTATPRESENTTHETIANJINNGCRM/BOSSBUSINESSCONTINUITYSECURITYSYSTEMHASTHREEMODES,ONEISAMULTINODELOADBALANCINGMODE,THISMODEISMAINLYUSEDFORSYSTEMACCESSLAYERANDBUSINESSLOGIC,EFFECTIVELYREDUCINGTHEINDIVIDUALNODEFAILURESTHEDEGREEOFINFLUENCEOFTHEBUSINESSADISASTERRECOVERYMODE,DUETOYEARSOFNOTUPGRADED,THESYSTEMRESOURCESANDPRODUCTIONCENTERDOESNOTMATCH,NOTWITHINASPECIFICTIMEREQUIREMENTSINWHOLEORINPART,TORESTORECRITICALBUSINESSFUNCTIONSINTHEEVENTOFANEMERGENCY,DISASTERRECOVERYSYSTEMADOUBLEBACKUPSHAREDSTORAGEHEREINAFTERREFERREDTOASTHELOCALHAMODE,WHICHISMAINLYUSEDFORTHECOREOFTHESYSTEMLAYERTHELOCALHAMODEFORTHESYSTEMCORELAYERTOPROTECTBUSINESSCONTINUITY,THEFOLLOWINGRISKS1DUETOTHELARGEAMOUNTOFCORESYSTEMIO,SUCHASTHEOCCURRENCEOFASERIOUSFAILUREOFTHESYSTEMSINGLENODEDOWNTIMEMAYCAUSEIOISNOTWRITTENTODISKFILESYSTEMERRORS,LEADINGTOTHEBACKUPMACHINEFAILEDTOSTART2DATACORRUPTIONCAUSEDBYHUMANFACTORS,DATABASELOGICERRORORSTORAGEFAILURECAUSINGBUSINESSINTERRUPTION,LOCALHAWILLNOTRESOLVEALLOFNGCRM/BOSSSYSTEMREQUIREMENTS724HOURSTORUN,GREATLYINCREASETHEINTENSITYOFUSEOFTHESTORAGEARRAY,DONOTHAVETIMEFORREGULARREPAIRANDMAINTENANCEOFTHESTORAGESYSTEMTHEREFORE,WHENUSEDFORAPERIODOFTIME,THECOMPONENTSOFTHESTORAGESYSTEMCONTINUOUSLYORATTHESAMETIMEINCREASETHEPROBABILITYOFFAILUREINADDITION,WITHTHEGROWINGFUNCTIONALITYANDPERFORMANCEOFSTORAGESYSTEMS,STORAGESYSTEMSWITHINTHECONTROLSOFTWAREAREBECOMINGINCREASINGLYCOMPLEX,ASANOPERATINGSYSTEM,WHICHITSELFWILLBEFAILUREORVULNERABILITYSOMEPROVINCESHAVEALSOUNDERGONEMAJORFAILUREOFTHEBUSINESSSYSTEMFORALONGTIMEDOWNTIME,DATALOSSDUETOASTORAGEFAILURE3INTHESYSTEMCUTOVER,PLATFORMHARDWAREANDSOFTWAREMAINTENANCEORAPPLICATIONUPGRADE,THELOCALHAMAYNOTBEABLETOMEETTHEREQUIREMENTSOFBUSINESSCONTINUITY4PRODUCTIONENGINEROOMFIRE,FLOODDAMAGEANDOTHERCIRCUMSTANCES,MULTINODELOADBALANCINGANDTHELOCALHAMODECANNOTGUARANTEEBUSINESSCONTINUITYFROMTHEEMERGENCYSYSTEMARCHITECTURE,CONSTRUCTION,IMPLEMENTATION,SYSTEMTESTINGALLASPECTSOFTHERISKSANDPROBLEMSANDSOLVETHEMONEBYONEKEYWORDSNGCRM/BOSS,EMERGENCYSYSTEM,TELECOMOPERATORS目錄目錄4第一章緒論111研究背景112研究目的及意義113研究的主要內容及論文結構2第二章天津移動業務支撐系統現狀分析及應急建設需求321系統現狀及風險分析3211功能現狀3212軟硬件配置現狀4213網絡組織現狀6214風險分析8215風險應對措施922應急建設需求11221業務建設范圍11222接管時間要求15223應急數據同步15223應急數據回切16223應急系統管理功能17第三章天津移動業務支撐應急系統技術研究1931持續數據保護技術CDP19311定義19312與現有數據保護手段對比19313總結2032基于J2EE的多層技術架構20321J2EE技術介紹20322J2EE四層模型20323J2EE結構223243J2EE優勢24325J2EE和NET體系結構比較26326總結29第四章天津移動業務支撐應急系統的建設方案3041應急系統定位3042應急系統與外圍系統邊界3343應急系統目標3444應急系統架構35441功能架構36442數據流設計41443物理部署47444外圍接口切換48445應急系統安全設計48446數據模型設計4945應急系統建設方案51451應急受理子系統51452應急管理平臺系統7246應急系統硬件及平臺軟件建設方案79461硬件平臺方案79462硬件配置方案和應用部署圖85463網絡環境87464系統軟件87第五章天津移動業務支撐應急系統應急場景的分析和確定8951應急場景89511應用分析89512分業務分析94513針對風險點的應急分析9452建設場景95521正常場景95522場景1網上營業廳應用切換場景96523場景2短信營業廳應用切換場景98524場景3聯指應用切換場景100525場景4客服應用切換場景103526場景5外圍接口應用切換場景105527場景6統一接入應用切換場景107528場景7CRM應用全切場景109529場景8全切場景112第六章天津移動業務支撐應急系統演練11661演練場景11662演練范圍11663演練流程116631生產系統切換到應急系統流程116632應急系統回切生產系統流程11964演練總結122第七章結論與展望125參考文獻126發表論文和參加科研情況說明127致謝128第一章緒論11研究背景中國移動業務支撐系統經過近幾年的集中化改造建設和不斷完善，經過NGBOSS（新一代業務運營支撐系統）建設，業務支撐系統已經在市場拓展、客戶服務等工作中發揮了重要的支撐作用，成為中國移動貫徹落實“服務與業務領先”戰略的有力手段。日益激烈的市場競爭和不斷提高的客戶服務質量需求對BOSS業務支撐能力和可靠穩定運行的要求越來越高，從面向客戶服務的角度而言，無論何時出現何種情況，都需要移動運營商提供不間斷的業務支撐服務，以保證客戶滿意度、客戶服務質量、企業信譽等不受影響，對企業而言也可避免財務損失，增強企業競爭力。與此同時，BOSS集中化改造、NGBOSS一階段和二階段建設在帶來業務快速響應等眾多優勢的同時，也存在著系統故障點集中、風險集中的危險，如系統故障、人為誤操作、火災、水災、傳輸中斷、電網停電等系統風險。因此，適時、合理地規劃和開展中國移動業務運營支撐系統應急保障體系建設，已經成為中國移動的重要任務。12研究目的及意義為保證業務持續運營，NGBOSS系統已經在系統架構上充分考慮其可靠性。NGCRM/BOSS系統的關鍵應用系統的服務器都進行了高可靠性（HA）設計，杜絕了單點故障導致業務中斷。在本地高可靠性的基礎上，為了在出現災難情況時（如地震、水災、火災、瘟疫、人為災難故障），能夠有效對系統和應用進行恢復，NGBOSS系統還建立了容災備份系統，實現了數據及應用的容災。但是，在某些故障（如數據庫磁盤故障、軟件錯誤等）發生時，HA并不能解決問題，同時由于這些故障預計能夠在短時間內（4小時以內）能夠解決，因此并沒有必須進行容災切換。在這種情況下，運營商需要有一個應急系統，能夠支持短時間的關鍵業務的運營生產，保證客戶感受不到業務的中斷。通過業務支撐應急系統的建設，建立業務支撐網的應急風險預防、應急響應機制和恢復措施，保證在發生突發事件時，能夠在特定的時間要求內，能夠全部或部分恢復關鍵業務功能，提高關鍵業務連續運行能力，提升服務質量和服務水平，并降低運營風險，將業務損失降低到可接受的程度，以增強企業競爭力。13研究的主要內容及論文結構本文主要是針對天津移動業務支撐應急系統技術方案的研究，通過對現狀的分析，確認系統建設范圍，設計系統功能及技術架構以完成整體的建設方案。并且通過對應急場景的歸納總結，保證方案的可實施性和有效性。論文主要分為以下章節第一章緒論，介紹了天津移動業務支撐應急系統的必要性和需解決的問題，提出了本文的研究內容及意義。第二章對目前天津移動業務支撐系統的現狀分析，確認建設方向、建設范圍及具體內容。第三章對天津移動業務支撐應急系統技術研究及選型。第四章介紹天津移動業務支撐應急系統的建設方案，包括系統架構設計、功能架構設計、各模塊設計、數據流設計、部署方案等。第五章為天津移動業務支撐應急系統的應急場景的分析和確定，包含各子系統的應急場景及相關流程，為項目建設提供了驗證依據。第六章為天津移動業務支撐應急系統演練方案及演練總結。第七章為結論與展望，對論文工作進行了總結，展示了本系統開發的主要成果及丞待完善的方面。第二章天津移動業務支撐系統現狀分析及應急建設需求21系統現狀及風險分析211功能現狀BOSS系統主要包括產品管理、信息管理、融合計費、綜合結算、綜合帳務、采集預處理、服務開通、合作伙伴管理、基礎管理等九大功能域，如下圖2111所示。CRM經營分析系統BOS網管合作伙伴系統合作伙伴系統銀行系統銀行系統國內其他運營商國內其他運營商寬帶PBOSADCSCPVCNMSMISOARADIUSBOS系統功能融合計費計費預處理計費引擎批價依據管理錯單管理計費控制控制范圍管理詳單管理高額管理融合計費計費預處理計費引擎批價依據管理錯單管理計費控制控制范圍管理詳單管理高額管理產品管理產品創建配置管理發布管理產品變更產品退出產品目錄管理產品管理產品創建配置管理發布管理產品變更產品退出產品目錄管理合作伙伴管理資質管理信息管理業務管理考核管理服務管理信息審核發布合作伙伴管理資質管理信息管理業務管理考核管理服務管理信息審核發布綜合結算結算預處理數據分發結算報表處理重單檢查對帳處理審核校驗結算批價結算調帳錯單回收處理結算帳務處理結算回退結算監管綜合結算結算預處理數據分發結算報表處理重單檢查對帳處理審核校驗結算批價結算調帳錯單回收處理結算帳務處理結算回退結算監管綜合帳務帳務管理帳務處理信用管理積分管理綜合帳務帳務管理帳務處理信用管理積分管理采集預處理采集預處理服務開通服務開通類定單管理工單管理開通與激活服務開通服務開通類定單管理工單管理開通與激活基礎管理系統管理業務局數據管理數據一致性管理統計報表管理計費帳務稽核基礎管理系統管理業務局數據管理數據一致性管理統計報表管理計費帳務稽核信息管理訂購信息管理客戶信息管理信息提供帳戶信息管理用戶信息管理信息接受與創建信息管理訂購信息管理客戶信息管理信息提供帳戶信息管理用戶信息管理信息接受與創建圖2111BOSS系統功能架構圖CRM系統主要包括渠道管理、市場營銷、銷售管理、客服服務、客服管理、產品管理、資源管理和基礎管理等八大功能域。功能結構如下圖2112所示。市場營銷銷售管理客戶服務客戶管理基礎管理報表統計系統管理任務管理工作管理人員管理工單管理知識管理資源管理資源生命周期管理資源倉儲管理資源信息管理營銷活動管理營銷信息管理銷售活動管理商機管理銷售文檔管理訂單管理服務請求管理客戶維系管理客戶信息管理帳戶信息管理客戶級別管理客戶信用度管理特殊名單用戶管理客戶服務密碼管理產品管理產品創建產品變更產品退出配置管理發布管理版本管理產品目錄管理渠道基礎平臺呼叫中心基礎平臺經營分析系統寬帶PBOSSBOSS中國移動外部系統外部合作伙伴BOSS總部客戶/合作伙伴/業務管理者/營銷人員/銷售人員/客服人員省業務支撐網外部系統OAMIS業務支撐網網管系統客戶信息視圖CRM系統功能短信WAP彩信EMAIL營業終端DSMP渠道管理渠道運營支撐渠道運營管理門戶自助終端資源調度管理圖2112CRM系統功能結構圖212軟硬件配置現狀BOSS/CRM生產中心配有8臺滿配置的IBMP595小型機，主機處理能力達到3420萬TPMC，主機配置如下表表2121BOSS/CRM系統主機配置情況表單臺設備配置情況系統劃分序號主機名稱數量（臺）型號CPU數量CPU主頻（GHZ）內存（GB）1計費數據庫CLUSTER111023482賬務數據庫CLUSTER111223723賬務應用CLUSTER1140233404連指1P595F223165計費數據庫CLUSTER211023486賬務數據庫CLUSTER211223727賬務應用CLUSTER2140233608連指1P595G223169連指服務器1P63021458BOSS系統10采集1P650B4145321OLCOM11B8022生產中心CR2網廳前置1P650C41458系統劃分序號主機名稱數量（臺）單臺設備配置情況型號CPU數量CPU主頻（GHZ）內存（GB）3DSMPWEB1P570A822304ESOP測試1P570B822305CRM前置1422206PB測試1P570C1222707CRMWEB2120191288一級BOSS（落地方）11619369電子渠道WEB服務器18194810ESOP118194811客服APP11P595A8196412CRMWEB11201912813一級BOSS（落地方）216193614電子渠道WEB服務器18194815ESOP218194816客服APP21P595B8196417CRMTUX21162312818接口TUX114236419統一接入平臺110236420CRM數據庫CLUSTER11P595C242312821CRMTUX11162312822接口TUX114236423統一接入平臺110236424CRM數據庫CLUSTER21P595D242312825一級BOSS（平臺，發起方）18234826BPM、容錯探針112239627CRM/ACTDB測試1162312828客服DB1110238029PBOSSDB1P595E8236430TOPTEADB1P595F2231631一級BOSS（數據指令）18234832服務開通112239633計費賬務應用測試1162316034客服DB2110238035PBOSSAPP1P595H8236436NG編譯18174837短信、充值營業廳18174838CRM開發181732M系統39營銷/一致性1P690C81732系統劃分序號主機名稱數量（臺）單臺設備配置情況型號CPU數量CPU主頻（GHZ）內存（GB）40CRM前置機18174841DSMPWEB18174842NG測試APP18172043歷史數據庫11P690D81740BOSS/CRM系統存儲配置情況如下表所示。表2122BOSS/CRM系統存儲配置情況表磁盤陣列系統劃分序號設備型號數量套磁盤配置裸容量TB1IBMESS8001470BOSS系統2IBMDS83001780生產中心CRM系統3IBMDS83001410BOSS系統容災中心CRM系統4IBMDS83001930磁帶庫系統劃分序號設備型號數量套裸容量TB生產中心BOSS/CRM共用5IBMTS35841120容災中心BOSS/CRM共用6IBMTS35841222SAN交換機系統劃分序號設備型號數量臺端口情況7IBMM482每臺配有532個光纖端口8IBMM142每臺配有516個光纖端口生產中心BOSS/CRM共用9IBMF325每臺配有32個2BB/S光纖口213網絡組織現狀為了充分保證BOSS/CRM系統的安全、可靠性，目前BOSS/CRM系統網絡共分為三層SAN存儲層、核心網絡層（內網）、接入網絡層（外網DMZ）。其中，計費應用、帳務應用、CRM數據庫、集中采集、測試、備份、統計分析、結算等核心服務器直接通過SAN交換機實現磁盤陣列、磁帶庫的存儲和備份；計費應用、帳務應用、CRM數據庫、集中采集、聯機指令、測試、備份、統計分析、結算等核心服務器屬于關鍵生產服務器，處于核心網絡層，分別連接在移通大廈20層2臺CATALYST6509核心內網交換機及移通大廈22層2臺QUIDWAYS8505核心內網交換機上；考慮到系統的安全可靠性，把與外界聯系緊密的服務器，如中間件、WEB、一級BOSS接口、DSMP接口、防病毒、認證、桌面管理系統、SOC服務器連接在IP1260防火墻上的DMZ區，即4臺C4506交換機上；與OA、客服、采集、營業廳等系統的連接均通過異構防火墻連接在接入的CATALYST6509交換機上。接入交換機CATALYST6509（外網）、千兆防火墻IP1260、核心交換機CATALYST6509（內網）組成BOSS系統的高速數據通道，采用負荷分擔的方式進行工作，確保系統穩定、可靠的運行。此外，隨著世紀大道IT機房的啟用，MIS、統一信息平臺和經營分析系統將陸續搬遷至相應機房；目前在世紀大道機房設有4臺CATALYST6509交換機，分別與移通大廈機房、南開工業園機房對應連接，實現信息化系統及經營分析系統與BOSS系統的互聯。網絡結構如下圖所示。圖2131BOSS及CRM系統網絡結構圖BOSS/CRM系統網絡設備配置情況如下表所示。表2131天津公司BOSS/CRM系統網絡設備配置情況表序號設備名稱或型號數量主要配置及說明備注1CATALYST6509交換機2分別配置2X48個10/100BASET電口，2X16個千兆光口，1個48口千兆光口。移通20樓，核心2CATALYST6509交換機2分別配置2X48個10/100BASET電口，2X16個千兆光口，1個48口千兆光口。南開工業園，核心3CATALYST6509交換機2分別配置2X48個10/100BASET電口，2X16個千兆光口移通20樓，連接外網4CATALYST6509交換機2分別配置2X48個10/100BASET電口，1X16個千兆光口南開工業園，連接外網5CATALYST4506交換機2分別配置1個控制卡（含2個光口）、1X6口GE卡，1個2GE32口10/100M板卡，1個18口光口板卡移通20樓6CATALYST4506交換機2分別配置1個控制卡（含2個光口）、1X6口GE卡，1個2GE32口10/100M板卡，1個18口光口板卡南開工業園7NOKIAIP1260千兆防火墻2分別配置2個雙端口千兆卡移通20樓8NOKIAIP1260千兆防火墻2分別配置2個雙端口千兆卡南開工業園9華為S8505交換機2分別配置1個48口10/1000電口板卡，1個48口光口板卡移通22樓，核心214風險分析目前天津公司NGBOSS系統的業務連續性保障體系有三種模式，一種是多節點負荷分擔方式，該方式主要用于系統接入層和業務邏輯層，有效地降低了個別節點故障對業務的影響程度；一種是磁帶庫、CDP和存儲底層復制實現的數據級容災（以下簡稱數據容災）方式，該方式其實只是實現了系統中主要業務數據的備份，沒有實現應用級容災，不能在發生突發事件時，在特定的時間（RTO）要求內，能夠全部或部分恢復關鍵業務功能；一種是雙機備份共享存儲（以下簡稱本地HA）方式，該方式主要用于系統核心層。對于系統核心層采用的本地HA模式來保障業務連續性，存在如下風險1由于核心系統IO量較大，如發生系統單節點宕機等嚴重故障可能會造成由于IO未及時寫入磁盤而產生的文件系統錯誤，導致備機啟動失敗。2人為因素、數據庫邏輯錯誤或者存儲故障造成的數據損壞從而引起業務中斷，本地HA將無法解決。NGCRM/BOSS系統全部業務要求724小時運行，存儲陣列的使用強度大大增加，沒有時間對存儲系統進行定期維修和保養。因此，當使用一段時間后，存儲系統的部件連續或同時出現故障的可能性增加。此外，隨著存儲系統的功能和性能越來越強，存儲系統內部的控制軟件也日趨復雜，就像一個操作系統，其本身也會出現故障或漏洞。部分省公司也曾經發生過由于存儲故障造成業務系統長時間停機、數據丟失的重大故障。3在系統割接、平臺軟硬件維護或應用版本升級等情況下，本地HA都將可能無法滿足業務連續性要求。4生產機房發生火災、泡水等情況下，多節點負載分擔和本地HA模式都不能保障業務連續性。215風險應對措施針對上述系統風險，可以通過應急系統的建設加以規避，以提高關鍵業務連續運行能力。應急系統是本地HA、多節點負載分擔等業務連續保障模式的輕量級補充，可實現關鍵業務的快速恢復。本地HA是系統核心層的整體恢復體系，通過啟動HA可以全面接管核心層生產系統。多節點負載分擔可以在生產機房未發生火災等情況下，確保業務連續性。歸納起來，主要有兩種情況下須進行生產系統至應急系統的切換一種是主動應急，生產系統進行平臺版本升級、應用版本上線、軟硬件更換、數據庫擴容等例行維護工作情況下，為了保障關鍵業務連續性，需要將生產系統切換到應急系統。一種是被動應急，生產系統的關鍵業務發生故障而且故障修復時間大于30分鐘的情況下，生產系統應切換到本地應急系統。具體如下1人為或數據庫邏輯等因素引起的數據損壞數據庫的邏輯錯誤或人為的操作失誤可能會導致生產中心關鍵系統數據庫均不可用，在此情況下須啟用應急系統。2應用版本升級場景目前NGCRM/BOSS系統有穩定的新業務上線流程，在上線前有著嚴格的測試流程。但是由于NGCRM/BOSS業務關聯性強，前期的測試有可能沒有覆蓋所有的業務流程。上線后，可能造成系統運行不穩定或者部分業務受理結果不正確。在此情況下，必須采取措施，避免錯誤繼續擴大，同時需要回退更新。3前臺業務受理中斷場景由于系統硬件、軟件、網絡故障導致實體、電子渠道業務受理中斷，引起客戶投訴與抱怨，為了降低客戶投訴率，可以切換至應急系統滿足關鍵業務的連續性受理。4系統割接場景在進行系統割接時，為了不影響用戶滿意度以及集團的考核，可以切換到應急系統來滿足關鍵業務的連續性。（如自動臺的余額查詢、空中充值等）。5硬件維護場景在系統維護過程中，可能會出現IBM/SUN/HP主機、網絡設備、存儲設備硬件維護或硬件微碼升級的情況，可以切換到應急系統來保證關鍵業務的連續性。（如IBM/SUN/HP硬件更換）。6平臺軟件維護場景在系統維護過程中，可能會出現數據庫需要補丁升級需要重啟等情況，可以切換到應急系統來保證關鍵業務的連續性。（如ORACLE/TEXUDO/WEBLOGIC軟件補丁升級）。7前臺業務受理中斷場景由于系統硬件、軟件、網絡故障導致實體、電子渠道業務受理中斷，引起客戶投訴與抱怨，為了降低客戶投訴率，可以切換至應急系統滿足關鍵業務的連續性受理。8生產機房發生火災或泡水情況22應急建設需求221業務建設范圍應急系統基礎建設階段包括渠道及主要功能如下2211營業前臺應急功能在生產系統切換至應急系統后，營業前臺渠道應支持如下表格22111所示的業務受理、信息查詢及其他輔助功能。表22111營業前臺應急功能表業務功能功能域功能說明備注開戶業務受理可為客戶建立檔案、開通客戶訂購的移動服務及客戶付費信息充值業務受理可為用戶進行充值的服務充值應至少包括前臺現金充值、充值卡充值、空中充值三種。繳費業務受理可為用戶進行繳費服務停復機業務受理可為用戶提供停機、復機的服務補換卡業務受理可實現對SIM卡的寫卡處理，實現IMSI碼與ICCID碼綁定，同時開通鑒權服務用戶資料查詢信息查詢可查詢用戶的準實時資料，如姓名、證件號碼等信息余額查詢信息查詢查詢用戶余額準實時數據信息積分查詢信息查詢可查詢用戶的準實時積分值信息賬單查詢信息查詢可查詢用戶的準實時消費賬單信息PUK碼查詢信息查詢可為用戶提供查詢PUK碼的服務家庭充值/繳費業務受理可為家庭用戶提供充值或繳費服務集團充值/繳費業務受理可為集團用戶提供充值或繳費服務套餐變更業務受理可為用戶提供各類產品套餐的變更服務營銷方案業務受理可為用戶提供營銷方案的辦理及撤銷服務號源查詢信息查詢可提供號源的查詢服務親情組合及查詢信息查詢可為用戶提供親情號碼組合受理及查詢服務用戶訂購信息查詢信息查詢可提供用戶的營銷方案、已開通業務、附加功能、增值業務、夢網業務、自有業務、國際功能的查詢服務查詢GPRS流量信息查詢可查詢用戶準實時的GPRS流量信息清單查詢信息查詢可查詢用戶準實時的清單信息2212客服系統應急功能在生產系統切換至應急系統后，客服系統應提供如下表格22121所示的基本業務及用戶信息資料查詢功能。表22121客服系統應急功能表業務功能渠道功能域功能說明備注密碼校驗人工臺/自動臺信息查詢可對用戶輸入的密碼進行正確性校驗用戶資料查詢人工臺/自動臺信息查詢可查詢用戶的準實時資料信息余額查詢人工臺/自動臺信息查詢查詢用戶余額準實時數據信息積分查詢人工臺/自動臺信息查詢可查詢用戶的準實時積分值信息申請停復機人工臺業務受理可為用戶提供停機、復機的服務用戶訂購信息查詢人工臺信息查詢可提供用戶的營銷方案、已開通業務、附加功能、增值業務、夢網業務、自有業務、國際功能的查詢服務賬單查詢人工臺信息查詢可查詢用戶的消費準實時賬單信息PUK碼查詢人工臺信息查詢可為用戶提供查詢PUK碼的服務親情組合及查詢人工臺業務受理可為用戶提供親情號碼組合受理及查詢服務查詢GPRS流量人工臺信息查詢可查詢用戶準實時的GPRS流量信息清單查詢人工臺信息查詢可查詢用戶準實時的清單信息套餐變更人工臺業務受理可提供為用戶辦理套餐產品變更的服務查詢有效期自動臺信息查詢可查詢賬戶余額的有效期時間信息話費查詢自動臺信息查詢可查詢用戶話費準實時信息欠費信息查詢自動臺信息查詢可查詢用戶欠費準實時信息2213電子渠道應急功能22131網上營業廳網上營業廳在生產系統切換至應急系統后，可支持如下表格221311所示的業務受理、信息查詢及其他輔助功能。表221311網上營業廳應急功能表業務功能功能域功能說明密碼驗證業務受理可對用戶輸入的密碼進行正確性校驗用戶資料查詢信息查詢可查詢用戶的準實時資料，如姓名、證件號碼等信息余額查詢信息查詢查詢用戶余額準實時數據信息查詢GPRS流量信息查詢可查詢用戶準實時的GPRS流量信息賬單查詢信息查詢可查詢用戶的消費準實時賬單信息清單查詢信息查詢可查詢用戶準實時的清單信息網上充值卡充值業務受理可支持網上營業廳通過充值卡進行充值的服務停復機業務受理可為用戶提供停機、復機的服務套餐變更業務受理可為用戶提供各類產品套餐的變更服務親情組合及查詢業務受理可為用戶提供親情號碼組合受理及查詢服務用戶訂購信息查詢信息查詢可提供用戶的營銷方案、已開通業務、附加功能、增值業務、夢網業務、自有業務、國際功能的查詢服務PUK碼查詢信息查詢可為用戶提供查詢PUK碼的服務22132掌上營業廳掌上營業廳在生產系統切換至應急系統后，可支持如下表格221321所示的業務受理、信息查詢及其他輔助功能。表221321掌上營業廳應急功能表業務功能功能域功能說明密碼驗證業務受理可對用戶輸入的密碼進行正確性校驗用戶資料查詢信息查詢可查詢用戶的準實時資料，如姓名、證件號碼等信息余額查詢信息查詢查詢用戶余額準實時數據信息查詢GPRS流量信息查詢可查詢用戶準實時的GPRS流量信息賬單查詢信息查詢可查詢用戶的消費準實時賬單信息清單查詢信息查詢可查詢用戶準實時的清單信息網上充值卡充值業務受理可支持網上營業廳通過充值卡進行充值的服務停復機業務受理可為用戶提供停機、復機的服務套餐變更業務受理可為用戶提供各類產品套餐的變更服務親情組合及查詢業務受理可為用戶提供親情號碼組合受理及查詢服務用戶訂購信息查詢信息查詢可提供用戶的營銷方案、已開通業務、附加功能、增值業務、夢網業務、自有業務、國際功能的查詢服務PUK碼查詢信息查詢可為用戶提供查詢PUK碼的服務22133短信營業廳短信營業廳在生產系統切換至應急系統后，可支持如下表格221331所示的業務受理、信息查詢及其他輔助功能。表221331短信營業廳應急功能表業務功能功能域功能說明密碼驗證業務受理可對用戶輸入的密碼進行正確性校驗用戶資料查詢信息查詢可查詢用戶的準實時資料，如姓名、證件號碼等信息余額查詢信息查詢查詢用戶余額準實時數據信息查詢GPRS流量信息查詢可查詢用戶準實時的GPRS流量信息賬單查詢信息查詢可查詢用戶的消費準實時賬單信息清單查詢信息查詢可查詢用戶準實時的清單信息網上充值卡充值業務受理可支持網上營業廳通過充值卡進行充值的服務停復機業務受理可為用戶提供停機、復機的服務套餐變更業務受理可為用戶提供各類產品套餐的變更服務親情組合及查詢業務受理可為用戶提供親情號碼組合受理及查詢服務用戶訂購信息查詢信息查詢可提供用戶的營銷方案、已開通業務、附加功能、增值業務、夢網業務、自有業務、國際功能的查詢服務PUK碼查詢信息查詢可為用戶提供查詢PUK碼的服務2214網絡中斷網絡中斷業務受理流程1在網絡出現問題時，應急系統只在本機進行繳費信息的記錄，生成繳費記錄文件，不做任何后續操作；2網絡正常而生產系統未恢復時，執行應急繳費提交，根據配置的應急系統繳費流程，完成相關應急操作；3生產系統正常后，同步應急數據到生產系統。如圖22141所示應急繳費本機記錄應急繳費提交網絡非正常網絡正常生產系統提交生產系統正常圖22141網絡中斷業務受理流程圖2215輔助功能除以上提及的影響用戶的業務應急功能之外，為了更加的完善應急系統的支撐能力，應急系統應提供如下表格22151所示的基礎輔助功能。如下表所示表22151輔助功能表業務功能渠道功能域功能說明備注應急業務流水查詢人工臺信息查詢可查詢到應急系統中受理業務的應急流水信息含操作員、受理時間、業務套餐等信息公告營業前臺、客服系統、電子渠道信息發布通知對用戶的解釋口徑，影響范圍等信息短信發送營業前臺、客服系統、電子渠道信息發布在應急系統中受理業務，給用戶發送短信模板需與生產系統中有所區別，提前告知用戶業務的生效時間以正式短信內容為準。222接管時間要求應急系統的數據是生產系統以準實時的方式同步，應急系統在接收到應急切換命令后，30分鐘內能完全接管定義好的生產系統的關鍵業務。223應急數據同步為支持應急系統的業務受理，應急系統需要從生產系統中復制以下數據1CRM數據庫業務參數及系統參數客戶資料用戶資料帳戶資料付費關系資源資料。2客服數據庫工號信息。3帳務管理數據庫業務參數及系統參數三戶資料實時余額信息存折信息積分信息。4計費數據庫實時賬單信息實時清單信息。CRM數據庫、客服數據庫和帳務管理數據庫中的數據，采用第三方軟件（DSGREALSYNC/ORACLEGOLDENGATE/QUESTSHAREPLEX等）將應急業務需要的相關數據準實時從生產系統同步到應急系統。計費數據庫中的數據通過應用改造的方式來同步，生產系統生成一份賬單文件和清單文件送到應急系統，應急系統使用入庫進程入到應急數據庫中，保證兩個系統的數據一致性。223應急數據回切在生產系統恢復后，應急系統需要把故障期間的業務受理數據提交到生產系統。同時服務開通工單表（日志）也需要合并到BOSS生產系統。應急交易數據提交需要將應急期間的業務受理交易數據和繳費交易提交到BOSS生產系統。應急交易數據提交需要對提交流量進行控制，避免對恢復后的生產系統正常處理產生影響。同時需要標識應急交易提交中發生錯誤的交易，供人工核對處理。對業務受理交易，將訂單及臺帳相關數據搬到生產系統，重跑相關訂單，因資料修改并不是完全在完工流程中完成，有部分業務在登記時已經修改，需要改造現有的完工流程，增加修改資料的環節，且回切業務不需要發指令。對繳費類交易，應急系統發生的繳費相關數據導到ACT生產庫，其中預存、結余數據需要更新到賬務物理庫和ALTIBASE。對查詢類業務，還需要將相關日志，臺帳等導到生產系統，以便后續的查詢。223應急系統管理功能1應急系統版本管理對應急系統軟件的版本進行檢查、監控，記錄生產系統與應急系統軟件配置文件和運行環境參數的差異，保證應急系統可執行代碼與生系統同步升級，并記錄應用軟件版本升級軌跡。主要包括版本注冊、版本一致性檢查、版本更新控制、版本發布管理、版本更新等內容。通過應急系統建立版本管理機制，自動完成生產系統、應急系統相應環境配置、軟件版本號、軟件更新日期等信息比對，對版本差異進行告警發送，提醒維護人員及時進行關注并處理。2應急系統數據管理為保證應急系統在必要的時候能夠及時接管生產系統，應急系統與生產系統的數據需保持一致性、完整性，應在應急系統中建立起與生產系統的數據同步審查機制，并通過數據核對幫助生產系統發現可能出現的問題，進一步完善和優化生產系統和應急系統。應急系統數據管理主要包括稽核配置管理、數據采集管理、數據比對管理、數據同步管理。對各數據管理各功能模塊異常狀態進行監控，異常時進行告警發送，提醒維護人員及時進行關注并處理。3應急系統切換管理包括對應急系統組織、人員、角色、權限的管理，明確應急系統組織架構，確保應急系統切換過程的有序進行。收到切換指令后自動修改或人工修改接口地址并測試，保證應急系統能夠正常運行。生產系統恢復正常后，需要進行回切操作。切換管理系統主要包括人員管理、權限管理、切換管理、回切管理。根據應急系統組織機構，對不同的人員角色賦予不同的權限，要求管理平臺界面化展示當前狀態，操作人員實施一鍵式切換和回切操作，避免人為操作失誤帶來的切換風險。4應急系統演習管理負責規劃應急系統應急演習的相關流程與任務，通過系統切換和系統回切的操作，驗證應急系統可用性和可靠性。5應急系統監控管理實時監控應急系統的所有設備是否處于健康狀態，監控應急系統軟件的關鍵點，建立故障告警機制，保證應急系統的可用性。（需要和TOPTEA/BOMC進行分工）。6應急系統公告管理告知應急切換原因，預計恢復時間，對用戶的解釋口徑。第三章天津移動業務支撐應急系統技術研究持續數據保護技術CDP311定義持續數據保護CDP是一套技術手段，它可以捕獲或跟蹤數據的變化，并將其獨立存放在生產數據之外，以確保數據可以恢復到過去的任意時間點。持續數據保護系統可以基于塊、文件或應用實現，可以為恢復對象提供足夠細的恢復粒度，實現幾乎無限多的恢復時間點。312與現有數據保護手段對比CDP出現，是為有效彌補傳統數據容災保護手段不足而產生的。CDPVS傳統備份傳統的數據保護解決方案專注在對數據的周期性備份上，因此一直伴隨有備份窗口、數據一致性和對生產系統的影響等問題。實際上，傳統數據保護技術中采用的是對“單一時間點（SINGLEPOINTINTIME）”的數據拷貝進行管理的模式，而CDP可以實現對“任意時間點（ANYPOINTINTIME）”的數據訪問，因此可以大大提高數據恢復點目標（RPO）。備份技術實現的數據保護間隔一般為24小時，因此用戶會面臨數據丟失多達24小時的風險，采用快照技術，可以將數據的丟失量風險降低到幾個小時之內，而CDP能夠實現的數據丟失量可以降低到秒級。CDPVS數據復制（磁盤鏡像）另外一種在數據容災中常見的數據保護技術是復制技術，它可以通過與生產數據的同步獲得數據的最新狀態，但其無法規避有人為的邏輯錯誤或病毒攻擊所造成的數據丟失。當生產數據由于以上原因導致數據遭到破壞時（例如數據被誤刪除），復制技術會將遭到破壞的數據狀態同步到容災數據存儲，使容災數據也受到破壞。而CDP系統可以使數據狀態恢復到數據遭到破壞之前的任意一個時間點，因而消除了復制技術所含的風險。313總結為了保障業務支撐應急系統能夠支持短時間的關鍵業務的運營生產，本系統選擇持續數據保護CDP技術進行建設。32基于J2EE的多層技術架構321J2EE技術介紹J2EE是JAVA2平臺企業版（JAVA2PLATFORM,ENTERPRISEEDITION）。J2EE核心是一組技術規范與指南，其中所包含的各類組件、服務架構及技術層次，均有共同的標準及規格，讓各種依循J2EE架構的不同平臺之間，存在良好的兼容性，解決過去企業后端使用的信息產品彼此之間無法兼容，企業內部或外部難以互通的窘境。322J2EE四層模型J2EE使用多層的分布式應用模型，應用邏輯按功能劃分為組件，各個應用組件根據他們所在的層分布在不同的機器上。事實上，SUN設計J2EE的初衷正是為了解決兩層模式CLIENT/SERVER的弊端，在傳統模式中，客戶端擔當了過多的角色而顯得臃腫，在這種模式中，第一次部署的時候比較容易，但難于升級或改進，可伸展性也不理想，而且經常基于某種專有的協議，通常是某種數據庫協議。它使得重用業務邏輯和界面邏輯非常困難。現在J2EE的多層企業級應用模型將兩層化模型中的不同層面切分成許多層。一個多層化應用能夠為不同的每種服務提供一個獨立的層，以下是J2EE典型的四層結構運行在客戶端機器上的客戶層組件運行在J2EE服務器上的WEB層組件運行在J2EE服務器上的業務邏輯層組件運行在EIS服務器上的企業信息系統ENTERPRISEINFORMATIONSYSTEM層軟件如圖3221所示圖3221J2EE四層結構客戶層組件J2EE應用程序可以是基于WEB方式的,也可以是基于傳統方式的。WEB層組件J2EEWEB層組件可以是JSP頁面或SERVLETS按照J2EE規范，靜態的HTML頁面和APPLETS不算是WEB層組件。正如下圖3222所示的客戶層那樣，WEB層可能包含某些JAVABEAN對象來處理用戶輸入，并把輸入發送給運行在業務層上的ENTERPRISEBEAN來進行處理。圖3222WEB層組件圖業務層組件業務層代碼的邏輯用來滿足銀行，零售，金融等特殊商務領域的需要,由運行在業務層上的ENTERPRISEBEAN進行處理下圖3223表明了一個ENTERPRISEBEAN是如何從客戶端程序接收數據，進行處理如果必要的話,并發送到EIS層儲存的，這個過程也可以逆向進行。有三種企業級的BEAN會話SESSIONBEANS,實體ENTITYBEANS,和消息驅動MESSAGEDRIVENBEANS會話BEAN表示與客戶端程序的臨時交互當客戶端程序執行完后,會話BEAN和相關數據就會消失相反,實體BEAN表示數據庫的表中一行永久的記錄當客戶端程序中止或服務器關閉時,就會有潛在的服務保證實體BEAN的數據得以保存消息驅動BEAN結合了會話BEAN和JMS的消息監聽器的特性,允許一個業務層組件異步接收JMS消息。圖3223業務層組件圖企業信息系統層企業信息系統層處理企業信息系統軟件包括企業基礎建設系統例如企業資源計劃ERP,大型機事務處理,數據庫系統,和其它的遺留信息系統例如，J2EE應用組件可能為了數據庫連接需要訪問企業信息系統。323J2EE結構這種基于組件，具有平臺無關性的J2EE結構使得J2EE程序的編寫十分簡單，因為業務邏輯被封裝成可復用的組件，并且J2EE服務器以容器的形式為所有的組件類型提供后臺服務因為不用自己開發這種服務,所以我們可以集中精力解決手頭的業務問題1容器和服務容器設置定制了J2EE服務器所提供得內在支持，包括安全，事務管理，JNDIJAVANAMINGANDDIRECTORYINTERFACE尋址,遠程連接等服務，以下列出最重要的幾種服務J2EE安全SECURITY模型可以讓你配置WEB組件或ENTERPRISEBEAN,這樣只有被授權的用戶才能訪問系統資源每一客戶屬于一個特別的角色，而每個角色只允許激活特定的方法。你應在ENTERPRISEBEAN的布置描述中聲明角色和可被