互聯網故障與投訴處理

總部網絡部

2012年5月目錄CMNET網絡管理規程CMNET投訴處理流程及案例CMNET故障定位方法目錄CMNET網絡管理規程維護組織機構與職責系統的日常維護和管理總部的相關流程質量管理CMNET網絡管理規程中國移動互聯網的維護管理采用統一領導、分級管理、分級負責的原則，在總部的統一領導下，總部及各省公司負責管轄范圍內中國移動互聯網的維護管理工作。CMNET網絡維護管理規定主要內容：維護組織機構與職責；總部網絡部主要職責；各省公司網絡維護部門主要職責；地市公司網絡維護部門主要職責；（具體內容見附件：互聯網維護管理規定(2011修正版）CMNET網絡管理規程CMNET是各項數據業務的承載網絡CMNET與其上承載的各業務系統維護分工界面如下：對于PS/IMS業務系統，維護分工界面是下掛業務系統設備至PS/IMS業務系統CE的接口，接口內側設備歸屬CMNET，接口外側設備歸屬各業務系統；對于管理信息系統、網管支撐系統等支撐系統，維護分工界面是各支撐系統CE設備至CMNET路由器的接口，接口內側設備歸屬CMNET，接口外側設備歸屬各支撐系統。CMNET要積極配合完成與GPRS、彩信、WAP、KJAVA、DSMP、郵箱、短信網關等有關的網絡調整工作，并配合進行相關測試。目錄CMNET網絡管理規程維護組織機構與職責系統的日常維護和管理總部的相關流程質量管理日常維護管理中國移動互聯網維護工作主要指設備網元和網絡層面的維護，包括系統本身及相關連接設備的定期檢測、數據備份、故障處理等。系統維護作業計劃的編制和實施對于CMNET骨干網，總部參照本規定中所規定的維護監測項目、周期和要求,制定詳細的作業計劃，并將部分作業計劃任務指派給設備所在省公司。總部和設備所在省公司按照分工職責分別執行作業計劃，設備所在省公司根據總部要求定期上報作業計劃執行情況和設備檢測結果，在設備檢測中一旦發現異常情況，應立即上報總部。對于CMNET省網，省公司參照本規定中所規定的維護監測項目、周期和要求，編制日常維護作業計劃并組織實施和定期檢查。對于CMNET城域網，各地市公司參照本規定及省公司維護管理實施細則編制并實施日常維護作業計劃，并定期將維護作業計劃的實施情況上報省公司。互聯網日常維護測試項目應包括以下內容類別項目周期備注設備檢查硬件系統檢查日設備資源利用率（CPU、內存、磁盤空間）檢查日DNS、RADIUS系統軟件進程檢查日DNS服務器配置文件完整性檢查周監測實時告警消息實時監控主備倒換測試半年系統各相關設備鏈路檢查鏈路通斷狀態日鏈路利用率日網絡檢查網絡連通性日網絡時延、丟包率檢查日DNS服務器解析成功率檢查日DNS服務器并發請求數（QPS）檢查日DNS服務器解析時延檢查日DNS服務器域名解析可用性檢查日重點域名解析準確性檢查日日常維護管理日常維護管理互聯網日常維護測試項目應包括以下內容數據備份應用系統數據及用戶數據備份月DNS系統配置文件備份季DNS系統域名解析日志備份季系統數據核查季日志文件備份周文件系統備份半年其他配合集團公司進行設備倒換、安全演練半年IP地址資料的檢查核對季端口資料的檢查核對月軟件版本核對月系統日志和操作日志安全審計月系統和軟件安全補丁安裝半年安全掃描半年現場看護機房電源、空調、溫濕度檢查日備品備件的清理核對季目錄CMNET網絡管理規程維護組織機構與職責系統的日常維護和管理總部的相關流程質量管理總部開放的網管手段給各省提供的總部網管手段已分配：骨干網設備查看權限各省上聯的骨干網設備查看權限賬號和SNMP的讀取口令字，集團通過工單調查下方責任人后下發。（5月完成）域名封堵系統前期已完成分配，可以查詢封堵的域名;詳見JT-001-110616-00032，JT-001-110928-00028;即將分配：數據網管賬號骨干網流量查看（網間、網內、省網上聯）;各省第三方流量;IP地址配置表;流控(包括骨干流控、第三方流控）給各省分配查看權限，可以查看流量報表;IP地址配置表;CMNET維護交流飛信群：53341031管理員劉博、樊川涉及總部的日常維護常用流程日常維護常用申請流程1域名和IP封堵查詢辦法，解封流程流程：域名封堵登陸流控系統查詢，IP封堵數據請查詢網絡部安全處工單。解封請聯系廣東不良信息監測中心。寬廣流控系統查詢，2011年工單已經分配各省查詢帳號，參見JT-001-110616-00032，JT-001-110928-00028）廣東不良信息監測中心，電郵箱wnfjdxxjha@不良信息監測系統數據調整流程：各省日常維護割接涉及不良信息監測系統調整，需通過emos派發通用任務工單給所屬大區中心省份處理，抄送集團。網站備案系統上報地址變更流程流程：網站備案系統由北京公司維護，各省上報DNS地址或涉及上報相關數據配置調整，需通過emos派發通用任務工單給北京公司處理，抄送集團。DNS域名解析數據制作的申請流程（含反向域名解析）流程：請各省上報OA公文申請制作。專線用戶接入等需骨干網配合完成路由策略的操作流程：請各省上報OA公文申請制作，需包含詳細方案。要求：寫明是否需穿透，是否獨立AS號，是否是移動IP等信息。骨干路由器接收策略掩碼長度不超過24位。IDC直連引入等需骨干網配合完成路由策略的操作流程：請各省上報OA公文申請制作，需包含詳細方案。要求：集團對網內及鐵通廣播，不對外廣播，骨干路由器接收策略掩碼長度不超過24位。涉及總部的日常維護常用流程日常維護常用申請流程2vip客戶保障目前保障方式有兩種1.各省骨干設備標記Qos_Gold標簽方式：保障大段地址，掩碼不超過/24，骨干出口設備優先廣播路由，通過保障鏈路吸引流量。2.流控系統白名單保障方式：在出口流控設備優先轉發，可保障單個IP源及目的地址。申請流程：需提交工單申請VIP保障，提交客戶地址及流量信息。流量調整本省出省流量各鏈路不均衡的情況，各省可以自行調整路由。調整前需查看總部數據網管流量報表，確保上行至出口的帶寬足夠。需上報EMOS工單申請。新建業務系統分配IP地址接入省網的系統，由省公司負責分配IP地址接入骨干網的系統，由集團分配。國際公司涉及的流程涉及國外網站投訴及故障，且定位為9808自治域外，由國際公司負責。國際公司AS為58453。國際公司EOMS開通前通過noc@投訴,抄送nnoc@郵箱，開通EMOS后通過EOMS派發國際公司，抄送集團。IDC引入資源未共享每月集團會通報分析IDC引入資源服務全網率，各省可針對測試結果，在本省進行測試，發現IDC省份引入資源未共享本省使用的域名，可派發省際投訴工單，由集團集中質檢。涉及總部的日常維護常用流程涉及到骨干網設備、鏈路的操作，不需要骨干網配合的（如鏈路調測、省內業務倒換測試、串接分光、流控等），需至少提前2個工作日提交EOMS通用工單上報，同時提交《工程告警預約表模板》。涉及到骨干網設備、鏈路的操作，且需骨干網配合操作的（省干設備替換、端口調整），需至少提前3個工作日提交EOMS申請工單，同時提交《工程告警預約表模板》，涉及鏈路或設備資源更新的需提交《鏈路資源更新表模板》。暫定模板如下：割接管理目錄CMNET網絡管理規程維護組織機構與職責系統的日常維護和管理總部的相關流程質量管理質量管理要求質量管理：為完善對互聯網各個環節的質量控制，應建立各級檢查體系。做到統一領導，分級管理，分工負責，層層到位，把好質量關。總部網絡部負責組織建立中國移動互聯網的質量分析制度：對于CMNET骨干網，總部網絡部負責定期匯總運行質量、網絡性能等指標，進行數據網運行質量分析，排除質量隱患，不斷提高網絡運行質量和服務質量。對CMNET骨干網與國內國際其他運營商間的互聯鏈路質量進行管理對于CMNET省網和城域網，省公司負責組織匯總整理運行質量、網絡性能等指標，進行質量分析，并將運行質量情況定期上報總部網絡部。CMNET北京DNS山東DNS天津DNS吉林DNS四川DNS上海DNS骨干DNS北京節點骨干DNS廣州節點……從集團向所有省份和骨干DNS發起解析請求，判斷引入資源是否正確指向和全網共享：測試省份IDC引入資源列表新浪騰訊北京網內聯通天津網內網內山東電信網內吉林網內網內四川網內網內上海網內網內。。。。。17內容質量管理指標：服務全網率某省網CMNET骨干網固定接入移動接入省網出口第三方出口地市接入IDCCache通過分析流量本網率指標，可以體現各省IDC、Cache、CDN等互聯網流量疏通支撐系統的綜合應用效果。提升流量本網率指標，也需要加強對本省用戶訪問熱點的分析，并加強IDC和Cache系統的流量協同。全網流量本網率=1-（第三方出口入流量+骨干國際國內出口入流量）/全國地市下行總流量。各省流量本網率=1-（本省第三方出口入流量+本省在骨干國際國內出口入流量）/該省地市下行總流量數據網管netflow統計其他運營商其他運營商數據網管省部接口上報CMNET性能管理報表省部接口上報統計內容質量管理指標：流量本網率從不同運營商接入點對引入資源以不同方式進行測試，對其質量進行比較，及時發現質量劣化并督促提升；MM/飛信/夢網郵箱CMNET終端設備接入及客戶網絡TD/WLAN…接入及客戶網絡CDMA2000ADSL骨干網接入網IDCChinaNETIDC網間鏈路IDC測試業務Webcache未來部署業務注：為貼近用戶感知，排除部分未引入網內質量較差頁面元素影響，頁面打開時延定義為測試頁面完成90%元素加載的時延。測試全部采用Wlan或固定寬度接入進行測試，排除無線環境影響，每次測試均清除本端Cache。內容質量管理指標：頁面打開時延目前數據部對各IDC省份下達的TOP1000網站列表，通過湖南做樣本省統計各省IDC引入網站的流量比例計算引入深度，衡量各IDC省份任務完成情況。騰訊引入深度計算網站名稱內容引入深度網站名稱內容引入深度騰訊45%宜搜17%淘寶93%開心網100%百度46%搜狗2%ucweb9%搜狐68%新浪85%風行網3%人人網79%開心聽100%360安全中心24%世紀佳緣62%阿里媽媽94%皮皮網100%鳳凰網68%盛大在線0%3G門戶71%貓撲1%金山毒霸3%太平洋電腦網0%華軍軟件2%紅袖添香0%網易17%總計54.40%TOP25網站引入深度騰訊的引入深度注：網站引入深度，即某網站已引入子域名總流量占該網站所有流量的比例后續分析指標：引入深度ICP引入深度=全國IDC該ICP全部子域名流量/（全國IDC該ICP全部子域名流量+網間出口統計該ICP全部子域名流量）。IDC省份引入深度=該省負責引入網站全部子域名在全國IDC中流量//（全國IDC該省負責引入網站全部子域名流量+網間出口統計該省負責引入網站全部子域名流量）。IDC流量樣本計劃從IDC流控系統統計，網間出口流控統計網間TOP1000網站子域名流量.后續工作計劃：部署基于BGP屬性的流量統計CMNET骨干網的流量類型可以分為全國31個省之間的互訪流量全國31個省到國內其他運營商（電信、聯通、鐵通、教育網等）的互訪流量全國31個省到國際運營商的流量全國25個IDC與全國31個省、國內出口、國際出口之間的互訪流量對上述流量進行精確的統計分析，掌握CMNET骨干網承載的各種流量類型的流向、大小、特性，對CMNET未來的網絡擴容規劃、高級業務的優先保證、精細化的運營有重要作用骨干網將會對上述流量進行精確的流量統計相比netflow的采樣，這種統計是針對每個數據包進行統計，非常精確可以得出省網間、IDC間、出口各個運營商方向的流量矩陣可以對各種流量進行基于內容的計費、QOS保證和限速的各種策略21CMNET、IDC流量統計的輸出流量矩陣省維度每個省到其他30個省的出入總流量每個省到所有25個IDC之間的出入總流量每個省到國內4大運營商方向的出入總流量每個省到國際方向的出入總流量IDC維度每個IDC到全國各省服務的出入總流量每個IDC為國內其他運營商方向的出入總流量每個IDC到國際方向的出入總流量總計CMNET全網的總流量每個省的總流量每個IDC的總流量國內每個運營商的總流量國際總流量各種類型流量的采集點流量類型二：各省、各IDC國內出網流量，采集點在CMNET國內出口BI路由器流量類型三：各省、各IDC的國際流量，采集點在CMNET國際出口域名管控設備流量類型一：省間互訪、IDC與省間互訪的流量，采集點在CMNET骨干的BC節點流量類型四：對于IDC通過省網上行的省份，本省用戶訪問本省IDC的流量，采集點在省網內部CMNET骨干網國內運營商網絡外部IDC國際運營商網絡POP點POP點國際BI國際域名管控國內BI省網A省網B國內BC國內BC省內IDC不同顏色代表不同的采集點各省需要配合的工作IDC機房的路由與省網路由單獨向CMNET宣告，不能合并各省向CMNET宣告的IDC機房路由，必須攜帶統一的路由屬性：Community值9808:2017、target:9808:10007各省直連引入的外部ISP，也需要向骨干網廣播時也需要攜帶上述Community以后CMNET將根據各省的IDCCommunity值來判斷IDC機房路由各省核對實際宣告的IDC網段，和以前向集團匯總的IDC網段是否有出入IP網段和前綴長度必須一樣以后各省IDC機房路由的更改，也需要攜帶條件1要求的的Community值IDC通過省網上聯CMNET的省份，需要在省內部署流量采集策略，來統計本省用戶訪問本省IDC的流量（參考附件要求）-另行附帶配置模板

目錄CMNET網絡管理規程CMNET投訴處理流程及案例CMNET故障定位方法CMNET投訴處理流程及案例CMNET骨干網故障處理流程CMNET投訴處理流程及案例CMNET省網和城域網故障處理流程CMNET投訴處理流程及案例測試環境說明：DNS解析情況業務測試抓包（可選，較復雜的故障需要進行此項測試）業務tracert情況：（tracert截圖）ping測試情況：測試時間（請注意忙閑時）CMNET投訴工單填寫要求一、現網測試情況確定該IP和域名是否在集團封堵列表之內。是否為DNS解析問題。是否為緩存問題。選取不同運營商電路測試，確定網站本身是否正常。是否第三方電路問題。是否骨干網問題。是否互聯互通出口問題。二、初步排查情況CMNET投訴處理流程及案例初步結論：(故障原因為地址遭集團封堵/DNS問題/web緩存問題/P2P緩存問題/第三方問題/省網問題/骨干網問題。)已采取措施：

(已通過本地第三方處理/需要總部協助處理等)CMNET投訴工單填寫要求三、預處理結論CMNET投訴工單填寫方法CMNET投訴表（樣例）

工單填寫要求工單填寫示例工單基本內容投訴用戶IP地址：X.X.X.X訪問域名或IP地址：WWW.X.COM投訴內容：無法打開XX網站，打開網站很慢等用戶網絡接入情況：專線、GPON，WLAN等緊急程度：非常緊急/緊急/一般現網測試情況測試環境說明：操作系統,源地址等DNS解析情況:是否正常業務測試抓包（可選，較復雜的故障需要進行此項測試）抓包測試情況業務tracert情況：路由跟蹤的路徑ping測試情況：ping結果測試時間（請注意忙閑時）

初步排查情況該IP和域名是否在集團封堵列表之內。是/否是否為DNS解析問題。是/否是否為緩存問題。是/否選取不同運營商電路測試，確定網站本身是否正常。是/否是否第三方電路問題。是/否是否骨干網問題。是/否是否互聯互通出口問題。是/否預處理情況初步結論地址遭集團封堵/DNS問題/web緩存問題/P2P緩存問題/第三方問題/省網問題/骨干網問題等已采取措施已通過本地第三方處理/需要總部協助處理等CMNET投訴處理流程及案例通過多個運營商的網絡對網站進行測試，判斷網站當前服務是否正常，如果均無法訪問則測試域名是否存在。查詢網站是否被封堵：查詢域名是否被封堵；查詢IP是否被封堵；檢查網站域名是否能正常解析；檢查域名對應IP屬于哪個運營商；檢查省公司上報的Ping測試結果；檢查省公司上報的Tracert結果；檢查路由情況：檢查《CMNET骨干網地址資源表》，確認該IP所在的路由器設備；登錄相關設備檢查下一跳的路由指向；如果下一跳進入對方運營商網內，則通過NNOC郵箱向對方投訴，如果下一跳是CMNET網內設備，則登錄該設備，檢查去源地址的路由是否正常；分析回程路由的問題，如發現回程路由到某點中斷，則參照根據斷點，參照第一步繼續處理，直到問題解決；案例1：用戶無法訪問網站CMNET投訴處理流程及案例確認用戶接入方式、訪問的網站地址，以及下載的速度。分析省公司測試結果：分析ping測試結果；分析Tracert結果；對照資料表，查找延遲大對應的設備：調整后通知省公司再次測試，反饋測試情況。案例2：用戶投訴上網速度慢首先檢查該網站是否被封堵（寬廣流控系統查詢，2011年工單已經分配，JT-001-110616-00032，JT-001-110928-00028）；如果封堵，聯系廣東不良信息監測中心電郵箱dwnfjdxxjha@。如果未查到封堵記錄，建議進行軟件抓包，匹配目的地址的TCP報文，如果有檢測到RST報文，可能是封堵，提供抓包結果并反饋總部協助定位。如果未檢測到TCPRST報文，上報投訴工單聯系集團公司排查網絡側、設備側，定位故障原因。建議同時在聯通、電信網內進行測試，以排除是網站自身原因。案例3：國際域名無法訪問CMNET投訴處理流程及案例目錄CMNET網絡管理規程CMNET投訴處理流程及案例CMNET故障定位方法CMNET故障定位方法對于CMNET骨干網總部負責故障處理及指揮調度，對于需要設備所在省和南方基地進行處理的故障，通過工單方式通知設備所在省和南方基地。設備所在省和南方基地負責配合總部進行故障處理或根據總部的工單要求進行相關故障處理。各省公司和南方基地若發現全國CMNET骨干網設備故障，應立即上報總部協調處理。對于CMNET省網由各省公司負責組織故障處理，必要時可商總部網絡部和其他省公司進行配合。對于CMNET城域網各地市公司接收省公司的故障工單，負責故障的處理工作。故障處理中的職責劃分CMNET故障定位方法業務故障由于CMNET設備不能正常運行、局數據設置錯誤、互聯互通故障、人為差錯等各種原因，造成CMNET相關業務質量下降甚至中斷。設備故障CMNET的主備用設備由于各種原因不能正常運行，對業務正常的運行造成隱患，但尚未影響業務。在業務故障和設備故障同時出現的情況下，定義為業務故障故障分類CMNET故障定位方法上報要求故障發現省必須在10分鐘內上報到總部網絡部。故障通報總部網絡部在發現緊急故障或接到省公司報告后，應將緊急故障通報業務受影響的省。故障跟蹤及處理總部和省公司按照分工職責，協調相關資源，搶通業務。若業務在短期內無法恢復，故障升級為重大故障，應按照重大故障的要求上報和處理。緊急故障：CMNET骨干網承載的某項或若干項業務中斷，造成全網或部分省用戶無法正常使用業務，稱為緊急故障CMNET故障定位方法以下情況發生任意一種即為重大故障由于各種原因，造成全國CMNET骨干網或各省CMNET網絡所承載的某項或若干項業務中斷（如國際/國內出入口互聯業務中斷、骨干網域名服務中斷、認證計費服務中斷、省內/地市出