網絡質量是通信企業生命線 告警關聯項目推廣介紹 廣東公司 2009年 11月 - 2 - /webmoney 目錄 告警關聯功能部署驗證方法 1 告警關聯規則優化方法 2 3 告警關聯指標分析方法 - 3 - /webmoney 告警關聯項目全生命周期 制定 驗證 修改 審核 中國移動告警關聯規則梳理表 現網驗證 分析優化 專家評審會 持續改進型- 4 - /webmoney 告警關聯功能整體部署步驟 告警關聯效果優化 關聯效果異常分析 關聯效果優化分析 告警關聯功能部署 功能部署 規則部署 功能驗證 規則驗證 告警關聯功能開發 關聯規則配置 告警關聯功能 告警關聯規則梳理 規則梳理 規則審核 各省 在現網部署告警關聯程序 各省 選擇關聯規則在現網中部署 各省 對告警關聯功能進行驗證，包括規則生成、入庫、呈現、派單。 各省 對關聯規則驗證失敗的進行詳細分析不優化修改 各省 對已產生關聯的關聯規則進行關聯條件的優化分析 由 業務人員 對告警關聯規則進行梳理 由 牽頭省 對告警關聯規則進行評審幵發布 由 廠家 對告警關聯功能進行開發 由 廠家 對關聯規則進行配置開發 - 5 - /webmoney 告警關聯功能部署廣東工作時間表 7月 7月底 8月 功能開發 功能部署 關聯規則驗證分析 網管廠家對告警關聯功能進行開發與測試 根據已評審過的關聯規則，開發所有規則配置腳本文件，并進行測試 在現網中部署告警關聯主程序，配置告警關聯規則 從關聯規則部署，關聯告警生成、呈現、入庫、派單進行驗證 解決現網運行過程中產生的各類問題，確保功能穩定。 對已有關聯告警生成的規則，進行合理性的驗證 對在現網環境下無法產生關聯告警的規則進行分析，更正并優化關聯規則條件 5月 規則梳理 對告警關聯梳理表按牽頭省進行梳理 告警關聯規則梳理表評審 11月 告警關聯分析推廣 根據試點省前期告警關聯功能在現網中部署驗證的情況進行經驗總結 向全國推廣告警關聯分析功能 - 6 - /webmoney 告警關聯程序部署 廣東公司共在現網中部署告警關聯規則 80條，涵蓋了愛立信和華為兩個廠家的所有主次和衍生關聯規則 廠 家 規 則 類 型 總 數 愛立信 主次關聯 15條 衍生關聯 9條 華為 主次關聯 30條 衍生關聯 26條 廣東在現網中累計成功驗證了 45條告警關聯規則，總體驗證率為 56.25。 還未驗證成功的關聯規則共 37條，其中愛立信 5條，華為30條。 廠家 規則類型 總 數 驗證數 驗證率 合計 愛立信 主次關聯 15 11 73.3% 79.2% 衍生關聯 9 8 88.9% 華為 主次關聯 30 16 53.3% 46.4% 衍生關聯 26 10 38.5% - 7 - /webmoney 告警關聯功能部署方法 告警關聯功能部署 功能部署 規則部署 功能驗證 規則驗證 每一條關聯規則都有一個對應的XML配置文件，里面定義了告警關聯名稱，告警關聯類型，父告警和子告警（以網管告警 ID告警標題唯一識別一條告警），告警關聯量值（ X：時間窗和 Y：數量基線），告警關聯規則條件。衍生告警正文等。 1、告警關聯主程序； 2、告警關聯規則配置模塊； 3、告警關聯 KPI報表程序； 各省從告警關聯梳理表中選擇現網設備相關的關聯規則進行部署 各省拿到告警關聯程序包后在現網部署功能 1、告警關聯正常運作 2、告警關聯規則配置模塊是否生效 3、告警關聯 KPI報表是否正常生成 1、規則配置文件是否與告警多維梳理表的關聯規則一致 2、關聯告警能否正確生成 驗證告警關聯規則的正確性 測試告警關聯主程序各項功能的可用性和穩定性 - 8 - /webmoney 告警關聯功能驗證方法 功能驗證 建議： 各省在告警關聯程序部署的初期，必須密切留意告警關聯各功能程序的運行狀態以及不其相關的周邊功能的狀態，確保告警關聯程序異常能夠及時發現和處理，且丌影響其他功能的正常運作。 告警關聯主程序 關聯告警能夠正常生成 關聯告警能夠正常呈現入庫，能查詢歷史關聯告警 界面上有關聯拓撲圖功能 衍生告警信息不梳理表一致 告警關聯規則配置模塊 能夠查詢告警關聯規則配置 能夠修改告警關聯規則的量值（ X和 Y），幵生效 能夠啟用 /禁用告警關聯規則，幵生效 告警關聯 KPI報表程序 能夠每天生成正確的報表 報表數據無缺數 報表數據無小于 0，百分比超 100的數據邏輯錯誤 報表數據無算法錯誤，如“關聯成功數”大于“匹配告警數” 客戶端程序不告警庫驗證 界面不配置文件驗證 報表程序不數據源驗證 - 9 - /webmoney 告警關聯功能部署舉例 1、衍生告警存在告警指紋重復問題 廣東發現關聯分析主程序生成的衍生告警指紋重復，影響到后續的告警歷史庫的同步，直接引發告警系統占用主機資源嚴重而使主機崩潰。 【 解決過程 】 已升級新的關聯分析主程序，加上內部程序的唯一碼判重，可以保證生成的告警指紋唯一。 【 經驗分享 】 要 留意關聯告警的入庫情況 ，及時發現入庫異常。 2、不需關注的告警屏蔽 告警關聯程序部署中發現，有丌需要被處理的告警進入了關聯，產生了丌需要處理的告警關聯。 【 解決過程 】 告警關聯功能要處理的告警應為 1 3級告警、非工程告警和非退網網元的告警，在告警關聯主程序的入口處應該進行告警過濾，屏蔽了四級告警、工程告警以及退網網元，只保留現網有業務告警。 【 經驗分享 】 告警關聯功能的入口應是需要被關注和需要被處理的告警，在實施過程中應該予以限制。 - 10 - /webmoney 告警關聯規則驗證方法 規則驗證 建議： 各省在告警關聯規則部署中，必須先核查關聯規則配置文件，確保不告警關聯規則梳理表一致，以免日后驗證工作中增添干擾源。 關聯規則 配置文件 表征：某告警關聯規則無法生成關聯，無匹配告警 檢查項： 1、網管告警 ID 2、告警標題 3、網元類型 4、告警關聯類型 5、量值設置 6、告警關聯規則條件 一般問題出現在 1、 2點 目標：兩者信息完全一致 前提 驗證 建議采取在測試環境中，人工生成所有規則的告警，進行要部署規則的測試驗證。 目標： 驗證率 100，規則中的問題必須在現網部署前全部解決。 - 11 - /webmoney 告警關聯功能部署舉例 1、愛立信主次 -基站低壓引起小區退服規則 【 問題描述 】 該規則一直無法產生關聯告警，且僅能匹配一種告警，另外一種無法匹配。 【 解決過程 】 經查看告警關聯規則 XML配置文件，發現其中主告警“ RADIO X-CEIVER ADMINISTRATION BTS EXTERNAL FAULT”告警標題寫成“ RADIO X-CEIVER ADMINISTRATION”，導致該類告警無法進入此關聯規則，最終導致無法產生關聯告警。更新規則后在現網驗證，已有關聯告警產生，問題解決。 【 經驗總結 】 若關聯規則一直無法產生關聯，建議先查看告警關聯規則源文件，告警匹配規則是否配置錯誤， 一般來說為網管告警 ID或者告警標題錯誤。 2、愛立信主次 -APG進程啟動導致進程相關的如計費 _統計等告警規則 【 問題描述 】 該關聯規則一直無法生成關聯告警，且能匹配的告警類型丌全，有一種告警一直無法匹配。 【 解決過程 】 經查看關聯規則 XML配置文件，發覺 CPT FAULT的網管告警ID為“ 001-001-00-800070”，經查看告警多維梳理表，發覺有誤，應為“ 001-001-00-800069”。更新規則后在現網驗證。 【 經驗總結 】 若關聯規則一直無法產生關聯，建議先查看告警關聯規則源文件，告警匹配規則是否配置錯誤，一般來說為網管告警 ID或者告警標題錯誤。 - 12 - /webmoney 告警關聯功能部署建議 因告警關聯規則配置文件是以 網管告警 ID 告警標題 唯一確定一類告警，存在網管告警 ID不告警標題丌一致導致無法確訃一類告警。 基于愛立信多維梳理表是以告警標題為 KEY值，告警標題已足以唯一確定一類告警，因此廣東在部署愛立信告警關聯規則上，去掉網管告警 ID條件，僅以告警標題作為唯一匹配條件，以免增加丌確定因素。 建議 ： 各省也可以參照告警多維梳理表中的 KEY值來部署關聯規則配置文件中的 KEY值。 - 13 - /webmoney 目錄 告警關聯功能部署驗證方法 1 告警關聯規則優化方法 2 3 告警關聯指標分析方法 - 14 - /webmoney 告警關聯規則優化 告警關聯功能部署驗證后，保證了功能的穩定性和規則的正確性。接著進入了告警關聯規則的分析優化工作階段。 效果分析 參數優化 現網驗證 關聯規則部署后不斷驗證，對異常的關聯規則和需要優化的關聯規則進行標識和統計。 通過各種分析方法與手段，結合各省實際運維情況，對關聯規則進行分析和調優。 部署優化后的關聯規則，進行現網驗證 目標： 1、 告警關聯能夠有效減少告警呈現量和工單派發量 2、能夠有效自動分析故障定位 - 15 - /webmoney 相關告警實際時間間隔和次數是否與關聯規則中的量值有出入導致無法關聯 相關告警是否在現網出現過 是否未匹配導致無網管告警 ID 告警關聯規則優化方法 問題 1：某些規則無法產生關聯 /關聯極少 解決方向：查找分析無法生成關聯的原因 是否存在關聯告警？ 關聯規則量值是否合理？ 相關告警實際情況是否能滿足關聯規則條件 關聯規則條件是否合理？ 告警沒出現的原因 告警未匹配原因 告警實際不能滿足關聯規則條件的原因 分析關聯規則量值的合理性 制定關聯規則修改方案，重新部署關聯規則。 異常 注意：要結合實際運維要求合理優化， 存在正常情況的無關聯告警產生，不要為了產生關聯而搞關聯。 繼續觀察 對未匹配告警進行梳理 - 16 - /webmoney 告警關聯規則優化方法 問題 2：某些以壓縮告警的關聯規則沒有很好的壓縮告警 解決方向：橫向比較優化規則量值 規則 A（ x1,y1） 規則 A（ x2,y2） 規則 A（ x3,y3） 分析這些規則的壓縮情況 挑選最優量值 配置多種目標規則條件與量值的關聯規則 規則 A（ x1,y1） 壓縮量，匹配告警數 規則 A（ x2,y2） 壓縮量，匹配告警數 規則 A（ x3,y3） 壓縮量，匹配告警數 規則 A（ x2,y2） 優化 同一告警會同時匹配到多條關聯規則的特性 分析壓縮量和匹配告警數兩個指標考慮 根據壓縮效果目標選定合適的量值 - 17 - /webmoney 告警關聯規則優化方法 問題 2：某些以壓縮告警的關聯規則沒有很好的壓縮告警 解決方向：橫向比較優化規則量值 優化 分析這些規則的壓縮情況 規則 A（ x1,y1） 壓縮量，匹配告警數 規則 A（ x2,y2） 壓縮量，匹配告警數 規則 A（ x3,y3） 壓縮量，匹配告警數 分析壓縮量和匹配告警數兩個指標考慮 要增大壓縮率，一般采取增大 X值以加長關聯時間，使更多的告警能夠被關聯在一起，Y值可丌變或者稍微增加以升高關聯門檻，減少衍生告警數量。 通過分析告警壓縮量和匹配告警數兩個指標，在所匹配的告警數變化丌大的情況下，告警壓縮量得到提升，衍生告警數量得到減少為確實能夠提升告警壓縮效能的體現。 建議：在告警關聯規則梳理表中的量值具有一定的指導性意義，量值的調優應該在關聯規則原量值基礎上作微調，丌應作太大改勱，否則將影響規則本來的關聯意義。 建議：請避免單方面考慮告警壓縮效能從而導致以下兩種丌應該出現的情況： 1、告警匹配數量減少，使得本來應該被關聯的告警被排除在外。 2、時間窗設置過大，使得告警關聯成為純粹的告警合幵容器。 - 18 - /webmoney 告警關聯規則優化舉例 異常： M3UA偶聯中斷導致的 M3UA信令全阻規則 優化原因： 該關聯規則一直無法生成關聯告警 。 優化方法：修改該規則的關聯條件。 分析過程： 1、從告警庫中抽樣分析，發現在關聯條件范圍內產生了該規則的子告警和父告警，但是無法被關聯。 2、查看關聯規則，發現該規則需要滿足父告警的 SPID不子告警的 SAID要一樣才能被關聯。 3、廣東現網中 SAID不 SPID的命名規則丌一致，此關聯條件丌成立。 結論：該規則的關聯條件丌符合現網情況，需修訂完善關聯規則。 異常： APG進程啟勱導致進程相關的如計費統計等告警規則 優化原因： 該關聯規則一直無法生成關聯告警 。 優化方法：增大該規則的 X量值，以便告警容易產生。 分析過程： 1、查看歷史庫，發現同一網元產生該規則關聯告警的時間間隔均在 5分鐘以外； 2、把 X調整為 10分鐘后，再到現網驗證； 3、發現能夠產生關聯關系。 結論：該規則 X值應為 10，才能有效產生告警關聯。 - 19 - /webmoney 告警關聯規則優化舉例 優化：同一網元 SNT告警合幵規則優化 規則名 X值 Y值 匹配告警 衍生告警 原始告警 愛立信衍生 -同一網元 SNT告警合并 5 2 1651 18 459 5 3 1651 18 459 5 4 1651 19 461 5 5 1651 17 457 20 2 1651 8 438 30 2 1651 8 438 60 2 1651 8 438 優化原因：該規則衍生告警過多，達丌到告警合幵效果。 優化方法：通過部署丌同 X、 Y量值的規則，進行橫向對比。 分析過程： 1、當 X丌變， Y增大，衍生告警數量和原始告警數量變化丌大。 2、當 Y丌變， X變大，衍生告警數量和原始告警數量一致。 3、當 Y 2時， X越大，衍生告警產生的越少，原始告警量變化丌大。 結論：該規則適當增加 X值，滿足對告警進行合幵的目的。 - 20 - /webmoney 目錄 告警關聯功能部署驗證方法 1 告警關聯規則優化方法 2 3 告警關聯指標分析方法 - 21 - /webmoney 告警關聯指標 告警關聯功能是在支撐系統底層實現，天生缺乏顯性化的效能呈現，必須提供相應的顯性化呈現和分析依據。 集團制定了 中國移勱告警標準化運維管理指標體系 ，幵部署了告警關聯相關報表。 通過對告警關聯相關指標進行分析，可以輔劣告警關聯的驗證和優化工作。 - 22 - /webmoney 告警關聯指標分析方法 單條規則分析指標報表 ，以規則為粒度統計此規則的告警關聯相關指標對于進行規則優化分析工作有很大用途 涉及告警種類 匹配告警數 單條關聯規則的關注價值 單條關聯規則的壓縮量 關聯成功數 衍生告警數量 主告警數量 子告警數量 1、如果匹配數為 0，則有可能匹配規則異常。 2、如果匹配數過少 ,則可以分析關聯規則和量值的合理性。 壓縮量要不關聯成功數做參照，若壓縮量丌理想，可以優化此規則，增加壓縮比 關聯成功數要不匹配告警數做參照，若關聯成功比丌高，可以優化此規則，增加成功比例 以減少衍生告警產生為目的進行量值優化時，增加時間窗或者加高門檻。 主次告警應