1、技術(shù)創(chuàng)新，變革未來(lái)民生銀行數(shù)據(jù)庫(kù)智能運(yùn)維實(shí)踐運(yùn)維數(shù)據(jù)中臺(tái)運(yùn)用ES，Hadoop，F(xiàn)link, KAFKA，Redis，關(guān)系數(shù)據(jù)庫(kù)，時(shí)序數(shù)據(jù)庫(kù)等技術(shù)，整合各種監(jiān)控?cái)?shù)據(jù)，日志文檔數(shù)據(jù)， 配置數(shù)據(jù)，關(guān)系數(shù)據(jù)，知識(shí)庫(kù)等數(shù)據(jù)來(lái)源，結(jié)合AIOPS分析資產(chǎn)，建立運(yùn)維數(shù)據(jù)中臺(tái)，為運(yùn)維決策提供數(shù)據(jù)支 撐。實(shí)時(shí)計(jì)算引擎采用分布式計(jì)算框架，緩存數(shù)據(jù)庫(kù)等實(shí)現(xiàn)實(shí)時(shí)數(shù) 據(jù)處理，運(yùn)用人工智能技術(shù)實(shí)現(xiàn)運(yùn)維數(shù)據(jù)價(jià)值挖 掘。智能算法庫(kù)集成Sklearn、statsmodels 、tensorflow、pytorch、 prophet等AI算法庫(kù)，利用pandas，numpy，sycipy、 matplotlib等數(shù)據(jù)分析工具，自

2、研智能運(yùn)維相關(guān)算法并 落地。智能運(yùn)維服務(wù)實(shí)現(xiàn)軟硬件各類產(chǎn)品智能深度運(yùn)維。同時(shí)對(duì)外提供自助服務(wù)， 通過(guò)自定義指標(biāo)，關(guān)系和服務(wù)的方式，用戶可以實(shí)現(xiàn)個(gè)性化智 能運(yùn)維。實(shí)時(shí)計(jì)算引擎智能算法庫(kù)智能運(yùn)維服務(wù)運(yùn)維數(shù)據(jù)中臺(tái)集中監(jiān)控AIOPS監(jiān)控PAAS監(jiān)控天眼日志CMDBAIOPS發(fā)現(xiàn)天旦系統(tǒng)應(yīng)用調(diào)用鏈產(chǎn)品文檔AIOPS問(wèn)題產(chǎn)品缺陷庫(kù)智能場(chǎng)景流計(jì)算異常檢測(cè)實(shí)時(shí)告警圖計(jì)算告警聚類根因分析大數(shù)據(jù)分析模型訓(xùn)練相關(guān)性分析智能算法指標(biāo)異常檢測(cè)關(guān)系異常檢測(cè)智能場(chǎng)景聚類容量預(yù)測(cè)日志異常檢測(cè)故障預(yù)測(cè)告警收斂根因定位系統(tǒng)畫(huà)像監(jiān)控?cái)?shù)據(jù)集中監(jiān)控AIOPS監(jiān)控PAAS監(jiān)控天眼日志CMDB元數(shù)據(jù)知識(shí)庫(kù)AIOPS發(fā)現(xiàn)產(chǎn)品文檔AIOPS問(wèn)

3、題天旦系統(tǒng)應(yīng)用調(diào)用鏈產(chǎn)品缺陷庫(kù)智能場(chǎng)景數(shù)據(jù)采集實(shí)時(shí)告警DB2自助服務(wù)定義指標(biāo)定義關(guān)系定義服務(wù)自助推送基礎(chǔ)軟件深度運(yùn)維OracleMysqlRedisJVMKAFKAWeblogicTomcatOS搽智能調(diào)度產(chǎn)品深度智能運(yùn)維異常檢測(cè)，根因分析，智能場(chǎng)景，故 障預(yù)測(cè)監(jiān)控告警優(yōu)化使用動(dòng)態(tài)閾值，提高告警準(zhǔn)確性和相 關(guān)意義日志異常檢測(cè)通過(guò)比對(duì)日志和知識(shí)庫(kù)來(lái)報(bào)告問(wèn)題和 分析解決問(wèn)題智能告警分析實(shí)時(shí)分析相關(guān)告警，定位核心問(wèn)題民生銀行數(shù)據(jù)庫(kù)智能運(yùn)維實(shí)踐產(chǎn)品深度運(yùn)維1應(yīng)急“雙十”底線最長(zhǎng)十分鐘分析時(shí)間 最長(zhǎng)十分鐘救急時(shí)間2運(yùn)維數(shù)據(jù)“價(jià)值”海量運(yùn)維數(shù)據(jù)價(jià)值如何挖掘支撐海量運(yùn)維指標(biāo).需要采用無(wú)監(jiān)督學(xué)習(xí)方法，減少人工

4、標(biāo)注成本異常檢測(cè)根因分析一步定位到問(wèn)題sql.問(wèn)題SQL執(zhí)行詳情分析，定位問(wèn)題原因.智能場(chǎng)景指標(biāo)告警收斂.便于普通用戶使用，提供告警場(chǎng)景解釋和對(duì)應(yīng)的解決方案.民生銀行數(shù)據(jù)庫(kù)智能運(yùn)維實(shí)踐數(shù)據(jù)庫(kù)深度運(yùn)維應(yīng)用效果民生銀行數(shù)據(jù)庫(kù)智能運(yùn)維實(shí)踐數(shù)據(jù)庫(kù)深度運(yùn)維實(shí)現(xiàn)方法對(duì)象選擇數(shù)據(jù)庫(kù)全局指標(biāo)作為檢測(cè)對(duì)象數(shù)據(jù)庫(kù)的事務(wù)，SQL等作為根因定位對(duì)象性能訓(xùn)練性能如何保證 實(shí)時(shí)處理性能如何保證T算法采用無(wú)監(jiān)督學(xué)習(xí)算法，多種算法合成集成算法 可選時(shí)間序列算法，提升周期性檢測(cè)能力展示指標(biāo)聚合層次化展示，基于智能場(chǎng)景告警5前臺(tái)匯總異常總數(shù)曲線圖4Delta數(shù)據(jù)基于模型檢測(cè)，保存結(jié) 果3歷史數(shù)據(jù)定期進(jìn)行訓(xùn)練，保存異 常模型6點(diǎn)擊

5、異常時(shí)間點(diǎn)展示樹(shù)形異常分 布圖7點(diǎn)擊異常指標(biāo)展示相關(guān)SQL排序。 可查看當(dāng)前指標(biāo)歷史趨勢(shì)圖1采集DB SNAPSHOT全部指標(biāo)數(shù)據(jù)。 發(fā)送到kafka。2從kafka獲取數(shù)據(jù)，加工delta數(shù)據(jù)在正態(tài)分布中代表標(biāo)準(zhǔn)差,代表均值x=即為圖像的對(duì)稱軸 三原則即為數(shù)值分布在（,+)中的概率為0.6526 數(shù)值分布在（2,+2)中的概率為0.9544 數(shù)值分布在（3,+3)中的概率為0.9974利用一種名為孤立樹(shù)iTree的二叉搜索樹(shù) 結(jié)構(gòu)來(lái)孤立樣本。由于異常值的數(shù)量較少且與大部分樣本 的疏離性，因此，異常值會(huì)被更早的孤 立出來(lái).異常值會(huì)距離iTree的根節(jié)點(diǎn)更近，而正 常值則會(huì)距離根節(jié)點(diǎn)有更遠(yuǎn)的距離

6、。場(chǎng)景名稱日志寫(xiě)盤(pán)異常場(chǎng)景字段名logdisk_abnormal相關(guān)字段LOG_DISK_WAITS_TOTALLOG_DISK_WAIT_TIMETOTAL_COMMIT_PROC_TIMETOTAL_COMMIT_TIME解決方案當(dāng)前異常表示數(shù)據(jù)庫(kù)寫(xiě)活動(dòng)日志到磁盤(pán)出現(xiàn)異常。異常分析：一種原 因是IO延時(shí)高，需要警惕。建議結(jié)合操作系統(tǒng)，存儲(chǔ)信息來(lái)一起判斷。另一種原因是出現(xiàn)臨時(shí)大量INSERT|UPDATE|DELETE操作，寫(xiě)日志 成 為 瓶 頸 。 可 以 參 考 當(dāng) 前 時(shí) 間 的 ROWS_MODIFIED， ROWS_DELETED，ROWS_INSERTED，ROWS_UPDATE

7、D判斷是否發(fā)生突變。解決方案：找到寫(xiě)數(shù)據(jù)的原因，分析是否是正常業(yè)務(wù)。如 果伴隨著LOG_BUFFER_WAIT_TIME，NUM_LOG_BUFFER_FULL異常，可以考慮增加數(shù)據(jù)庫(kù)參數(shù)Logbufsz的設(shè)置。排除是否是磁盤(pán)IO緩慢 原因，如有問(wèn)題請(qǐng)聯(lián)系系統(tǒng)組分析解決。提升度表示含有Y的條件下，同時(shí)含有X的概率，與X總體發(fā)生的 概率之比置信度體現(xiàn)了一個(gè)數(shù)據(jù)出現(xiàn)后，另一個(gè)數(shù)據(jù)出現(xiàn)的概率，或者 說(shuō)數(shù)據(jù)的條件概率。支持度就是幾個(gè)關(guān)聯(lián)的數(shù)據(jù)在數(shù)據(jù)集中出現(xiàn)的次數(shù)占總數(shù)據(jù)集 的比重Apriori算法民生銀行數(shù)據(jù)庫(kù)智能運(yùn)維實(shí)踐案例分享某系統(tǒng)反饋在日終集中挪大量已核銷訂單的時(shí)候，在線交易受到了影響，當(dāng)時(shí)平

8、均交易響應(yīng)時(shí)間1秒左右。最近問(wèn)題比較突出的時(shí)間是2020年3月10日凌晨。當(dāng)時(shí)的cpu使用率最高是03分，也只有3.54%。因此硬件資源應(yīng)該不是問(wèn)題。從AIOPS平臺(tái)檢查當(dāng)時(shí)的時(shí)間點(diǎn)數(shù)據(jù)庫(kù)有什么異常表現(xiàn)。從當(dāng)時(shí)的時(shí)間點(diǎn)看，確 實(shí)有多個(gè)指標(biāo)同時(shí)發(fā)生了異常。點(diǎn)擊智能分析命中場(chǎng)景發(fā)現(xiàn)有日志寫(xiě)磁盤(pán)的告警，其中第一個(gè)關(guān)聯(lián)sql是影響最大 的sql。經(jīng)檢查發(fā)現(xiàn)當(dāng)時(shí)很多的DDL都發(fā)生了等待日志寫(xiě)盤(pán)的行為?？梢?jiàn)當(dāng)時(shí)對(duì)日志寫(xiě)盤(pán) 壓力是比較大的。繼續(xù)查看轉(zhuǎn)訂單SQL的執(zhí)行詳情，等待時(shí)間占比很高，并且在等待事務(wù)寫(xiě)入日志 緩存上?？匆幌率艿接绊懙臉I(yè)務(wù)語(yǔ)句，在這個(gè)時(shí)間點(diǎn)出現(xiàn)等待日志緩存，而其他 時(shí)間點(diǎn)是沒(méi)有的。從圖中可以看到，業(yè)務(wù)sql當(dāng)時(shí)出現(xiàn)了日志緩存等待，而其他時(shí)間沒(méi)有。另外的latch等待是次生產(chǎn) 物。分析結(jié)論：最終的分析結(jié)果是大量的ddl語(yǔ)句但是產(chǎn)生了大量日志，造成日志寫(xiě)盤(pán)繁忙。同一時(shí)間內(nèi)，大量訂單轉(zhuǎn)表語(yǔ)句執(zhí)行，對(duì)日志緩存需求較高，導(dǎo)致業(yè)務(wù)語(yǔ)句使用日志緩存 也受到影響，因此造成了業(yè)務(wù)sql抖動(dòng)。優(yōu)化建議：數(shù)據(jù)庫(kù)參數(shù)調(diào)整： 建議本次維護(hù)窗口調(diào)整數(shù)據(jù)庫(kù)日志緩存為64M。 應(yīng)用優(yōu)化建議：1.2.建表建索引等語(yǔ)句建議和跑批錯(cuò)開(kāi)，減少資源競(jìng)爭(zhēng)建議跑批語(yǔ)句拆分為更細(xì)粒度事務(wù)。減少跑批并發(fā)，錯(cuò)峰跑批。智能運(yùn)維與DBA的工作經(jīng)驗(yàn)運(yùn)維裝機(jī)，變更監(jiān)控，應(yīng)急巡