1、海量數(shù)據(jù)庫平臺運維實踐解密數(shù)科數(shù)據(jù)庫運維攻守之道京東金融金融科技運維概述備戰(zhàn)準(zhǔn)備618進(jìn)行時目錄案例復(fù)盤DBA團(tuán)隊數(shù)據(jù)庫運維架構(gòu)搭建、性能優(yōu)化、故障排查、安全防 護(hù)、備份與恢復(fù)、部署與下線、變更查詢自動化智能化運維產(chǎn)品運維平臺、性能診斷平臺、數(shù)據(jù)查詢平臺、 數(shù)據(jù)建模平臺、數(shù)據(jù)復(fù)制平臺、數(shù)據(jù)庫變 更平臺、歸檔平臺、數(shù)據(jù)庫中間件科技輸出分布式事務(wù)數(shù)據(jù)庫、自動化運維產(chǎn)品、數(shù) 據(jù)庫解決方案、私有云運維目標(biāo)海量數(shù)據(jù)架構(gòu)轉(zhuǎn)型服務(wù)可用率數(shù)據(jù)安全水平拆分?jǐn)?shù)據(jù)服務(wù)1、DB數(shù)據(jù)容量大2、每日增量快速3、多模數(shù)據(jù)存儲4、字段和數(shù)據(jù)變更慢1、業(yè)務(wù)發(fā)展催生架構(gòu) 轉(zhuǎn)型2、性能瓶頸尋求架構(gòu) 變革3、成本和安全優(yōu)化促進(jìn)轉(zhuǎn)型1

2、、故障風(fēng)險分?jǐn)?、高可用方案，可用 率保障3、合規(guī)要求，多數(shù)據(jù) 中心技術(shù)保障1、數(shù)據(jù)一致性2、事務(wù)一致性3、安全加固方案4、備份策略1、對業(yè)務(wù)透明、 研發(fā)改動小2、數(shù)據(jù)均勻分布， 風(fēng)險分?jǐn)?3、二次縮擴(kuò)容4、分布式事務(wù)1、運營報表類聚 合查詢2、數(shù)據(jù)遷移同步 能力和效率性能保障1、慢查詢2、TPSQPS3、連接數(shù)持續(xù)規(guī)范價值服務(wù)精細(xì)保障高效運維體系數(shù)據(jù)一致性容災(zāi)可用性安全合規(guī)管控運維自動化數(shù)據(jù)治理應(yīng)用層中間層數(shù)據(jù)庫層大數(shù)據(jù)層運維組件產(chǎn)品數(shù)據(jù)建模平臺DBCM數(shù)據(jù)庫中間件CDS、SS數(shù)據(jù)庫運維管理系統(tǒng) Mega數(shù)據(jù)庫性能展示平臺 CleverDB數(shù)據(jù)復(fù)制平臺DBRep核心目標(biāo)業(yè)務(wù)層級業(yè)務(wù)需求水平拆

3、分彈性擴(kuò)容資源管控自動部署 HA切換 資源回收備份恢復(fù)任務(wù)調(diào)度DB遷移 數(shù)據(jù)接口空間分析會話分析性能分析慢查詢分析數(shù)據(jù)抽取復(fù)制訂閱讀寫分離分布式事務(wù)SQL自助建模SQL自助查詢SQL自助變更查詢機(jī)MyDB工單流程平臺MagicFlow大數(shù)據(jù)計算與分析平臺備戰(zhàn)準(zhǔn)備案例復(fù)盤618備戰(zhàn)巡檢容量評估優(yōu)化改造數(shù)據(jù)歸檔壓力測試切換演練變更管控大促調(diào)整監(jiān)控大屏應(yīng)急處理事件管理案例分享經(jīng)驗總結(jié)表分區(qū)Top SQL連接數(shù)業(yè)務(wù)梳理自增主鍵單表21億 全局自增主鍵備份時間維度的分區(qū) 時間維度的拆分活躍連接數(shù) max_connectionsSQL 頻次SQL 效率備份作業(yè) 有效性檢查慢查詢SQL 消耗 優(yōu)化改造硬件&

4、機(jī)房磁盤Raid卡出口帶寬 機(jī)柜超電 雙電鏈路溫濕度數(shù)據(jù)庫依賴程度 事務(wù)讀寫邏輯上下游調(diào)用邏輯磁盤空間熱點表容量評估系統(tǒng)相關(guān) DB相關(guān)數(shù)據(jù)量大 拆分不均勻 影子表硬件容量 性能容量備戰(zhàn)巡檢定時調(diào)度業(yè)務(wù)跑批ETL抽取 信息采集 備份調(diào)度巡檢通道 - CleverDB參數(shù)評分第一檔第二檔第三檔第四檔權(quán) 重SQL質(zhì)量QPS容量（CPU）qps/cpu_percent015001500500050008000800099999910QPS容量（IO）qps/io_percent03000300060006000100001000099999910TPS容量（IO）tps/io_percent01000

5、1000300030005000500099999910參數(shù)評分第一檔第二檔第三檔第四檔第五檔權(quán)重資源利用率CPU使用率cpu_percent60100053060515153015IO使用率io_percent8010001050801025255015磁盤利用率磁盤使用率disk_percent80100055080515155030容量評估容量評估50%100%分?jǐn)?shù)0%50%100%30%70%分?jǐn)?shù)縮容擴(kuò)容歸檔縮容優(yōu)化、擴(kuò)容讀寫分離磁盤使用率CPU使用率0% 5% 10%20% 30%容量評估選型多實例單實例CDS orSS容量1SQL優(yōu)化SQL采集、執(zhí)行計劃、sql解析、統(tǒng)計分析、索引

6、優(yōu)化、優(yōu)化推薦2配置優(yōu)化模板固化、動態(tài)調(diào)整、變更流程（連接）3數(shù)據(jù)優(yōu)化歸檔、冷熱數(shù)據(jù)、表結(jié)構(gòu)4架構(gòu)優(yōu)化r2m、Hcenter、 MQ、硬件擴(kuò)容代碼優(yōu)化邏輯、事務(wù)、降級開關(guān)5優(yōu)化改造中國數(shù)據(jù)智能管理峰會數(shù)據(jù)同步冷備份數(shù)據(jù)管道dbrep主從同步縮擴(kuò)容流程容量評估QPS/TPSCPU/DISK/MEM歷史增長率硬件配置資源評估硬件需求數(shù)量預(yù)期增長量預(yù)算情況峰值預(yù)估遷移方案提高硬件配置（切換）多庫架構(gòu)拆分（垂直）單庫多表拆分（垂直）單表拆分（水平）資源申請工單系統(tǒng)申請DB環(huán)境初始化代碼邏輯改造測試環(huán)境驗證數(shù)據(jù)校驗權(quán)限校驗網(wǎng)絡(luò)校驗一致性校驗切分規(guī)則校驗切換遷移Online切換（透明）修改連接池（集群）d

7、nsvip調(diào)整（重啟）舊資源回收下線容量評估QPS/TPSCPU/DISK/MEM歷史增長率硬件配置遷移方案DB下線（工單回收）降低硬件配置（切換）單庫多表拆分（垂直）水平拆分+hdb資源申請工單系統(tǒng)申請DB環(huán)境初始化代碼邏輯改造測試環(huán)境驗證擴(kuò)容縮容數(shù)據(jù)歸檔21歸檔規(guī)則冷熱數(shù)據(jù)劃分歸檔條件篩選歸檔時間節(jié)點和頻率歸檔數(shù)據(jù)訪問規(guī)則數(shù)據(jù)歸檔結(jié)轉(zhuǎn)對性能影響的追蹤結(jié)轉(zhuǎn)效率的評估數(shù)據(jù)刪除機(jī)器級別實例級別庫級別表級別空間分析1、備份刪除2、歷史表33、歸檔庫 4、大數(shù)據(jù)平臺應(yīng)用緩存 DB API壓力測試切換演練遷移前溝通+公告 搭建從庫 一致性檢查 HAcheck 應(yīng)用check 網(wǎng)絡(luò)check遷移中原主庫

8、只讀變更指向或vip漂移 訪問流量check研發(fā)check 新主庫讀寫 元數(shù)據(jù)變更遷移后去除復(fù)制關(guān)系 備份策略調(diào)整 資源回收下線檢查高可用系統(tǒng)提升團(tuán)隊協(xié)作能力提升團(tuán)隊?wèi)?yīng)急處理能力中國數(shù)據(jù)智能管理峰會流程繁瑣 審批麻煩 工單描述 處理周期研發(fā)數(shù)據(jù)源不準(zhǔn)確SQL語法錯誤 沒有where條件 需要回滾數(shù)據(jù) 操作復(fù)雜時間長DBA變更管控核心業(yè)務(wù)數(shù)據(jù)一致性 備份恢復(fù)時間長任務(wù)跑批無法完成關(guān)閉半同步關(guān)閉數(shù)據(jù)庫信息采集 關(guān)閉數(shù)據(jù)庫全量備份ETL抽取推遲2小時 數(shù)據(jù)推送推遲2小時業(yè)務(wù)跑批任務(wù)推遲2小時降低IO 消耗調(diào)整后的代價大促調(diào)整監(jiān)控大盤監(jiān)控大盤監(jiān)控大盤應(yīng)急預(yù)案硬件故障n 主庫容災(zāi)方案n 從庫容災(zāi)方案n

9、機(jī)房容災(zāi)方案鏈路故障n 連接數(shù)滿n 權(quán) 限n 防火墻端口n 讀寫分離n 網(wǎng)絡(luò)抖動性能故障n 慢查詢n 帶寬流量n 事務(wù)鎖n 事務(wù)未提交服務(wù)組件故障n 監(jiān)控故障n 計算平臺故障事件標(biāo)題事件管理發(fā)生時間響應(yīng)時間解決時間影響范圍事件描述事件等級部門歸屬解決方案、改進(jìn)項：1、2、3、4、5。負(fù)責(zé)人事件原因業(yè)務(wù)架構(gòu)運維安全合規(guī)持續(xù)追蹤案例分享一故障描述：業(yè)務(wù)主庫寫入性能下降故障原因：讀寫分離，15個從庫，多個從 庫獲取主庫binlog，導(dǎo)致主庫推送binlog 時系統(tǒng)上下文切換頻繁，負(fù)載升高，寫性能 下降。解決方法：關(guān)閉多個從庫案例分享一1、從庫擴(kuò)容超過5個，使用級聯(lián)復(fù)制，或者使用dbrep復(fù)制2、從庫

10、擴(kuò)容后，都要進(jìn)行性能壓測，驗證擴(kuò)容合理性3、自動識別Sending binlog event to slave 過多的現(xiàn)象4、實現(xiàn)自愈，下掉從庫以及保障從庫高可用5、資源擴(kuò)容要有從庫數(shù)量提醒6、接口應(yīng)用增加容錯機(jī)制，可自動降級案例分享二故障描述：業(yè)務(wù)從庫異常重啟故障原因：DBA開啟半同步時，正處于某事務(wù)在binary log group commit的flush階段， 會觸發(fā)bug,導(dǎo)致MySQL重啟解決方法：升級版本-06-1823:45:361015NoteSemi-syncreplicationswitched OFF.-06-1823:45:361015NoteSemi-syncrep

11、licationdisabled on the master.-06-1900:18:251015NoteSemi-syncreplicationinitialized for transactions.-06-1900:18:251015NoteSemi-syncreplicationenabled on the master.mysqld: /mysql-5.6.26/plugin/semisync/semisync_master.cc:792: int ReplSemiSyncMaster:commitTrx(const char*, my_off_t): Assertion entry

12、 failed.16:08:2250U1TC9 - mysqld got signal 6 ;案例分享二Flush StageSync StageCommit Stage將每個事務(wù)寫入binlog緩存中將binlog緩存內(nèi)容刷到磁盤根據(jù)順序調(diào)用存儲引擎提交事務(wù)Semi sync 會通過activetransaction這hash表，記錄提 交事務(wù)的name、pos和entry 標(biāo)識，緩存這些信息的目的是 在發(fā)送binlog時判斷要不要等 從庫返回的ACK。這個entry的 意義就是告訴從庫這個event需 要返回ACK設(shè)置binlog的相對位置 trx_wait_binlog_name trx_wait_binlog_pos當(dāng)從庫返回ACK時，會和wait的pos 進(jìn)行對比，如果比wait的值大于等于 就提交，否則等待 rpl_semi_sync_master_enabled=on當(dāng)事務(wù)已經(jīng)處于flush階段，但半 同步?jīng)]有打開，此時entry 標(biāo)識 沒有生成dump進(jìn)程已經(jīng)發(fā)送事務(wù)給從庫,主 庫在等待從庫返回ACK時出現(xiàn)了 assertion failure如果是after_commit 則對比的邏輯在coommit 階段進(jìn)行。Bug fix之前是只判斷是否enabled，