1、sunshinexiong 2019-01-15系統優化的方向？系統優化的方向？監控對研發的支持監控對研發的支持系統優化的驅動力系統優化的驅動力 問題問題 監控監控 自我實現和挑戰自我實現和挑戰監控監控 被動式監控被動式監控 運維監控，運維監控，Port、CPU、Memory、Disk IO、Net IO、FileSize、DiskSize 自動式監控自動式監控 HttpWatch工具工具 Cgi自動化測試自動化測試 立體化監控體系立體化監控體系 運營數據采集運營數據采集isd.itil每天自動郵件，紀錄每臺設備的運維情況每天自動郵件，紀錄每臺設備的運維情況綜合負載綜合負載CPU占用率占用率網

2、絡流量出、入網絡流量出、入網絡包出、入網絡包出、入Load Average/5min磁盤磁盤Block in/out監控郵件、監控郵件、url地址地址HttpWatch工具工具Cgi自動化測試平臺自動化測試平臺itil.isd3.0結果展現結果展現Cgi自動化測試原理自動化測試原理模擬前臺模擬前臺JS代碼發送代碼發送cgi懇求，并接納前往，紀錄呼應時間，并懇求，并接納前往，紀錄呼應時間，并分析前往包分析前往包本質是一種黑盒集成測試本質是一種黑盒集成測試監控結果存在某種程度的失真監控結果存在某種程度的失真建議在前往包中，提供前往碼建議在前往包中，提供前往碼立體化監控立體化監控LogServer立

3、體化監控立體化監控運營數據分析運營數據分析isdstatIDC測試平臺測試平臺idcspeed.oa優化任務根底優化任務根底數據分析數據分析 舉例：猜撲克牌舉例：猜撲克牌enum card cardA,card2,card3,card4,card5,card6,card7,card8,card9,card10,cardJ,cardQ,cardK;enum card i,j,k;for ( i = cardA, i cardK, i+)for ( j= cardA, j cardK, j+)for ( k = cardA, k cardK, k+)if ( 3=func(i,j,k) ) Pri

4、nt(i,j,k), return 0; int func(int x, int y, int z);如何優化？如何優化？func(A,A,A)func(A,A,2)func(A,A,3)func(A,A,4)func(A,2,A)func(A,2,2)func(A,2,3)func(A,2,4)func(2,A,A)func(2,A,2)func(2,A,3)func(2,A,4)int func(int x, int y, int z);enum card cA,c2,c3,c4,c5,c6,c7,c8,c9,c10,cJ,cQ,cK;enum card i;int count=0,ret

5、;for ( i = cA, i cK, i+ )if ( ret=func(i,i,i) != 0 ) Print(i,ret), 3=count+ret?return 0, count+=ret;日志優化日志優化新新cache優化后效果優化后效果 日志回復日志回復CACHE上線后，上線后，CACHE頂峰期處置的平均延時由頂峰期處置的平均延時由200500ms左右降至左右降至20ms左右；目前日志左右；目前日志title的命中率在的命中率在92%左右，其左右，其平均延時在平均延時在8ms左右，以前頂峰期在左右，以前頂峰期在50-60ms左右左右 目前日志目前日志title還需還需8ms的緣由

6、，應該與目前日志的緣由，應該與目前日志title的數據有關，的數據有關，每次每次DB的的IO操作的數據量比較大影響的操作的數據量比較大影響的 后臺數據后臺數據CACHE的性能提升，減少了前臺的性能提升，減少了前臺WEB接入的接入的httpsvr的的壓力，用戶體驗提升，同時也相應帶來了系統穩定性的提升壓力，用戶體驗提升，同時也相應帶來了系統穩定性的提升舊系統構造舊系統構造 模塊 日志回復 日志標題 日志計數 優點 CACHE內存化，提升性能 多進程號段分布處置 業務異步化 缺陷 CACHE量有限，命中率低，對DB的性能依賴比較重 模塊相互獨立，容易呵斥數據不一致現網數據分析現網數據分析數據量數據

7、量日志標題日志標題cache 10臺臺 約約69G 命中率：約命中率：約90%DB 5臺臺 約約340G日志回復日志回復cache 20臺臺 約約68G 命中率：約命中率：約50%DB 20臺臺 約約9T日志計數日志計數cache 10臺臺 約約122G 命中率：約命中率：約100%DB 4臺臺 約約100G訪問量訪問量日志標題日志標題頂峰期：頂峰期：7100次次/秒秒日志回復日志回復頂峰期：頂峰期：5000次次/秒秒日志計數日志計數頂峰期：頂峰期：7000次次/秒秒新系統構造新系統構造系統分三個模塊：日志信息、日志標題、訪問計數CGI層對日志標題、訪問計數模塊有讀/寫權限；對日志標題模塊只需

8、讀權限，其數據來源于日志信息模塊新新cache優化后效果優化后效果 日志回復日志回復CACHE上線后，上線后，CACHE頂峰期處置的平均延時由頂峰期處置的平均延時由200500ms左右降至左右降至20ms左右；目前日志左右；目前日志title的命中率在的命中率在92%左右，其左右，其平均延時在平均延時在8ms左右，以前頂峰期在左右，以前頂峰期在50-60ms左右左右 目前日志目前日志title還需還需8ms的緣由，應該與目前日志的緣由，應該與目前日志title的數據有關，的數據有關，每次每次DB的的IO操作的數據量比較大影響的操作的數據量比較大影響的 后臺數據后臺數據CACHE的性能提升，減少

9、了前臺的性能提升，減少了前臺WEB接入的接入的httpsvr的的壓力，用戶體驗提升，同時也相應帶來了系統穩定性的提升壓力，用戶體驗提升，同時也相應帶來了系統穩定性的提升日志信息模塊性能日志信息模塊性能單臺機器單臺機器4個個CACHE，包容，包容6000萬個存儲節點，萬個存儲節點，CACHE數據量數據量為為210G左右空間，每秒中的處置懇求約左右空間，每秒中的處置懇求約900次其中讀次其中讀800/寫寫100，平均延時為，平均延時為100ms，每分鐘內處置超越，每分鐘內處置超越1秒的懇求為秒的懇求為32個個，占這分鐘內訪問約，占這分鐘內訪問約1/1000現網規劃：現網規劃：15臺臺cache 6臺臺DB日志容量擴容日志容量擴容日志數據幾何級數增長，每日志數據幾何級數增長，每12個月數據容量翻一番個月數據容量翻一番DB設備越來越多，舊架構需求翻倍增長設備越來越多，舊架構需求翻倍增長日志正文同回復的存儲在一同日志正文同回復的存儲在一同新日志存儲新日志存儲日志不再按照日志不再按照QQ ID存