QCon全球軟件開(kāi)發(fā)大會(huì)離枝鹽升大綱-持續(xù)性能提升的難點(diǎn)-生產(chǎn)全鏈路壓測(cè)背景和概念-生產(chǎn)全鏈路壓測(cè)落地難點(diǎn)-生產(chǎn)全鏈路云遷移業(yè)務(wù)連續(xù)性案例Info

Info傳統(tǒng)性能測(cè)試的缺陷硬件配置網(wǎng)絡(luò)環(huán)境數(shù)據(jù)庫(kù)配置中間件規(guī)模數(shù)據(jù)規(guī)模應(yīng)用規(guī)模流量模型硬件配置網(wǎng)絡(luò)環(huán)境數(shù)據(jù)庫(kù)配置中間件規(guī)模數(shù)據(jù)規(guī)模應(yīng)用規(guī)模流量模型缺乏真實(shí)性不能形成有效反饋不能進(jìn)入正反饋模型ConInfoQ什么是生產(chǎn)全鏈路壓測(cè)什么是生產(chǎn)全鏈路壓測(cè)InfoInfo什么是生產(chǎn)全鏈路壓測(cè)什么是生產(chǎn)全鏈路壓測(cè)InfoInfo壓測(cè)壓測(cè)?壓力引擎

?性能分析生產(chǎn)環(huán)境-數(shù)據(jù)隔離?流量識(shí)別-安全保護(hù)?實(shí)時(shí)監(jiān)控

全鏈路?鏈路治理?多場(chǎng)景混合?流量模型我需要做生產(chǎn)全鏈路壓測(cè)嗎我需要做生產(chǎn)全鏈路壓測(cè)嗎InfoInfo我需要做生產(chǎn)全鏈路壓測(cè)嗎我需要做生產(chǎn)全鏈路壓測(cè)嗎InfoInfo生產(chǎn)全鏈路壓測(cè)歷史生產(chǎn)全鏈路壓測(cè)歷史InfoInfo-2013年誕生：阿里巴巴第一次生產(chǎn)全鏈路壓測(cè)實(shí)踐-2015-2017年：極客公司開(kāi)始嘗試-2018年：第一款企業(yè)級(jí)生產(chǎn)全鏈路壓測(cè)產(chǎn)品誕生-2020年：生產(chǎn)全鏈路壓測(cè)開(kāi)始進(jìn)入大眾市場(chǎng)-分布式系統(tǒng)-研發(fā)人數(shù)超過(guò)50人-系統(tǒng)規(guī)模超過(guò)100臺(tái)-有專(zhuān)門(mén)性能測(cè)試同學(xué)-業(yè)務(wù)快速增長(zhǎng)生產(chǎn)全鏈路壓測(cè)落地QCon全球軟件開(kāi)發(fā)大會(huì)InfoQ生產(chǎn)全鏈路壓測(cè)架構(gòu)場(chǎng)景層平臺(tái)層全鏈路壓測(cè)全鏈路監(jiān)控故障演練容量評(píng)估ETE巡檢系統(tǒng)限流&降級(jí)系統(tǒng)瓶頸鏈路監(jiān)控壓測(cè)方案管理壓測(cè)報(bào)告壓發(fā)力起壓控測(cè)制隔管離控il壓測(cè)腳本壓測(cè)總覽壓測(cè)執(zhí)行應(yīng)用管理鏈路概覽調(diào)用鏈查詢QCon全球軟件開(kāi)發(fā)大會(huì)域名分析入口分析調(diào)度引擎壓測(cè)試跑靜態(tài)信息驗(yàn)證影子庫(kù)表配置架構(gòu)治理限降流級(jí)應(yīng)用

分析接入資物理機(jī)docker層源虛擬機(jī)云主機(jī)訂單轉(zhuǎn)運(yùn)簽收攬收派送售后業(yè)務(wù)流程配置入口頗限流規(guī)則命令配置業(yè)務(wù)活動(dòng)配置

服務(wù)岀口分析流量控制場(chǎng)景配置系統(tǒng)流程識(shí)su

系統(tǒng)流程比對(duì)降級(jí)策略演練控制中間件識(shí)別強(qiáng)弱做標(biāo)注熔斷配置演練報(bào)告應(yīng)用一覽應(yīng)用調(diào)用來(lái)源應(yīng)用調(diào)用去向應(yīng)用服務(wù)分析消息隊(duì)列分析數(shù)據(jù)庫(kù)分析緩存分析關(guān)鍵路徑分析遠(yuǎn)程調(diào)用消息系統(tǒng)緩存數(shù)據(jù)庫(kù)數(shù)據(jù)存儲(chǔ)緩存數(shù)據(jù)庫(kù)消息系統(tǒng)InfoQ數(shù)據(jù)隔離數(shù)據(jù)隔離數(shù)據(jù)隔離數(shù)據(jù)隔離正常流量壓測(cè)流量4Web服務(wù)器1遠(yuǎn)程調(diào)用中間件應(yīng)用1 壓測(cè)可識(shí)別2 壓測(cè)流量識(shí)別之后的傳遞3 緩存和儲(chǔ)存將壓測(cè)數(shù)據(jù)存儲(chǔ)到影子區(qū)域?消息過(guò)濾器?正常Topic?影子Topic?緩存過(guò)濾器?正常區(qū)域?影子區(qū)域?搜索過(guò)濾器?正常索引?影子索引?存儲(chǔ)過(guò)濾器?正常庫(kù)?影子庫(kù)QCon全球軟件開(kāi)發(fā)大會(huì)InfoG數(shù)據(jù)隔離設(shè)計(jì)與現(xiàn)實(shí)QCon全球軟件開(kāi)發(fā)大會(huì)InfoQRocketMQ隔離設(shè)tQCon全球軟件開(kāi)發(fā)大會(huì)QCon全球軟件開(kāi)發(fā)大會(huì)InfoGInfoInfoInfoInfo RocketMQ隔離現(xiàn)實(shí) 消息發(fā)送-同步發(fā)送 -異步發(fā)送 ?Oneway發(fā)送 -單條發(fā)送?批量發(fā)送?事務(wù)消息

消息接收?推模式?拉模式 ?無(wú)序消費(fèi)?順序消費(fèi)?自動(dòng)提交 ?手動(dòng)提交?默認(rèn)線程池?自定義線程池

異常情況?消費(fèi)失敗?重試隊(duì)列?死信隊(duì)列?版本兼容隔離設(shè)計(jì)的其他現(xiàn)實(shí)壓測(cè)中T項(xiàng)目啟動(dòng).氾圍確疋鏈路梳理]鏈路調(diào)試壓測(cè)數(shù)據(jù)準(zhǔn)備壓測(cè)場(chǎng)景配置鏈路試跑壓測(cè)執(zhí)行鏈路調(diào)試提前規(guī)避風(fēng)險(xiǎn)數(shù)據(jù)偏移,脫敏白名單測(cè)試環(huán)境試跑

壓測(cè)啟動(dòng)檢查

漏數(shù)檢查

數(shù)據(jù)隔離擋板生產(chǎn)環(huán)境試跑壓測(cè)終止緊急預(yù)案兜底檢查QCon全球軟件開(kāi)發(fā)大會(huì)推廣問(wèn)題降低接入

成本AllIn One的使用體驗(yàn)培養(yǎng)種子

用戶爭(zhēng)取高層支持 JconInfoQ 常態(tài)化問(wèn)題 成立性能運(yùn)營(yíng)小組性能瓶頸優(yōu)

化check性能瓶頸優(yōu)

化check性能小組生產(chǎn)準(zhǔn)入check生產(chǎn)風(fēng)

險(xiǎn)監(jiān)控延期風(fēng)險(xiǎn)產(chǎn)品線開(kāi)發(fā)復(fù)核問(wèn)題

瓶頸是否

修復(fù)QCon全球軟件開(kāi)發(fā)大會(huì)常態(tài)化壓測(cè)啟壓測(cè)準(zhǔn)備存在風(fēng)

險(xiǎn)產(chǎn)品線開(kāi)發(fā)生產(chǎn)

壓測(cè)瓶頸優(yōu)

化任務(wù)

列表處理 任務(wù)協(xié)助解決處理記錄任務(wù)升級(jí)復(fù)核瓶頸

修復(fù)是否

延期任務(wù) 升級(jí)架構(gòu)師/其他

團(tuán)隊(duì)協(xié)助InfoQ常態(tài)化問(wèn)題?挖掘鏈路和請(qǐng)求數(shù)據(jù)-自動(dòng)的鏈路梳理發(fā)現(xiàn)環(huán)境問(wèn)題?自動(dòng)發(fā)現(xiàn)新增服務(wù)、參數(shù)變化?自動(dòng)發(fā)現(xiàn)數(shù)據(jù)庫(kù)變化QCon全球軟件開(kāi)發(fā)大會(huì)InfoQInfoInfo配置名稱0000002＜返回配置名甲＜退回業(yè)務(wù)活動(dòng)名稱-調(diào)試業(yè)多請(qǐng)求信息清求信息Http://qu2j222j3.281919923m:h333nmemoryj>ool_byte_mejvm_me...jvm^memory_pooLbyte_mejvm_me…jvm.memoryj>ooLbyte_mejvm^me...當(dāng)Jvm.memorY_pooLbytc_meJvm.me...調(diào)試ID:GFERKIS1 響成狀態(tài)碼：200用總時(shí)長(zhǎng)：168msAccept:*/*、Cache-Control:no-cache.Content-Type:appli...(??userid**:“tommy”，-productldM:w84j33,23,\Mtimew:12332{...調(diào)用棧5應(yīng)用/Agent日志張三輸入?yún)?shù)0102052020-01-0812:00:00數(shù)據(jù)上證ojvm_memory_po_memoryj)q...DmsMallDmsMall配置名稱0000002＜返回配置名甲＜退回業(yè)務(wù)活動(dòng)名稱-調(diào)試業(yè)多請(qǐng)求信息清求信息Http://qu2j222j3.281919923m:h333nmemoryj>ool_byte_mejvm_me...jvm^memory_pooLbyte_mejvm_me…jvm.memoryj>ooLbyte_mejvm^me...當(dāng)Jvm.memorY_pooLbytc_meJvm.me...調(diào)試ID:GFERKIS1 響成狀態(tài)碼：200用總時(shí)長(zhǎng)：168msAccept:*/*、Cache-Control:no-cache.Content-Type:appli...(??userid**:“tommy”，-productldM:w84j33,23,\Mtimew:12332{...調(diào)用棧5應(yīng)用/Agent日志張三輸入?yún)?shù)0102052020-01-0812:00:00數(shù)據(jù)上證ojvm_memory_po_memoryj)q...DmsMallDmsMallDmsMallDmsMallrtemcenterRedis響應(yīng)信息插件調(diào)試日志Rabbit6ac0622f16067307742374922d0001Accept:*/*、Cache-Control:no-cacheContent-(*useridM:"tommy”.*producttd*:w84j33t23wtimeio.shulie.center.base.api.service.Channelserviceio.shulie.center.base.api.service.Channelserviceio.shulie.center.base.api.service.Channelserviceio.shulie.center.base.api.service.Channelserviceio.shulie.center.base.api.service.Channelserviceredis10293?成】I問(wèn)題分析配置異常：(EA0001)白名單方法沒(méi)配置、(EA0002)影子庫(kù)表用戶名密碼不匹配輸入?yún)?shù)MQ2341Mysql10293Mysql10293請(qǐng)求Header Accept:*/*、Cache-Control:no-cacheKContent-Type:appli...▼請(qǐng)求Header Accept:*/*、Cache-Control:no-cachevContent-Type:appli...▼[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bfl0|true|l|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bf|0.1|true|1|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bf|0.1.2|true|1|dubbopuglindebugsenderdoorIsclose![2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bfl0|true|l|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bf|0.1|true|1|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bf|0.1.2|true|1|dubbopuglindebugsenderdoorIsclose![2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bfl0|true|l|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bf|0.1|true|1|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bf|0.1.2|true|1|dubbopuglindebugsenderdoorisclose![2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bfl0|true|l|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bf|0.1|true|l|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bf|0.1.2|true|1|dubbopuglindebugsenderdoorisclose![2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bfl0|true|1|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271(X)4d88bf|0.1|true|l|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bf|0.1.2|true|1|dubbopuglindebugsenderdoorisclose![2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bfl0|true|1|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bf|0.1|true|l|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271CX)4d88bfl0.1.2|true|1|dubbopuglindebugsenderdoorisclose![2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bfl0|true|1|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bf|0.1|true|l|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bfl0.1.2|true|1|dubbopuglindebugsenderdoorisclose![2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bf|0|true|1|httppuglindebuginfo;[2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bf|0.1.2|true|1|dubbopuglindebugsenderdoorisclose![2020-12-1713:37:24]INFO(mon.config.DefaultTraceConfig)0102a8c016063019572271004d88bf|0|true|l|httppuglindebuginfo;I機(jī)器性能?成】類(lèi)型Before(進(jìn))Before(出)Exception(進(jìn))Exception(出)CPU利用率16%16%16%16%?失9CPU負(fù)載6.546.546.546.54常態(tài)化問(wèn)題 賦能研發(fā)??QConQCon全球軟件開(kāi)發(fā)大會(huì)InfoQ成為新基礎(chǔ)設(shè)施系統(tǒng)發(fā)布后，與流水線集成，驗(yàn)證生產(chǎn)環(huán)境性能基線月度性能驗(yàn)收，3*24小時(shí)生產(chǎn)環(huán)境壓測(cè)大促保障中生產(chǎn)環(huán)境單接口、單鏈路壓測(cè)有性能潔癖的工程師文化大促保障中生產(chǎn)環(huán)境全鏈路、全場(chǎng)景壓測(cè)大項(xiàng)目重構(gòu)后，進(jìn)行生產(chǎn)環(huán)境相關(guān)鏈路的壓測(cè)上云或者云遷移后，進(jìn)行生產(chǎn)環(huán)境全鏈路壓測(cè)通過(guò)生產(chǎn)環(huán)境全鏈路壓測(cè)進(jìn)行多機(jī)房的定期容量驗(yàn)證有性能潔癖的工程師文化QCon全球軟件開(kāi)發(fā)大會(huì)QCon全球軟件開(kāi)發(fā)大會(huì)云遷移案例2020年底，A公司做出了一項(xiàng)重大決策，要將公司業(yè)務(wù)從阿里云平臺(tái)遷移至華為云平臺(tái)。公司現(xiàn)有業(yè)務(wù)包含上百個(gè)應(yīng)用以及數(shù)十PT的數(shù)據(jù)都要進(jìn)行遷移，如何安全高效地完成遷移成了大家最關(guān)心的問(wèn)題InfoQ云遷移案例云遷移案例云遷移案例云遷移案例\ 在生產(chǎn)環(huán)境直接利用現(xiàn)有數(shù)據(jù)進(jìn)行性能壓測(cè)，完成后 /' 只對(duì)