HBase混合AVE■吳宙旭攜程數(shù)據(jù)庫(kù)專(zhuān)家Contents01HBase運(yùn)維面臨挑戰(zhàn)目錄02公有云Lindorm的引入及應(yīng)用03混合云的基礎(chǔ)化建設(shè)及應(yīng)用AZ-AAZ-BAZ-AM攜程數(shù)據(jù)庫(kù)架構(gòu)攜程數(shù)據(jù)庫(kù)架構(gòu)·AZ級(jí)別的高可用Redis/rorHBaseOceanbase/tidbMysql/mongoZookeeperZookeeperZookeeper物理機(jī)帶來(lái)計(jì)算、存儲(chǔ)的利用率問(wèn)題ZookeeperZookeeperZookeeperHMasterHMasterNameNodeHMasterNameNode計(jì)算密集型存儲(chǔ)空間浪費(fèi)RegionServerDataNodeRegionServerDataNodeRegionServerDataNode業(yè)務(wù)季節(jié)性影響應(yīng)對(duì)五一、國(guó)慶、寒暑假等算存資源溢出場(chǎng)景RegionServerRegionRegionServerRegionServer服務(wù)的高可用性及單元化部署服務(wù)SLA的要求性能型、冷熱分離、容量型低成本兼顧性能算存分離、動(dòng)態(tài)擴(kuò)縮服務(wù)資源最小化性能型、冷熱分離、容量型低成本兼顧性能算存分離、動(dòng)態(tài)擴(kuò)縮服務(wù)資源最小化HBase生態(tài)完美兼容算、存利用率最大化(按需擴(kuò)容計(jì)算節(jié)點(diǎn)和存儲(chǔ)空間)冷、熱存儲(chǔ)分離(按數(shù)據(jù)讀流量來(lái)確定冷熱邊界)AAZ級(jí)別故障(切換讀寫(xiě)路由實(shí)現(xiàn))jhh表級(jí)別的同步(表為單位同步數(shù)據(jù))云溢出架構(gòu)(多寫(xiě)單讀)雙讀單寫(xiě)架構(gòu)(單寫(xiě)多讀)客戶端Log、Metric埋點(diǎn)管理員工具上傳發(fā)布系統(tǒng)(表的提交、審核、發(fā)布、修改)擴(kuò)縮容工具(hbase、hadoop、liad-hoc即席查詢混合云雙讀單寫(xiě)架構(gòu)服務(wù)接口層數(shù)據(jù)查詢服務(wù)工接口層數(shù)據(jù)查詢服務(wù)消費(fèi)消息隊(duì)列數(shù)據(jù)消息隊(duì)列消息隊(duì)列落地是否成功數(shù)據(jù)查詢服務(wù)層是服務(wù)層是落地是否成功存儲(chǔ)層攜程HBase存儲(chǔ)層攜程HBase雙讀寫(xiě)架構(gòu)實(shí)現(xiàn)架構(gòu)優(yōu)勢(shì)多機(jī)房部署、服務(wù)高可用數(shù)據(jù)存儲(chǔ)無(wú)冗余Lindorm端的數(shù)據(jù)提供冷熱分離，成本大幅降低云溢出架構(gòu)實(shí)現(xiàn)云溢出架構(gòu)實(shí)現(xiàn)雙寫(xiě)HBase+Lindorm混合云溢出架構(gòu)TTL=180AliyunCloudLindormTTL=1混合云部署現(xiàn)狀數(shù)據(jù)分布數(shù)據(jù)分布總數(shù)據(jù)量使用Lindorm的結(jié)果收益降本增效經(jīng)綜合測(cè)算，采用Lindorm方案的技術(shù)成本降低了20%穩(wěn)定可靠301740750188018101620183018401E?01900121019201930194019502080301740750188018101620183018401E?01900121019201930194019502080-tncomtahk1-Indormteabe2-tntormtebk-3-Ihsermtahk?-Ihsormtebks-Iatomtabee-thsemtahe7-hctermtahea-Intomtahe?-mm*10-temteh-20-Ihtemmtet21-Ihfemtet2g-Imfmts24-Iomtbe25-setb26-mtomtete?日新增數(shù)據(jù)TB+級(jí)別PutP99<2ms冷存儲(chǔ)GetP99穩(wěn)定在百msVssDAoPSMSHhOHVssDAoPSMSHhOH20MS0bxoHSoVoWIOV2aVSDNxD混合云服務(wù)感知體系監(jiān)控?cái)?shù)據(jù)采集監(jiān)控?cái)?shù)據(jù)采集HBase通過(guò)