1、身在廬山HBase靜態架構分析用戶表小象學院-ROOT-與.META.小象學院總體架構小象學院數據寫入小象學院StoreFile結構小象學院KeyValue結構小象學院們：ChinaHadoop公號：ChinaHadoop！換個視角通過客戶端請求處理過程再次了解HBase原理HBase組件回顧zookeeper客戶端HDFS小象學院Region ServerRegion ServerMasterMaster以HBase的使用帶入HBase的原理DDL之建表DDL操作與集群控制操作建表eperzookeeper標記表enable狀態Master這是NAME = META ISMETA小象學Str

2、oeStroeFileFile StroeFileStroeStroeFileFileR決定region分配以HBase的使用帶入HBaseDDL操作與集群控制操作理DD修改表修改前需要標記表enableasterzookeeper修改后需要ena le(指定hbase.online.schema.update enable為true可HDFS新版o pe節n region默新版region描述文件:/hbase根節點/data/namespac名(默認為default)/表加載.regioninfo中的信息名/regionid/.regioninfo加載列族中S t o reFile的文件

3、息新版StoreFile路徑描述文件:/hbase根節點/表名/*(regigoino_nid_i)d/./r列eg族io名ni/nSftooreFile_id舊版region:/hbase根節點/data/namespace舊版StoreFile路徑:/hbase根節點/表名/regi(region_id與StoreFile_id是_id/列族名/StoreFile_id機生成的)(region在分布式流程處理的不同階段中,在zook程正常結束er中會被標記成不同狀態,直到流Region ServerRegion Server.MA.表RegionRegionRegionRegion以HBa

4、se的使用帶入HBase的原理數據操作之PUT數據操作PUT-ROOT-位置(namespace)zookeeper客端但是么？其位置在哪？Region ServerRegion Server小象學院-ROOT-.META.Region以HBase的使用帶入HBpaction的原理以及和egion Servergion公用總內存閾值閾o部 分Store F參與合并全部Store Fil與合 并，稱majorcompactio標記刪除以及余的版本會被理刪除不同的列族會不同的時刻compactio小Region多個數據塊e值n多個元數據塊mStoreFile數量過多達到合并多個StoreFilei

5、leFilefileInfo塊這個過程稱為Compacti稱Bloom過濾器索引e參作HFile文件尾nStroeStroe多leFile物Store File在五合 一roeStroe leFilenStore. (列族)Mems數據索引塊 Stroe 元數據索引塊PUTpaction以HBase的使用帶入HBase的原理和后都會自我反省我是不是太胖了 (該Split了)Region Server首次Compaction后，根據文件生成數據文件HDFSMaster負責刪除已下線且不被引用的父region文件小象學院子 Region目錄子Region0Region子Region1以HBase的

6、使用帶入HBase的原理-StoreFile生成詳解在較舊的版本或hfile.format.ver配置為1時會寫入過濾器內容新版本中沒有內容timerange最早put時間hlogid各block數量&偏移量壓縮類型&原始長度 key value數量等小象學院KeyValueKeyValueKeyValueKeyValueKeyValueKeyValueKeyValueDataBlockKeyValueDataBlockIndexBlock& BloomFilterBlockDataBlockIndexBlock& BloomFilterBlockMetaBlockDataBlockIndex

7、MetaBlockIndexFileInfoBloomFilterIndex文件結尾以HBase的使用帶入HBase的原理數據操作之DELETEDeleteColumnRowkeyFamilyQualifierTimestTypeByte(刪除列中小于等于時間戳的)DeleteFamilyRowkeyFamilyTimestTypeByte(刪除列族中小于等于時間戳的)DeleteFamilyVerRowkeyFamilyTimestTypeByte(刪除列族中時間戳相等的)DeleteRowkeyFamilyQualifierTimestTypeBytePutRowkeyFamilyQual

8、ifierTimestTypeByteValue以HBase的使用帶入HBase的原理數據操作之SCAN數據操作SCANGET最終會被轉為SCAN處理端確定region位置的邏輯DataBlockIndexBlock& BloomFilterBlock如果可以回結DataBlock則繼續nextRegion SerIndexBlock&BloomFilterBlock更新ResultStoreScannernerId leas (租期 到期時間戳)同一rowkeyfilter過濾MetaBlockKeyValueKeyValueKeyValueKeyValueStoreFileMemStore

9、StoreFileStoreFileScannerScannerScannerScannerDataBlockIndexMsSFeMetaBlockIndexSeF eSeF eFileInfoBloomFilterIndex文件結 尾中HLogseekseekseekseekScannernnerId返果以HBase的使用帶入HBase的原理容災容災!容災!Masteropen region確定region新過程 中位置 replay logegiongionrveregionervererversplitting logHD小象學院HLogSplitedHLogSplited HLogSp

10、lited HLogHLogHLogSplitedHLogHLogFRegion舊舊RegionReSeRegionRegion們：ChinaHadoop公號：ChinaHadoop！數據怎么存社區文檔之外的HBase表結構設計建議閱讀社區中文參考指南(單頁)第六章/hbase/book.html#schema小象學院列族與列列族間 讀寫相關性弱，不同時讀寫 同時讀寫需要文件參與列族中的列讀寫相關性強，同時讀寫不建議讀寫相關性不高的列被設計進同一個列族寫入時被分到多個StoreFile Get時掃描多個文件 可以使用RowCol，但是會占用Scan時需要過濾不需要的其他列的數據小象學院多列族代

11、替關系計算過去小象學院學號Sno課程號Cno成績Grade95001950019500295002323889080課程 號Cno課程 名Cname學分Ccredit7數據庫數學 信息系統操作系統數據結構數據處理PASCAL語言24學號Sno所在 系SdeptSnameSsexSage95001950029500395004男女女男20191819計算機系信息系數學系信息系多列族代替關系計算現在，解決方案一會有冗余、不滿足范式滿足查詢學生信息、查詢學生成績信息以及兩者的聯合查詢小象學院學生信息列族Student成績信息列族GradeRowkey學號name課程 名Cname學分Credit成績

12、Grade9500195001數據庫49295001數學2859500295002數學290多列族代替關系計算現在，解決方案二會有冗余、不滿足范式滿足查詢學生信息、查詢學生成績信息以及兩者的聯合查詢按照課程名排序類似的如果需要按照多個key排序，需要key寬度相同例如學號、成績、學分依次排序：95001098004學號95001、成績92.00(為了兼容100與0.5)、學分4分(保留一位兼容10+)小象學院數據在學生信息列族Student成績信息列族GradeRowkey學號name學分Credit成績Grade9500195001數據庫49295001數學2859500295002數學29

13、0多列族代替關系計算不要讓rowkey過長增加索引大小增加bloomfilter block占用內存減少隨機讀小象學院建表時的選項KEEP_DELETED_CELLSVER設置它，可以知道在某個時間點前S固定集合是否存在BLOOMFILTERROW基本夠用ROWCOL會占用較多內存 NONE適合只有全表掃描BLOCKSIZE決定一個datablock中能夠存放多少數據影響查找長度MAX_FILESIZE決定每個region最大總文件大小超過此值則進行split regionMEMSTORE_FLUSHSIZE表獨自的flush閾值如果全局memstore大小達到閾值也會flushDEFERRE

14、D_LOG_FLUSH異步hlog寫入提高寫入效率，有數據丟失風險NUMREGIONS與SPLITALGO預分regionJAVA API中更加靈活小象學院DataBlockIndexBlock&BloomFilterBlockDataBlockIndexBlock&BloomFilterBlockMetaBlockDataBlockIndexMetaBlockIndexFileInfoBloomFilterIndex文件結尾合理控制region數量影響查找長度和效率的不會因為region總文件大小過大而受到影響region是否均勻分布在集群中datablock中的數據量region server的handler數量region數量過多meta表變大容災和負載均衡負擔增加容災時zookeeper數據量變大平均恢復時間變長小象學院合理控制region數量合理分擔scan、get、put到每個region server對于一個表每個region server上的region數過多無益每個region中的數據量最好近似region數合理后禁用split region將MAX_FIL