HBase的讀寫流程第4章學習目標1.深入了解RegionServer架構2.了解HBase寫流程3.了解HBase讀流程4.了解Hbase自動優化過程HBaseContents目錄讀流程3RegionServer架構

寫流程

21自動優化過程44.1RegionServer架構4.1RegionServer架構Store一個Region由多個Store組成，一個Store對應一個CF（列族）Store中包含位于內存中的Memstore文件和位于磁盤的Storefile文件。Memstore與Storefile寫操作先寫入Memstore，當Memstore中的數據達到某個閾值，會將其刷寫到磁盤中，生成一個Storefile文件。因此，在一張表剛剛創建之時，系統里只會有Memstore文件，當數據達到一定量或插入數據一段時間后，才會出現Storefile文件。4.1RegionServer架構WAL(writeaheadlog)由于數據要先寫入MemStore后才能刷寫到HFile，儲存在內存也會面臨一定風險。為了解決這個問題，數據會先寫在一個叫做Hlog的文件中，之后再寫入MemStore。該文件包含詳細的寫入信息，包括Region位置，寫入數據，寫入時間等等。若寫入時出現系統故障，可以通過這個日志文件重建數據。Block

Cache讀緩存，每次查詢出的數據都會緩存在BlockCache中，作為熱點數據，方便下次查詢。4.2寫流程4.2寫流程寫流程：1）Client訪問zookeeper，獲取meta表（存儲每張表RowKey的分布情況）位置；2）訪問meta表，根據寫請求的RowKey，查詢出數據應當位于哪個Region中；3）與目標RegionServer進行通訊；4）將數據順序寫入（追加）到WAL中；5）將數據寫入對應的MemStore，返回寫入成功信息；6）當MemStore中的數據大小達到閾值或距離上次溢寫達到一定時間，將MemStore溢寫至磁盤中形成StoreFile；7）將meta表的位置信息緩存，方便下次訪問。4.3讀流程4.3讀流程讀流程1）Client訪問zookeeper，獲取meta表（存儲每張表RowKey的分布情況）位置；2）訪問meta表，根據寫請求的Row

Key，查詢出數據應當位于哪個Region中；3）與目標RegionServer進行通訊；4）先后在BlockCache、MemStore、StoreFile中，根據RowKey尋找數據，如有不同時間戳版本，將所有數據進整合；5）將查詢到的新的數據塊信息緩存到BlockCache作為熱點信息；6）將合并后的最終結果返回給客戶端；7）將meta表的位置信息緩存，方便下次訪問。4.4

HBase自優化StoreFileCompaction（合并）由于memstore每次刷寫都會生成一個新的HFile，且同一個字段的不同版本（timestamp）和不同類型（Put/Delete操作）有可能會分布在不同的HFile中，因此查詢時需要遍歷所有的HFile。為了減少HFile的個數，以及清理掉過期和刪除的數據，會進行StoreFileCompaction。Compaction分為兩種，分別是MinorCompaction和MajorCompaction。MinorCompaction會將臨近的若干個較小的HFile合并成一個較大的HFile，并清理掉部分過期和刪除的數據。MajorCompaction會將一個Store下的所有的HFile合并成一個大HFile，并且會清理掉所有過期和刪除的數據。4.4HBase自優化4.4HBase自優化RegionSplit（切割）

默認情況下，每個Table初始有一個Region。隨著數據的不斷寫入，Region會自動進行拆分。剛拆分時，兩個子Region都位于當前的RegionServer，但處于負載均衡的考慮，HMaster有可能會將某個Region轉移給其他的RegionServer。RegionSplit時機：當1個region中的某個Store下所有StoreFile的總大小超過Min(initialSize*R^3,hbase.hregion.max.filesize")，該Region就會進行拆分。依照默認設置，具體如下：第一次split閾值