1、回顧一下傳統(tǒng)關(guān)系型數(shù)據(jù)庫回顧一下傳統(tǒng)關(guān)系型數(shù)據(jù)庫事務(wù)的保障，事務(wù)的保障，ACID豐富的數(shù)據(jù)類型和豐富的數(shù)據(jù)類型和SQL操作操作嚴格的數(shù)據(jù)模型嚴格的數(shù)據(jù)模型,行式存儲行式存儲互聯(lián)網(wǎng)的需求互聯(lián)網(wǎng)的需求對數(shù)據(jù)高并發(fā)讀寫的要求對數(shù)據(jù)高并發(fā)讀寫的要求對海量數(shù)據(jù)的存儲和訪問對海量數(shù)據(jù)的存儲和訪問伸縮性，可用性，可靠性方面的需求伸縮性，可用性，可靠性方面的需求關(guān)系型數(shù)據(jù)庫的解決方案關(guān)系型數(shù)據(jù)庫的解決方案高并發(fā)高并發(fā) 措施：讀寫分離，分庫分表 帶來數(shù)據(jù)一致性問題海量數(shù)據(jù)海量數(shù)據(jù) 措施：分庫分表 實現(xiàn)復(fù)雜，后期遷移維護復(fù)雜， 路由規(guī)則（DHT，自定義）高可用，可靠，伸縮高可用，可靠，伸縮 措施：主備，主從，多主

2、 本身擴展性差，增加和節(jié)點宕機需要進行數(shù)據(jù)的遷移 NOSQL-CAPCAPBASENOSQL一致性一致性強一致強一致 2PC W+RN PAXOS弱一致弱一致 Gossip 向量時鐘 時間戳 Merkle treeHBase在在hadoop體系中位置體系中位置分布式數(shù)據(jù)庫分布式數(shù)據(jù)庫HBase的特點的特點基于列式的高效存儲基于列式的高效存儲強一致的數(shù)據(jù)訪問強一致的數(shù)據(jù)訪問高可靠高可靠高性能高性能可可伸縮伸縮，自動切分，遷移，自動切分，遷移Schema free邏輯數(shù)據(jù)模型邏輯數(shù)據(jù)模型TableRegionColumnFamilyRowColumnValueTimeStampHBase的體系組成

3、的體系組成體系結(jié)構(gòu)組成體系結(jié)構(gòu)組成體系結(jié)構(gòu)組成體系結(jié)構(gòu)組成HBase各對象職責各對象職責Client HBase的訪問接口，維護cache加快HBase的訪問Zookeeper 監(jiān)控master，保證只有一個master 存儲Region的入口地址 監(jiān)控RegionServer上下線，并告知Master 存儲Hbase shcema和table 的元數(shù)據(jù)Master 分配Region到RegionServer RegionSever的負載均衡 發(fā)現(xiàn)失效的RegionServer并重新分配其上的Region 管理用戶對Table的增刪改查操作RegionServer 維護Region，處理對這些

4、Region的IO Split&CompactRegion的定位的定位-ROOT-.METARegion的定位的定位LSM-TreeBTree（索引讀）（索引讀） mysql,Oracle Hash（key value） redis,mongodb 無法范圍查詢 無法避免表掃描 無法避免數(shù)據(jù)排序 LSM-Tree（寫）（寫） HBaseBooleamFilter 快速定位數(shù)據(jù)是否位于某集合 少量的錯判率Lsm-treebitmapPut/Get操作操作存儲分布存儲分布HFileHLogRegionServer宕機恢復(fù)宕機恢復(fù)(可靠性可靠性)冗余冗余節(jié)點宕機節(jié)點宕機,內(nèi)存中的數(shù)據(jù)還未內(nèi)存

5、中的數(shù)據(jù)還未Flush到文件中到文件中 Region Server1MasterzookeeperRegion1storesHDFSRegion2stores Store1 store2WAL.logs/rs1/xxxxx1.logs/rs1/xxxxx2Region1 .splitlogsRegion2 .splitlogsSeqNum checkRegion Server2Split logAssign RegionOpen RegionRelay logSplit&Compact（可用性）（可用性）為什么要分裂為什么要分裂 避免單個region訪問過于頻繁 單機壓力過大，均衡壓力

6、 為什么要為什么要Compact 減少HFile文件的個數(shù) 提高性能 清除過期和刪除數(shù)據(jù) 分裂過程分裂過程 觸發(fā)split region zookeeper創(chuàng)建split點 hdfs創(chuàng)建臨時分裂目錄 Region下線 分裂兩個子region 更新META表 打開Region 更新META表關(guān)于子Region的位置信息 更新zookeeper分裂狀態(tài)完成 *建議禁止自動split，系統(tǒng)不忙的時候手動進行 Split&Compact（可用性）（可用性）Compact minor compact major compact Region所有的Hfile合并成一個，垃圾清理 建議定時或者手工進行 MemStoreHFileCompact ThreadFlush, snapshotCompact queueHFileHFileHFile應(yīng)用方式應(yīng)用方式RowKey設(shè)計設(shè)計 userNum$2013