Hadoop大數據項目開發——HBase概述目錄content02MapReduce優化方法01MapReduce運行效率瓶頸HBase簡介HBase是一個面向列、高性能、高可靠、可伸縮的分布式存儲系統。可在廉價計算機上搭建起大規模的結構化存儲集群。HBase是以HDFS為文件存儲系統。以MapReduce為海量數據處理框架，以ZooKeeper為協同服務工具。HBase簡介HBase是一個非關系型數據庫。非常適合于非結構化數據存儲的數據庫。數據以列族形式存儲，HBase基于列的而不是基于行的模式。HBase支持在海量數據上隨機、實時讀寫數據。HBase特點它彌補了Hadoop不能進行實時數據處理的缺陷。它采用了稀疏矩陣的存儲方式。它可以通過增加節點的方式進行線性擴展。HBase的特點它彌補了Hadoop不能進行實時數據處理的缺陷。它采用了稀疏矩陣的存儲方式。它可以通過增加節點的方式進行線性擴展。HBase與傳統數據庫的區別HBase的數據存儲類型單一。HBase僅具有簡單的操作。HBase的更新操作實際上是插入了新的數據且仍保留舊的數據。HBase的查詢只能通過行鍵進行，表的設計難度較大。HBase與Hive的區別Hive支持SQL查詢，而HBase不支持SQL。Hive不支持行級別的更新，而HBase支持數據的增、刷、改、查。Hive本身不存儲數據，而HBase可以聯機實時處理數據，是一種分布式數據庫。HBase邏輯視圖HBase中的表一般由行鍵（rowkey）、時間戳（timestamp）、列族（columnfamily）、列（column）組成。在使用表之前，需要先定義列族，而行、列和時間戳可動態擴展。行鍵：行鍵以字節數組來存儲，沒有特定的數據類型，可以是任意字符串，但最大長度為64KB。它是用于檢索的主鍵。列族：在定義表結構時，必須預先定義列族，并且不可以隨意修改。列：列在定義表時不需要定義，因為它不是元數據的一部分，只需在插入數據時再指定。時間戳：通過行鍵和列可以確定一個存儲單元。每個存儲單元中可能保存著一個數據的多個版本，它們通過時間戳索引。HBase邏輯視圖HBase存儲原理HBase由1個或者多個HMaster和多個RegionServer組成的集群。其中HMaster和RegionServer的狀態存儲在ZooKeeper上，HBase的數據存儲在HFile的文件上。HRegion內部架構圖本章小結本節介紹了HBase、HBase邏輯視圖和HBase的實現原理，相信大家掌握了HBase的相關概念，對非關系型數據庫有了認識，為我們后續學習HBase相關操作打下了理論基礎。Hadoop大數據項目開發——HBase安裝目錄content0201Hadoop集群部署方式Hadoop集群搭建HBase安裝步驟Xshell中的文件傳輸拖到文件傳輸窗口查看Zookeeper安裝包步驟1：HBase安裝步驟解壓Zookeeper安裝包命令Zookeeper系統環境變量步驟2：步驟3：重命名命令步驟4：編輯profile文件步驟5：使profile文件生效HBase安裝步驟步驟6：修改hbase-env.sh文件HBase安裝步驟步驟7：修改hbase-site.xml文件步驟8：修改regionservers文件HBase安裝步驟拷貝Zookeeper到slave1和slave2兩個節點拷貝profile文件到slave1和slave2兩個節點步驟9：步驟10：使profile文件生效HBase安裝步驟啟動HBaseHBase安裝步驟HBase節點HBase安裝步驟HBase對應的Web界面本章小結本節介紹了HBase的安裝、配置HBase的配置文件以及HBase的啟動，相信大家掌握了HBase的安裝及啟動，為我們后續學習HBaseShell命令操作和HBaseJavaAPI操作打下了基礎。Hadoop大數據項目開發——HBaseShell命令操作目錄content0201基本Shell命令命名空間操作03表操作基本Shell命令啟動HBaseShell基本Shell命令查看HBase的運行狀態查看表信息查看HBase的版本信息獲取HBaseShell幫助退出HBaseShell表操作創建命名空間查看命名空間查看某個具體的命名空間刪除命名空間命名空間是對表的邏輯分組，類似于關系型數據庫中數據庫HBase中有兩個默認的命名空間，分別是：default：默認情況下，創建表時表都將創建在default名稱空間下hbase：用于存放系統的內建表，如namespace、meta等表操作-創建表查看表結構創建表，不指定參數創建表，指定參數在命名空間bigdata中創建表表操作-添加列族查看表結構查看表是否存在增加新列族“Scores”表的狀態設置為可用使表處于不可用狀態表操作-刪除列族查看表是否存在使表處于不可用狀態刪除列族“Scores”表的狀態設置為可用查看表結構表操作-插入數據插入數據掃描全表獲取表中行鍵為‘0001’的數據查看表中的數據行數表操作-刪除數據刪除行鍵為’