Hive內部培訓順豐科技-系統與數據集成研發中心-數據集成研發部第一章第二章第三章第四章Hive是什么Hive特性

怎么用HiveHive的調優及發展Hive是什么？?Hive是基于Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射為一張數據庫表，并提供類SQL查詢功能。?本質是將HQL轉換為MapReduce程序Hive關注以下幾點：在Hadoop中的數據可擴展的SQL處理可擴展到100PB+結構化和非結構化數據---現階段公司只是用到結構化的數據Hive的架構簡介–在Hadoop生態圈的位置建立在Hive之上的交換層讓傳統DBA或者Java工程師輕松就能完成更多的工作最終轉化成MapReduceJobHive將元數據存儲在數據庫中，如mysql、derby。Hive中的元數據包括表的名字，表的列和分區及其屬性，表的屬性（是否為外部表等），表的數據所在目錄等。解釋器、編譯器、優化器完成HQL查詢語句從詞法分析、語法分析、編譯、優化以及查詢計劃的生成。生成的查詢計劃存儲在HDFS中，并在隨后有MapReduce調用執行。Hive的數據存儲在HDFS中，大部分的查詢由MapReduce完成（包含*的查詢，比如select*fromtbl不會生成MapRedcue任務）。Hive的架構簡介–接口1、Hive將元數據存儲在數據庫中，如mysql、derby。Hive中的元數據包括表的名字，表的列和分區及其屬性，表的屬性（是否為外部表等），表的數據所在目錄等。

2、解釋器、編譯器、優化器完成HQL查詢語句從詞法分析、語法分析、編譯、優化以及查詢計劃的生成。生成的查詢計劃存儲在HDFS中，并在隨后有MapReduce調用執行。

3、Hive的數據存儲在HDFS中，大部分的查詢由MapReduce完成（包含*的查詢，比如select*fromtbl不會生成MapRedcue任務）。

Hive和普通關系數據庫的異同

HiveRDBMS查詢語言HQLSQL數據存儲HDFSRawDeviceorLocalFS索引無有執行MapReduceExcutor執行延遲高低處理數據規模大小1、查詢語言。專門設計了類SQL的查詢語言HQL。熟悉SQL開發的開發者可以很方便的使用Hive進行開發。

2、數據存儲位置。Hive的數據都是存儲在HDFS中的。3、數據格式。Hive中沒有定義專門的數據格式，數據格式可以由用戶指定.4、數據更新。Hive中不支持對數據的改寫即沒有更新5、執行。Hive中大多數查詢的執行是通過

MapReduce來實現的。

6、執行延遲。hive延遲較高。但由于MR框架大數據量的訪問優勢明顯。

7、可擴展性。由于Hive是建立在Hadoop之上的，因此Hive的可擴展性是和Hadoop的可擴展性是一致的（Oracle在理論上的擴展能力也只有100臺左右。

8、數據規模。由于Hive建立在集群上并可以利用MapReduce進行并行計算，因此可以支持很大規模的數據

第一章第二章第三章第四章Hive是什么Hive基本操作

怎么用HiveHive的調優及發展Hive基本操作–DDLCreate/Drop/AlterDatabaseCreate/Drop/AlterTableAlterTable/Partition/ColumnCreate/Drop/AlterViewCreate/DropIndexCreate/DropFunctionShowDescribeHive基本操作–托管表和外部表Hive默認創建ManagedTable，由Hive來管理數據，意味著Hive會將數據移動到數據倉庫目錄。另外一種選擇是創建ExternalTable，這時Hive會到倉庫目錄以外的位置訪問數據。如何選擇？如果所有處理都由Hive完成，應該使用ManagedTable。如果要用Hive和其它工具來處理同一個數據集，應該使用ExternalTables。托管表外部表CREATE/LOAD把數據已到倉庫目錄創建表時指明外部數據的位置DROP元數據和數據會被一起刪除只刪除元數據Hive基本操作–DATABASE在Hive中創建數據庫及托管表(內部表)1、登錄進入Hivesudo-uhdfshive;2、查看數據庫showdatabases;3、創建數據庫createdatabaseifnotexistsabc_test;4、進入abc_test數據庫useabc_test;5、查看數據庫下所有的表showtables;6、創建托管表(內部表：刪除表，數據同時被刪除)droptableifexistsabc_table_01;createtableabc_table_01(

idintcomment'序列',

namestringcomment'名稱')comment'創建托管表(內部表)'rowformatdelimitedfieldsterminatedby'\001';7、查看表結構

descformattedabc_table_01;Hive基本操作–PartitionHive外部表與分區表建立。1、創立外部表(刪除外部表，數據不會被刪除)droptableifexistsabc_table_02;createexternaltableabc_table_02(

idintcomment'序列',

namestringcomment'名稱')comment'創建外部表'rowformatdelimitedfieldsterminatedby'\001'location'/test/fin_abc/fin_abc/fct/abc_table_02';2、創建立分區表

droptableifexistsabc_table_03;createexternaltableabc_table_03(

idintcomment'序列',

namestringcomment'名稱')comment'創建外部表'partitionedby(hq_month_codestring)rowformatdelimitedfieldsterminatedby'\001'location'/test/fin_abc/fin_abc/bsl/abc_table_03';3、添加分區

altertableabc_table_03addpartition(hq_month_code='201501')location'/test/fin_abc/fin_abc/bsl/abc_table_03/201501';Hive基本操作–TABLEOPERATINGHive數據庫和表的DDL操作1、修改表名

altertableabc_table_01renametoabc_table_01_new;2、添加字段(不能刪除字段)

altertableabc_table_01_newaddcolumns(abcstring);3、修改字段

altertableabc_table_01_newchangeabcnew_abcstring;4、刪除分區

altertableabc_table_03droppartition(hq_month_code='201501');5、查看分區showpartitionsabc_table_03;6、刪除表

droptableabc_table_01_new;7、刪除數據庫

dropdatabaseifexistsabc_testcascade;Hive基本操作–TABLEOPERATINGHive表的DML操作1、插入數據insertoverwritetableabc_table_01selectcount(*)asid,'test1'fromabc_table_01;insertintotableabc_table_01select1asid,'test12'fromabc_table_01;2、查詢數據

selecta.*fromabc_table_01a;

selecta.*fromabc_table_01alimit10;注意：1、Hive支持并行插入。2、Hive不支持不等值連接。

3、Hive中沒有控制語句如for、ifelse、while等。Hive基本操作–DMLLoadingfilesintotablesInsertingdataintoHiveTablesfromqueriesWritingdataintothefilesystemfromqueriesNote：MultipleInsertHive基本操作–QueriesWHEREClauseALLandDISTINCTClausesPartitionBasedQueriesHAVINGClauseLIMITClauseREGEXColumnSpecificationhttps:///confluence/display/Hive/LanguageManual+SelectHive基本操作–QueriesJoinInnerjoinHive只支持等值連接；JOIN子句中表的順序很重要，一般最好將最大的表在最后;Outerjoin外連接可以讓你找到連接表中不能匹配的數據行;Semijoin目前并不支持IN子查詢，可以使用LEFTSEMIJOIN達到相同效果（右表最能在ON子句中出現）;Mapjoin該查詢Job沒有reducer；使用時充分利用BucketedTable，需要設置hive.optimize.bucketmapjoin為true;慎重使用！第一章第二章第三章第四章Hive是什么Hive基本操作

怎么用HiveHive的調優及發展Hive使用–以Mc為例數據準備定義數據倉庫放置目錄：HDFS目錄/user/cloudil/cdr/bssap/20120717/bssap

-協議類型

20120717-年月日(開始時間)

以bssap為例，自行管理倉庫數據，按天查詢創建分區；建表（支持按時間分區的外部表）加載數據LOADDATAINPATH'/user/cloudil/bssap-2012-08-05-09/'INTOTABLEbssapPARTITION(date='20120805');數據應用查詢與ET

第一章第二章第三章第四章Hive是什么Hive基本操作

怎么用HiveHive的調優及發展Hive調優–數據存儲模型數據庫（database）表（table）表（table）傾斜數據正常數據分區分區桶桶桶桶Hive調優-存儲格式??Built-inFormats:–?Parquet–?ORCFile–?RCFile–?Avro–?DelimitedText–?RegularExpression–?S3Logfile–?TypedBytes??3rd-PartyAddons:–?JSON–?XMLHive調優–參數以下常用設置set=fin_abc;--指定對列set=fin_abc;sethive.fetch.task.conversion=more;--對于簡單的不需要聚合的類似SELECT不需要起MapReduce.sethive.cli.print.header=true;--打印列名sethive.exec.reducers.max=200;--最大reducers數setpress.output=false;--控制hive的查詢結果輸出是否進行壓縮，默認不壓縮false；setermediate=true;--決定查詢的中間map/reduce的輸出是否為壓縮setmapred.max.split.size=1000000000;--每個map的最大輸入大小，該值約小，map數越多;setmapred.min.split.size.per.node=1000000000;