HiveQL—數據操作創建數據集創建表：createtablewordcount(wordstring,freqint)rowformatdelimitedfieldsterminatedby'\t'storedastextfile;生成數據:在hdfs上創建input目錄，將數據文件上傳到input目錄下，執行程序，生成wordcount數據hadoopjar$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jarwordcount/input/yarn*/output裝入數據：loaddatainpath"/output/part-r-00000"intotablewordcount;HiveQL查詢SELECTnameFROMsalesWHEREamount>8ANDregion="shanghai";SELECTcount(*)counter,regionFROMsalesGROUPBYregionHAVINGcounter>2;select*fromwordcountlimit10;select*fromwordcountwherefreq>10orderbyfreqdesclimit10;HiveQL查詢數組列：selectname,subordinatesfromemployees;selectname,subordinates[0]fromemployees;map

selectname,deductions["grtaxes"]fromemployees;struct

selectname,address.cityfromemployees;使用列值進行計算selectsalary,deductions["grtaxes"],salary*(1-deductions["grtaxes"])fromemployees;嵌套select語句select,e.salary,e.salary_shfrom(selectname,salary,deductions["grtaxes"]asgr_taxes,round(salary*(1-deductions["grtaxes"]))assalary_shfromemployees)ewheree.salary_sh>2000;通過查詢語句向表中插入數據insert允許用戶通過查詢語句向目標表中插入數據insertoverwrite[into]tablestock_tpartition(ymd='20170929')selectsymbol,price_open,price_high,price_low,price_close,volumefromstockswhereymd='20170929';通過查詢語句向表中插入數據fromstocksinsertoverwritetablestock_tpartition(ymd='20170928')selectsymbol,price_open,price_high,price_low,price_close,volumewhereymd='20170928'insertoverwritetablestock_tpartition(ymd='20170929')selectsymbol,price_open,price_high,price_low,price_close,volumewhereymd='20170929'insertoverwritetablestock_tpartition(ymd='20170930')selectsymbol,price_open,price_high,price_low,price_close,volumewhereymd='20170930';動態分區插入Hive提供了一個動態分區功能，可以基于查詢參數推斷出需要創建的分區名稱insertoverwritetablestock_tpartition(ymd)selectsymbol,price_open,price_high,price_low,price_close,volume,ymdfromstocks;動態分區功能默認情況下是沒有開啟的，需要將hive.exec.dynamic.partition.mode設置為nonstrict導出數據從表中導出數據如果文件恰好是用戶需要的格式，那么只需要簡單拷貝文件夾或者文件就可以了。

hadoopfs-cpsource_pathtarget_path否則，用戶可以使用insert…directory…insertoverwrite[local]directory'/home/hadoop/emp'selectname,salary,addressfromemployees;關系運算空值判斷selectname,salaryfromemployeeswheresalaryisnull;LIKE比較selectname,salaryfromemployeeswherenamelike'l%';浮點數比較（可選）浮點數比較的一個常見問題是出現在不同類型做比較（float和double比較）selectname,salary,deductions["grtaxes"]fromemployeeswheredeductions[“grtaxes”]>0.2;對指定的值進行顯示的類型轉換selectname,salary,deductions["grtaxes"]fromemployeeswheredeductions["grtaxes"]>cast(0.2asfloat);數學函數取整函數selectround(3.1415)fromemployees;指定精度取整函數selectround(3.1415,2)fromemployees;向下取整函數selectfloor(3.1415)fromemployees;向上取整函數selectceil(3.1415)fromemployees;取隨機數函數selectrand()fromemployees;

字符串函數

字符串長度函數selectlength(name)fromemployees;字符串連接函數selectconcat(name,'@')fromemployees;字符串截取函數selectsubstr(name,2)fromemployees;selectsubstr(name,1,2)fromemployees;字符串轉大寫函數selectupper(name)fromemployees;去空格函數

selecttrim(name)fromemployees;

聚合函數個數統計函數selectcount(*)fromemployees;總和統計函數selectsum(salary)fromemployees;平均值統計函數

selectavg(salary)fromemployees;最小最大值selectmin(salary),max(salary)fromemployees;數據表的join—innerjoinselecta.ymd,a.symbol,a.price_close,b.symbol,b.price_closefromstocksajoinstocksbona.ymd=b.ymdwherea.symbol='600718'andb.symbol='002230';ON子句指定了兩個表之間數據連接的條件數據表的join—innerjoin多表連接selecta.ymd,a.symbol,a.price_close,b.symbol,b.price_close,

c.symbol,c.price_close

fromstocksajoinstocksbona.ymd=b.ymd

joinstockscona.ymd=c.ymd

wherea.symbol='600718'andb.symbol='002230'andc.symbol='000977';數據表的join—innerjoin練習產生數據集countword,將countword和之前產生的另外一個wordcount數據集進行聯合查詢創建一個中間數據表merged，用于存儲查詢結果將兩個數據集的交集保存在數據表merged中數據表的join—leftouterjoin左外連接通過關鍵字leftouter進行標識selects.ymd,s.symbol,s.price_close,d.dividendfromstockssleftouterjoinstocks_divdons.ymd=d.ymdands.symbol=d.symbol;數據表的join—Rightouterjoin右外連接將返回右邊表所有符合where語句的記錄，左邊表中匹配不上的字段值用null代替。selects.ymd,s.symbol,s.price_close,d.dividendfromstocks_divdrightouterjoinstockssons.ymd=d.ymdands.symbol=d.symbol;數據表的join—Fullouterjoin完全外連接會返回所有表中符合where語句條件的所有記錄，如果任一表的指定字段沒有符合條件的值，那么就會使用null值代替。selects.ymd,s.symbol,s.price_close,d.dividendfromstocks_divdfullouterjoinstockssons.ymd=d.ymdands.symbol=d.symbol;數據表的join—leftsemijoinleftsemijoin（左半開連接）類似exists。即查找a表中的數據，是否在b表中存在，找出存在的數據。selects.ymd,s.symbol,s.price_closefromstockssleftsemijoinstocks_divdons.ymd=d.ymdands.symbol=d.symbol;笛卡爾積join笛卡爾積是一種連接，表示左邊表的行數乘以右邊表的行數等于笛卡爾結果集的大小。select*fromstocksjoinstocks_div;Orderby和SortbyOrderby會對查詢結果集執行一個全局排序，所有的數據都通過一個reducer進行處理。Sortby會在每個reducer中對數據進行排序，保證每個reducer的輸出數據都是有序的，這樣可以提高后面進行的全局排序的效率。select*fromwordcountwherefreq>10orderbyfreqdesclimit10;select*fromwordcountwherefreq>10sortbyfreqdesclimit10;DistributebyDistributeby控制map的輸出在reducer中的劃分使用Distributeby來保證具有相同值的數據被分發到同一個reducer中進行處理，然后使用sort

by對數據進行排序。selectymd,symbol,price_closefromstocksdistributebysymbolsortbysymbol,ymd;抽樣查詢對于非常大的數據集，用戶有時需要使用的是一個具有代表性的查詢