SparkSQL簡介目錄/Contents01什么是SparkSQL02SparkSQL架構什么是SparkSQL01什么是SparkSQLSparkSQL是Spark用來處理結構化數據（結構化數據可以來自外部結構化數據源也可以通過RDD獲取）的一個模塊，它提供了一個編程抽象叫做DataFrame并且作為分布式SQL查詢引擎的作用。外部的結構化數據源包括JSON、Parquet(默認)、RMDBS、Hive等。當前SparkSQL使用Catalyst優化器來對SQL進行優化，從而得到更加高效的執行方案。并且可以將結果存儲到外部系統。什么是SparkSQLSparkSQL的前身是Shark,Shark最初是美國加州大學伯克利分校的實驗室開發的Spark生態系統的組件之一,它運行在Spark系統之上,Shark重用了Hive的工作機制,并直接繼承了Hive的各個組件，Shark將SQL語句的轉換從MapReduce作業替換成了Spark作業，雖然這樣提高了計算效率,但由于Shark過于依賴Hive,因此在版本迭代時很難添加新的優化策略，從而限制了Spark的發展,在2014年,伯克利實驗室停止了對Shark的維護,轉向SparkSQL的開發。SparkSQL主要提供了以下3個功能。什么是SparkSQL(1)SparkSQL可以從各種結構化數據源(如JSON、Hive、Parquet等)中讀取數據,進行數據分析。(2)SparkSQL包含行業標準的JDBC和ODBC連接方式，因此它不局限于在Spark程序內使用SQL語句進行查詢。(3)SparkSQL可以無縫地將SQL查詢與Spark程序進行結合，它能夠將結構化數據作為Spark中的分布式數據集(RDD)進行查詢，在Python、Scala和Java中均集成了相關API,這種緊密的集成方式能夠輕松地運行SQL查詢以及復雜的分析算法。

SparkSQL架構02SparkSQL架構SparkSQL架構與Hive架構相比除了把底層的MapReduce執行引擎更改為Spark還修改了Catalyst優化器，SparkSQL快速的計算效率得益于Catalyst優化器。從HiveQL被解析成語法抽象樹起，執行計劃生成和優化的工作全部交給SparkSQL的Catalyst優化器進行負責和管理。SparkSQL快速的計算效益得益于Catalyst優化器。從HiveQL被解析成語法抽象樹起，執行計劃生成和優化的工作全部交給SparkSQL的Catalyst優化器負責和管理。如圖7-1所示為SparkSQL整體架構。SparkSQL架構Catalyst優化器是一個新的可擴展的查詢優化器，它是基于Scala函數式編程結構，SparkSQL開發工程師設計可擴展架構主要是為了在今后的版本迭代時，能夠輕松地添加新的優化技術和功能，尤其是為了解決大數據生產環境中遇到的問題（例如，針對半結構化數據和高級數據分析），另外，Spark作為開源項目，外部開發人員可以針對項目需求自行擴展Catalyst優化器的功能。SparkSQL架構Catalyst主要的實現組件介紹如下。1、sqlParse:完成sql語句的語法解析功能，目前只提供了一個簡單的sql解析器；2、Analyzer:主要完成綁定工作，將不同來源的UnresolvedLogicalPlan和數據元數據（如hivemetastore、Schemacatalog）進行綁定，生成resolvedLogicalPlan；3、Optimizer:對resolvedLogicalPlan進行優化，生成optimizedLogicalPlan；4、Planner:將LogicalPlan轉換成PhysicalPlan；5、CostModel:主要根據過去的性能統計數據，選擇最佳的物理執行計劃Spark作為開源項目，外部開發人員可以針對項目需求自行擴展Catalyst優化器的功能。如圖7-2所示為SparkSQL的運行架構。SparkSQL架構如上圖所示，SparkSQL的工作流程可以分為如下幾步：(1)使用SessionCatalog保存元數據在解析SQL語句之前，會創建SparkSession，或者如果是2.0之前的版本初始化SQLContext，SparkSession只是封裝了SparkContext和SQLContext的創建而已。會把元數據保存在SessionCatalog中，涉及到表名，字段名稱和字段類型。創建臨時表或者視圖，其實就會往SessionCatalog注冊。(2)解析SQL使用ANTLR生成未綁定的邏輯計劃當調用SparkSession的SQL或者SQLContext的SQL方法，我們以2.0為準，就會使用SparkSqlParser進行解析SQL。使用的ANTLR進行詞法解析和語法解析。它分為2個步驟來生成UnresolvedLogicalPlan:詞法分析：LexicalAnalysis,負責將token分組成符號類。構建一個分析樹或者語法樹AST。(3)使用分析器Analyzer綁定邏輯計劃在該階段，Analyzer會使用AnalyzerRules，并結合SessionCatalog，對未綁定的邏輯計劃進行解析，生成已綁定的邏輯計劃。SparkSQL架構(4)使用優化器Optimizer優化邏輯計劃優化器也是會定義一套Rules，利用這些Rule對邏輯計劃和Exepression進行迭代處理，從而使得樹的節點進行合并和優化。(5)使用SparkPlanner生成物理計劃SparkSpanner使用PlanningStrategies，對優化后的邏輯計劃進行轉換，生成可以執行的物理計劃SparkPlan.(6)使用QueryExecution執行物理計劃此時調用SparkPlan的execute方法，底層其實已經再觸發job了，然后返回RDD。感謝大家的聆聽DataFrames目錄/Contents01DataFrames創建02操作DataFrames03RDD轉換為DataFramesDataFrames創建01DataFrames創建在Spark2.0版本之前，SparkSQL中的SQLContext是創建DataFrame和執行SQL的入口，可以利用HiveContext接口，通過HiveQL語句操作Hive表數據，實現數據查詢功能。從Spark2.0版本以上開始，Spark使用全新的SparkSession接口替代SQLContext及HiveContext接口來實現對其數據加載、轉換、處理等功能。DataFrames創建1．數據準備2.通過文件創建DataFrame3.RDD轉換為DataFrame操作DataFrames02操作DataFramesDataFrame提供了兩種語法風格，即DSL風格語法和SQL風格語法，兩者在功能上并無區別，僅僅是根據用戶習慣，自定義選擇操作方式。DSL風格2.SQL風格RDD轉換為DataFrames03RDD轉換為DataFramesSparkSQL支持兩種不同的方式轉換已經存在的RDD到DataFrame。第一種方式，是使用反射來推斷包含了特定數據類型的RDD的元數據。這種基于反射的方式，代碼比較簡潔，當你已經知道你的RDD的元數據時，是一種非常不錯的方式。這個方式簡單，但是不建議使用，因為在工作當中，使用這種方式是有限制的。感謝大家的聆聽SparkSQL多數據源操作目錄/Contents01

MySQL數據源操作02Hive數據源操作MySQL數據源操作01MySQL數據源操作SparkSQL可以通過JDBC從關系數據庫中讀取數據創建DataFrame，通過對DataFrame進行一系列操作后，還可以將數據重新寫入關系數據庫中，當使用JDBC訪問其它數據庫時，應該首選JDBCRDD。這是因為結果是以數據框（DataFrame）返回的，且這樣SparkSQL操作輕松或便于連接其它數據源。MySQL數據源操作1.讀取MySQL數據庫通過navicat或者SQLyog工具遠程連接master節點的MySQL服務，利用可視化界面創建名為spark_sql的數據庫，并創建person表，向表中添加數據。2.向MySQL中寫入數據SparkSQL不僅可以查詢MySQL中的數據，還可以將數據寫入MySQL中。Hive數據源操作02Hive數據源操作1.環境準備Hive采用MySQL數據庫存放Hive元數據，為了能夠讓Spark訪問Hive，需要將MySQL驅動包復制到Spark安裝路徑下的jars目錄下。2.創建數據庫與表配置完成后啟動hive創建對應的數據庫與表。SparkSQL支持對Hive中存儲的數據進行讀寫。下面介紹通過SparkSQL操作Hive數據倉庫的具體步驟。Hive數據源操作3.SparkSQL操作Hive數據庫執行Spark-Shell，首先進入sparksql數據庫，查看當前數據倉庫中是否有person表。4.向表中插入數據在插入數據之前先查看表中的數據。感謝大家的聆聽SparkSQL應用案例目錄/Contents01SparkSQL實現單詞統計02電影數據分析SparkSQL實現單詞統計01SparkSQL實現單詞統計（1）實驗內容本實驗主要介紹在IDEA中開發SparkSQL案例-WordCount，以SQL和DSL兩種方式實現。（2）實驗目的熟悉SparkSQL的SQL和DSL的使用方法和區別（3）實驗步驟步驟1SQL方式實現WordCount步驟2DSL方式實現WordCount（4）步驟1SQL方式實現WordCo