第6章ETL數據清洗與轉換數據倉庫與ETL數據倉庫(DataWarehouse)簡稱DW，顧名思義，數據倉庫是一個很大的數據存儲集合，出于企業的分析性報告和決策支持目的而創建，并對多樣的業務數據進行篩選與整合。。數據倉庫可以從各種數據源中提取所需的數據，并進行存儲、整合與挖掘，從而最終幫助企業的高層管理者或者業務分析人員做出商業戰略決策或商業報表。數據倉庫術語數據源：數據源是數據倉庫的基礎，在數據源中存儲了所有建立數據庫連接的信息，通常包含企業內部信息和企業外部信息。數據集市：數據集市(DataMart)簡稱DM，也叫數據市場。它是在企業中為了滿足特定的部門或者用戶的需求，按照多維的方式進行存儲，包括定義維度、需要計算的指標、維度的層次等，生成面向決策分析需求的數據立方體。

元數據：元數據，又稱中介數據、中繼數據，是描述數據的數據，是數據倉庫的重要構件，是數據倉庫的導航圖，在數據源抽取、數據倉庫應用開發、業務分析以及數據倉庫服務等過程中都發揮著重要的作用。

OLAP：OLAP又叫做聯機分析處理。

ODS：ODS也叫作操作性數據，它是是數據倉庫體系結構中的一個可選部分事務數據庫：事務數據庫也叫做數據庫事務，它是數據庫管理系統執行過程中的一個邏輯單位，由一個有限的數據庫操作序列構成。ETL概述ETL，是英文Extract-Transform-Load的縮寫，用來描述將數據從來源端經過抽取、轉換、加載至目的端的過程。在數據倉庫的語境下，ETL基本上就是數據采集的代表，包括數據的提取（Extract)、轉換(Transform)和加載(Load)。

ETL是數據倉庫中非常重要的一環，是承前啟后的必要的一步。目前在市場上常見的ETL工具包含有：

Talend是數據集成和數據治理解決方案領域的領袖企業，也是第一家針對的數據集成工具市場的ETL開源軟件供應商。

DataStage是IBM公司的商業軟件，是一種數據集成軟件平臺，能夠幫助企業從散布在各個系統中的復雜異構信息獲得更多價值。

Kettle中文名稱叫水壺，是一款國外開源的ETL工具，純java編寫，可以在Windows、Linux、Unix上運行，數據抽取高效穩定。

ODI（OracleDataIntegrator）是Oracle的數據集成類工具，同時也是一個綜合的數據集成平臺，可滿足所有數據集成需求Kettle數據清洗與轉換基礎使用Kettle可以完成數據倉庫中的數據清洗與數據轉換工作，常見的有：數據值的修改與映射、數據排序、重復數據的清洗、超出范圍的數據清洗、日志的寫入、數據值的過濾以及隨機值的運算等。清洗簡單數據數據排序去除重復數據清洗超出范圍數據

Kettle數據轉換在日志中寫入常量過濾記錄隨機數相加統計分析

Kettle數據倉庫高級應用在使用Kettle進行ETL數據清洗與轉換時，除了上述內容外，在更多的時候還要用Kettle連接數據庫來實現更高級的操作。本節主要講述使用Kettle連接并操作MySQL數據庫，讀者只需熟悉數據庫的基本操作，掌握最基本的SQL語句即可。本章小結1）數據倉庫是決策支持系統和聯機分析應用數據源的結構化數據環境，它研究和解決從數據庫中獲取信息的問題，并為企業所有級別的決策制定過程，提供所有類型數據支持的戰略集合。2）數據倉庫中的數據來源十分復雜，既有可能位于不同的平臺上，又有可能位于不同的操作系統中，同時數據模型也相差較大。因此，為了獲取并向數據倉庫中加載這些數據量大同時種類較多的數據，一般人們要使用專業的工具來完成這一操作。3）Kettle中文名稱叫水壺，是