ChapterTwo

數據倉庫組成局部1.本章學習目標數據倉庫的定義區分數據倉庫和數據集市學習數據倉庫的每一個組成局部介紹元數據的概念和它的重要性提綱2.1定義的特點2.2數據倉庫和數據集市2.3數據倉庫的組成局部2.4元數據MetaData2.數據倉庫的創始者BillInmon: “ADataWarehouseisasubjectoriented,integrated,nonvolatile,andtimevariantcollectionofdatainsupportofmanagement’sdecisions.〞“數據倉庫是為支持管理決策建立的，面向主題的，綜合的，穩定的，隨時間變化的數據集合〞數據倉庫的開拓者SeanKelly,認為數據倉庫中的數據是：彼此別離可利用的綜合的包含時間標記的面向主題的非易失性的能訪問的3.2.1定義的特點“面向主題〞的數據在操作型系統中，各行業的數據集合都是圍繞單獨的應用程序進行組織的在數據倉庫中數據是按主題而不是按照應用程序存儲的。數據是跨應用程序的訂單處理客戶貸款顧客帳單可接收帳款索賠處理儲蓄帳目銷售產品客戶帳戶索賠政策操作型應用程序數據倉庫主題4.儲蓄帳戶支票帳戶貸款帳戶主題＝帳戶來自應用程序的數據數據倉庫主題“綜合〞的數據數據倉庫中的數據來自不同的數據庫、文件、數據段。〔內部或者外部，不同的平臺〕數據進入數據倉庫前，需要進行的標準化工作：命名規那么編碼數據特性度量單位5.數據的“時間特性〞數據倉庫中的每一個數據結構都包含了時間要素。數據倉庫中的數據是和時間變化相關的數據可以對過去進行分析與當前的信息相關可以對未來進行預測6.數據的非易變性操作型系統的數據實時地進行更新，每次交易發生都要更新；數據倉庫中的數據非實時性更新數據倉庫中的數據用來進行查詢和分析的不能在數據倉庫中實時地刪除數據不能在數據倉庫中修改數據決策支持系統操作型系統OLTP數據庫數據倉庫讀取增加修改刪除讀取7.DataGranularity數據粒度：數據的細節程度在操作型系統中，數據粒度一般都很細。一般不保存加和的數據。在數據倉庫中，保存加和這一個數據項。一般來說，按不同層次組織數據，用戶是從高層次向低層次的細節過渡。根據需求的不同，需要不同層次的數據細節。每日數據帳戶交易日期數額存款取款月匯總帳戶月份交易數取款存款期初結余期末結余季度匯總帳戶月份交易數取款存款期初結余期末結余銀行數據倉庫的三個層次數據粒度8.2.2數據倉庫和數據集市數據倉庫和數據集市是一個混淆不清的概念。是學術界爭論的話題BillInmon〔1998〕：“今年IT經理面對的最重要的問題就是到底先建數據倉庫還是先建立數據集市〞，今天依然如此。在建立數據倉庫前，我們需要考慮以下這些問題：采取自上而下還是自下而上的方法企業范圍還是部門范圍先建立數據倉庫還是數據集市數據集市是否相互獨立9.數據倉庫vs.數據集市(DataMart)數據倉庫數據集市完整的，從企業整體考慮的部門的所有數據集市的集合一個單獨的商業處理過程從階段區域得到的數據星型結構通過展示的方式進行查詢適合數據連接和分析技術基于公司數據視角的結構基于適合部門數據視角的結構通過實體－關系模式進行組織10.自上而下的方法優點可以從整個企業的角度看待數據有機的結合，不是彼此別離的數據集市組成數據內容唯一、集中存儲集中控制和集中的規那么對反復的查詢能夠做出快速的反映缺點需要花費較多的時間建造失敗風險很大需要高水平的總和技能費用很高11.自下而上的方法優點實施快速而方便良好的投資回報失敗的風險較小可以先建立重要的數據集市工程團隊可以從中學習和成長缺點每個數據集市對數據的視角都較窄每個數據集市都有多余的數據總有矛盾和不一致的數據增加無法管理的接口12.折中的思想，主要推崇者為著名的數據庫專家RalphKimball，主要步驟如下：從整個企業的角度來方案和定義需求為完整的倉庫創造一個體系結構使數據內容一致而且標準化將數據倉庫作為一組超級數據集市來實施，每次一個13.2.3數據倉庫的組成局部數據倉庫：各個功能塊或組件14.2.3.1源數據局部主要類別生產數據：多個系統多種數據的標準化、轉換、整合內部數據：表格、文檔存檔數據：舊的歷史的數據外部數據：社會的企業，社會的人15.2.3.2數據準備局部ETL〔ETCL〕數據抽取(Extract):多源、異構數據的抽取數據轉換(Transform):清洗、標準化等過程數據裝載(Load)這個過程需要很多的時間最初的裝載工作需要載入大量的數據更新周期的決定〔年、季、月、日〕16.2.3.3數據存儲局部數據倉庫的數據存儲器是一個獨立的局部與操作型的數據庫分開存儲大多數數據倉庫都采用關系數據庫管理系統17.2.3.4信息傳遞局部多種信息傳遞方式特別的報表復雜的查詢多維分析統計分析主管信息系統的需求數據挖掘18.2.4元數據MetaData描述數據的數據數據倉庫內容的一本字典元數據是數據倉庫數據本身信息的數據元數據的類型操作型元數據包含了所有操作型數據源的信息抽取和轉換元數據包含了源數據系統的數據抽取信息〔抽取方法、抽取商業規那么〕最終用戶元數據允許最終用戶使用自己的商業術語和自己一般認可的方式來找尋信息元數據對于數據倉庫極其重要19.小結數據倉庫定義的特點是：面向