1、1第第2 2講講 操作數據存儲操作數據存儲2數據倉庫產生的原因數據倉庫產生的原因數據處理的類型 操作型處理（OLTP)：數據的收集、整理、存儲、查詢和增、刪、改操作。 分析型處理(OLAP)：數據的再加工，往往要訪問大量的歷史數據，進行復雜的統計分析。31.1.3兩者數據處理模式的差別操作型數據操作型數據分析型數據分析型數據細節的 綜合的，或提煉的當前數據歷史數據更新的不可更新，只讀的生命周期符合SDLC（軟件開發生命周期）完全不同的生命周期對性能要求高 對性能要求寬松一個時刻操作一個單元一個時刻操作一個集合事務驅動分析驅動面向應用面向分析一次操作數據量小，計算簡單一次操作數據量大，計算復雜支

2、持日常操作支持管理需求4數據倉庫的四個基本特征：u數據倉庫的數據是面向主題的（Subject Oriented）；u數據倉庫的數據時集成的（Integrate）；u數據倉庫的數據不可更新（Non-Volatile）；u數據倉庫的數據時隨時間不斷變化（Time Variant）的。 數據倉庫的基本概念5數據倉庫的體系結構6v信息系統建設的階段性和分布性的特點，信息系統建設的階段性和分布性的特點， 導致導致“信息孤島信息孤島”的存在。的存在。78只讀只讀干部干部后勤后勤財務財務92 2 操作數據存儲操作數據存儲2.1 2.1 什么是什么是ODSODS2.2 DB-ODS-DW2.2 DB-ODS-

3、DW體系結構體系結構10v 數據庫和數據倉庫兩層體系結構（DB-DW）并不能涵蓋企業所有的數據處理要求。v 某些應用既不是純粹的聯機事務處理，又不是高層決策分析。2.12.1什么是什么是ODSODS11v 導致一種新的數據環境-操作數據存儲（Operational Data Store，ODS）的建立。v 是兩種處理類型之間存在的一個中間層次，從而形成了DB-ODS-DW的三層體系結構。 2.12.1什么是什么是ODSODS122.1.1 ODS2.1.1 ODS的定義及特點的定義及特點v 定義：是用于支持企業日常的全局應用的數據集合。v ODS中的數據具有4各基本特征：面向主題的、集成的、可

4、更新的、數據是當前或接近當前的。v ODS中只存放當前或接近當前的數據，并且可以進行聯機修改，包括增、刪、改等操作。13v ODS是適應企業級的全局應用需求而產生的。全局應用可以大致地劃分為兩類： 企業級的（OLTP）聯機事務處理 即時“OLAP”數據處理2.1.22.1.2 ODSODS的功能和實現機制的功能和實現機制14 學校中有關教員的完整信息是被分散存放在學校的各部門DB中，現在若有教員因故調離，則要按規章辦理手續。在DBS中，調離手續繁瑣耗時。而在ODS系統中，可以開發教員調離全局應用，這就等于將學校的有關調離手續的規章反映在應用系統中，從而自動地保證了規定的制度得以不折不扣地執行。

5、DB人事處人事處校醫院校醫院DB財務處財務處房管處房管處DB科研處科研處ODS部門應用部門應用部門應用部門應用部門應用部門應用部門應用部門應用部門應用部門應用152.1.22.1.2 ODSODS的功能和實現機制的功能和實現機制-OLTP-OLTP “企業級OLTP”是指在實際數據處理中，一個事務同時涉及多個部門的數據。v 在操作型DB環境中，各應用面對的僅是企業的某個部門，這些部門應用所處理的僅是企業的局部數據。162.1.22.1.2 ODSODS的功能和實現機制的功能和實現機制-OLTP-OLTPv 每個面向應用的DB中不可能包含整個企業的完整數據，某個操作型DB的數據組織中很少考慮其它

6、DB的特點和需求，因而數據缺乏一致性。v 在分散DB上進行企業級事務處理代價很大。17v實現企業級的OLTP思路：在ODS與DB之間提供雙向映射關系，以保證雙方的一致性。2.1.22.1.2 ODSODS的功能和實現機制的功能和實現機制-OLTP-OLTP記錄系統的定義定義在各DB中的記錄系統全局更新時應反映到的各DB中的記錄參考表18v 定義在DB中的記錄系統，說明ODS從DB的數據抽取關系，各DB系統上所做的修改操作都需要反映到ODS系統中。v ODS系統中還存放一些參考表，它反映的關系是ODS全局更新時所必須反映的所有DB中相關記錄信息。2.1.22.1.2 ODSODS的功能和實現機制

7、的功能和實現機制-OLTP-OLTP192.1.22.1.2 ODSODS的功能和實現機制的功能和實現機制-OLAP-OLAPv在DW上實現OLAP是為了進行高層決策管理，但是由于DW中的數據量十分龐大，OLAP的運行時間都很長。v企業的日常管理中需要進行非戰略性的中層決策，以實現企業的日常管理和控制。不需要太多歷史數據、要求較快的響應速度。vODS的建立克服了DW系統過于龐大、處理時間長的缺點。20v企業級OLTP和即時OLAP兩類數據處理有明顯的差別，又可分別稱之為“操作型”處理模式和“信息型”處理模式。v信息型處理模式就是只有查詢操作的工作模式（非排他型）v操作型處理模式指含有更新操作的

8、工作模式（排他性）。 如何協調兩種處理模式？2.1.22.1.2 ODSODS的功能和實現機制的功能和實現機制-OLAP-OLAP21v 動態切換在系統中設置一個狀態切換開關，使ODS系統在操作型環境和分析型環境間進行動態切換。以保證： 在進行即時OLAP時獲得較快的響應速度 在進行操作型處理時，能保證聯機事務處理時數據的完整性，事務的原子性、一致性、隔離性和持續性。2.1.22.1.2 ODSODS的功能和實現機制的功能和實現機制-OLAP-OLAP222.1.22.1.2 ODSODS的功能和實現機制的功能和實現機制在ODS系統上開發全局應用的優點主要有兩方面：v 在進行全局應用時無需再進

9、行數據集成，極大提高了全局應用處理的效率。如教員調離事務在ODS上進行，各部門的更新均是對ODS中有關教員的同一關系模式進行，從而實現全局一致的更新。v 在各部門的DB可進行全局應用。如該教員在人事處辦理了調離手續，這一變化必將被ODS的感知程序捕捉到并轉發給其他部門，從而實現全局的更新操作，該工作由ODS系統自動完成。23v ODS的作用和地位與企業性質、經營業務范圍、規模大小等實際情況緊密相連。有的主要是進行全局事務處理，有的則主要是即時OLAP。v 如果是在地理上分布的集團公司的ODS系統，則可能是分層的。2.1.22.1.2 ODSODS的功能和實現機制的功能和實現機制- -分層分層O

10、DSODS體系體系24分分ODS分分ODS分分ODS北京北京上海上海東京東京紐約紐約分層分層ODSODS示意圖示意圖總部總部ODS2.1.2 ODS2.1.2 ODS的功能和實現機制的功能和實現機制- -分層分層ODSODS體系體系252.1.22.1.2 ODSODS的功能和實現機制的功能和實現機制- -分層分層ODSODS體系體系262 2 操作數據存儲操作數據存儲2.1 2.1 什么是什么是ODSODS2.2 DB-ODS-DW2.2 DB-ODS-DW體系結構體系結構272.2 DB-ODB-DW體系結構2.2.1 ODS2.2.1 ODS與與DWDW的區別的區別2.2.2 2.2.2

11、 三層體系結構三層體系結構28vODS與DW的差別面向主題和集成性使得ODS的數據在靜態特征上很接近DW中的數據，但是在ODS與DW之間仍然有許多基本的、重要的差別。1.存放的數據內容不同（最大差別）ODS：當前或接近當前的數據、細節數據、可聯機更新DW：歷史數據、細節數據和綜合數據、不可變快照2.2.1 ODS與DW的區別292.數據量是不同等級的DW：保存大量歷史數據ODS：只存放當前和接近當前的數據3.技術支持不盡相同ODS：要支持面向記錄的聯機更新，又要隨時保證數據與源數據系統中數據的一致性。DW：需要支持ETL技術和數據快速存取技術。2.2.1 ODS與DW的區別304.面向的需求不

12、同ODS：一是為了滿足企業進行全局應用的需要，二是向數據倉庫提供一致的數據環境以供抽取。DW：主要用于高層戰略決策。5.使用者不同ODS：企業的中層管理人員。DW：DSS分析員或企業高級決策者。2.2.1 ODS與DW的區別31vDWDW與與ODSODS面向不同的用戶、不同的需求面向不同的用戶、不同的需求，都有，都有其其不可替代的作用不可替代的作用，彼此間不是相互包含的，彼此間不是相互包含的，同時兩者又可以相互結合、相互補充。同時兩者又可以相互結合、相互補充。DBDBDBDBDBDBODSODSDWDW應用應用操作型環境操作型環境分析型環境分析型環境2.2.22.2.2 三層體系結構三層體系結

13、構32ODS充當充當“承上啟下承上啟下”的角色的角色v在原來獨立的各個DB基礎上建立一致的、面向主題的數據環境，使原有的DBS得到改造。 v將DW和DB隔離開，使DW卸去數據集成、結構轉換等負擔，DW的數據追加通過ODS進行而變得異常簡單，簡化DW的數據傳輸接口及DW管理數據的復雜度。2.2.22.2.2 三層體系結構三層體系結構33ODS滿足了企業級全局應用的需求滿足了企業級全局應用的需求v不僅要獲得長期決策信息，也要進行日常決策，ODS系統的建設，彌補了DB-DW兩層體系結構的不足。vODS作出的即時決策是集成性、企業級的。這對企業進行中層管理，制訂短期決策極有幫助。但ODS不是必須的，要視分析處理的需求而定。2.2.22.2.2 三層體系結構三層體系結構人有了知識，就會具備各種分析能力，人有了知識，就會具備各種分析能力，明辨是非的能力。明辨是非的能力。所以我們要勤懇讀書，廣泛閱讀，所以我們要勤懇讀書，廣泛閱讀，古人說古人說“書中自有黃金屋。書中自有黃金屋?！蓖ㄟ^閱讀科技書籍，我們能