1/43CRM與數(shù)據(jù)倉庫計(jì)算機(jī)科學(xué)系張秀萍1/432/43本章內(nèi)容4.1

數(shù)據(jù)倉庫概述 4.2

數(shù)據(jù)倉庫與數(shù)據(jù)庫的區(qū)別 4.3數(shù)據(jù)倉庫的建模模型4.4

OLAP與數(shù)據(jù)集成4.5數(shù)據(jù)倉庫的實(shí)施2/43本章內(nèi)容4.1數(shù)據(jù)倉庫概述 3/434.1

數(shù)據(jù)倉庫概述 4.1.1數(shù)據(jù)倉庫的產(chǎn)生

4.1.2數(shù)據(jù)倉庫的概念及特征

4.1.3數(shù)據(jù)倉庫的內(nèi)容3/434.1數(shù)據(jù)倉庫概述 4.1.14/43

數(shù)據(jù)倉庫與CRM有著難以割舍的密切關(guān)系，從某種意義上說，數(shù)據(jù)倉庫是客戶關(guān)系管理的靈魂。利用數(shù)據(jù)倉庫，企業(yè)可以對客戶行為的分析與預(yù)測，從而制定準(zhǔn)確的市場策略、發(fā)現(xiàn)企業(yè)的重點(diǎn)客戶和評價(jià)市場性能，并通過銷售和服務(wù)等部門與客戶交流，實(shí)現(xiàn)企業(yè)利潤的提高。對于客戶量大、市場策略對企業(yè)影響較大的企業(yè)來說，必須在客戶關(guān)系管理系統(tǒng)中包含數(shù)據(jù)倉庫。4.1數(shù)據(jù)倉庫概述4/43數(shù)據(jù)倉庫與CRM有著難以割舍的密切關(guān)系，5/43數(shù)據(jù)倉庫的產(chǎn)生早期的數(shù)據(jù)庫主要支持聯(lián)機(jī)事務(wù)處理決策支持對數(shù)據(jù)分析的需求傳統(tǒng)數(shù)據(jù)庫系統(tǒng)不適宜DSS事務(wù)處理和分析處理的性能特性不同數(shù)據(jù)集成問題數(shù)據(jù)動態(tài)集成問題歷史數(shù)據(jù)問題數(shù)據(jù)的綜合問題操作繁簡問題4.1數(shù)據(jù)倉庫概述5/43數(shù)據(jù)倉庫的產(chǎn)生早期的數(shù)據(jù)庫主要支持聯(lián)機(jī)事務(wù)處理4.16/43

有人感嘆：20年前查詢不到數(shù)據(jù)是因?yàn)閿?shù)據(jù)太少了，而今天查詢不到數(shù)據(jù)是因?yàn)閿?shù)據(jù)太多了。要提高分析和決策的效率和有效性，分析型處理及其數(shù)據(jù)必須與操作型處理及其數(shù)據(jù)相分離。必須把分析型數(shù)據(jù)從事務(wù)處理環(huán)境中提取出來，按照DSS處理的需要進(jìn)行重新組織，建立單獨(dú)的分析處理環(huán)境，數(shù)據(jù)倉庫正是為了構(gòu)建這種新的分析處理環(huán)境而出現(xiàn)的一種數(shù)據(jù)存儲和組織技術(shù)。4.1數(shù)據(jù)倉庫概述數(shù)據(jù)倉庫的產(chǎn)生6/43有人感嘆：20年前查詢不到數(shù)據(jù)是因?yàn)閿?shù)據(jù)太7/43

目前，數(shù)據(jù)倉庫一詞尚沒有一個(gè)統(tǒng)一的定義。著名的數(shù)據(jù)倉庫專家W.H.Inmon在其著作《BuildingtheDataWarehouse》一書中給予如下描述：數(shù)據(jù)倉庫（DataWarehouse）是一個(gè)面向主題的（SubjectOriented）、集成的（Integrate）、相對穩(wěn)定的（Non-Volatile）、反映歷史變化（TimeVariant）的數(shù)據(jù)集合，用于支持管理決策。數(shù)據(jù)倉庫的概念4.1數(shù)據(jù)倉庫概述7/43目前，數(shù)據(jù)倉庫一詞尚沒有一個(gè)統(tǒng)一的定義。數(shù)據(jù)8/43

數(shù)據(jù)倉庫概念的兩個(gè)層次功能上：數(shù)據(jù)倉庫用于支持決策，面向分析型數(shù)據(jù)處理，它不同于企業(yè)現(xiàn)有的操作型數(shù)據(jù)庫；內(nèi)容和特征上：數(shù)據(jù)倉庫是對多個(gè)異構(gòu)的數(shù)據(jù)源有效集成，集成后按照主題進(jìn)行了重組，并包含歷史數(shù)據(jù)，而且存放在數(shù)據(jù)倉庫中的數(shù)據(jù)一般不再修改。數(shù)據(jù)倉庫的概念4.1數(shù)據(jù)倉庫概述8/43數(shù)據(jù)倉庫概念的兩個(gè)層次數(shù)據(jù)倉庫的概念4.1數(shù)據(jù)9/43面向主題(subject-oriented)

數(shù)據(jù)倉庫圍繞一些主題，如客戶、供應(yīng)商、產(chǎn)品和銷售組織。數(shù)據(jù)倉庫關(guān)心決策者的數(shù)據(jù)建模與分析，而不是集中于組織機(jī)構(gòu)的日常操作和事務(wù)處理。因此數(shù)據(jù)倉庫排除對決策無用的數(shù)據(jù)，提供特定主題的簡明視圖。集成性(integrated)

構(gòu)造數(shù)據(jù)倉庫是將多個(gè)異種數(shù)據(jù)源，如關(guān)系數(shù)據(jù)庫、一般文件和聯(lián)機(jī)事務(wù)處理記錄，集成在一起。使用數(shù)據(jù)清理和數(shù)據(jù)集成技術(shù)，確保命名約定、編碼結(jié)構(gòu)、屬性度量等的一致性。數(shù)據(jù)倉庫的特征4.1數(shù)據(jù)倉庫概述9/43面向主題(subject-oriented)數(shù)據(jù)倉庫10/43非易失性(nonvolatile)

數(shù)據(jù)一旦進(jìn)入數(shù)據(jù)倉庫就不再改變，因此不需要傳統(tǒng)數(shù)據(jù)庫中類似插入、更新、刪除等操作，在數(shù)據(jù)倉庫中只有裝載操作。時(shí)變性(time-variant)

數(shù)據(jù)倉庫中數(shù)據(jù)都是和時(shí)間相關(guān)，并且每隔一段時(shí)間后，運(yùn)作數(shù)據(jù)庫系統(tǒng)中的數(shù)據(jù)將被抽取、轉(zhuǎn)換后集成到數(shù)據(jù)倉庫中。數(shù)據(jù)倉庫的特征4.1數(shù)據(jù)倉庫概述10/43非易失性(nonvolatile)數(shù)據(jù)倉庫的特征411/43數(shù)據(jù)倉庫的特征4.1數(shù)據(jù)倉庫概述11/43數(shù)據(jù)倉庫的特征4.1數(shù)據(jù)倉庫概述12/43數(shù)據(jù)倉庫的特征4.1數(shù)據(jù)倉庫概述12/43數(shù)據(jù)倉庫的特征4.1數(shù)據(jù)倉庫概述13/43

數(shù)據(jù)倉庫并沒有嚴(yán)格的數(shù)學(xué)理論基礎(chǔ)，也沒有成熟的基本模式，且更偏向于工程，具有強(qiáng)烈的工程性。因此，在技術(shù)上人們習(xí)慣于從工作過程等方面來分析，并按其關(guān)鍵技術(shù)部份分為數(shù)據(jù)的抽取、存儲與管理以及數(shù)據(jù)的表現(xiàn)等三個(gè)基本方面。

數(shù)據(jù)倉庫的內(nèi)容4.1數(shù)據(jù)倉庫概述13/43 數(shù)據(jù)倉庫并沒有嚴(yán)格的數(shù)學(xué)理論基礎(chǔ)，也沒有成熟的14/43數(shù)據(jù)倉庫本質(zhì)

數(shù)據(jù)倉庫實(shí)際上是一個(gè)“以大型數(shù)據(jù)管理信息系統(tǒng)為基礎(chǔ)的、附加在這個(gè)數(shù)據(jù)庫系統(tǒng)之上的、存儲了從企業(yè)所有業(yè)務(wù)數(shù)據(jù)庫中獲取的綜合數(shù)據(jù)的、并能利用這些綜合數(shù)據(jù)為用戶提供經(jīng)過處理后的有用信息的應(yīng)用系統(tǒng)”。如果說傳統(tǒng)數(shù)據(jù)庫系統(tǒng)的重點(diǎn)與要求是快速、準(zhǔn)確、安全、可靠地將數(shù)據(jù)存進(jìn)數(shù)據(jù)庫中的話，那么數(shù)據(jù)倉庫的重點(diǎn)與要求就是能夠準(zhǔn)確、安全、可靠地從數(shù)據(jù)庫中取出數(shù)據(jù)，經(jīng)過加工轉(zhuǎn)換成有規(guī)律信息之后，再供管理人員進(jìn)行分析使用。數(shù)據(jù)倉庫所要研究和解決的問題就是從數(shù)據(jù)庫中獲取信息。4.1數(shù)據(jù)倉庫概述14/43數(shù)據(jù)倉庫本質(zhì)數(shù)據(jù)倉庫實(shí)際上是一個(gè)“以大型數(shù)15/434.2

數(shù)據(jù)倉庫與數(shù)據(jù)庫的區(qū)別 15/434.2數(shù)據(jù)倉庫與數(shù)據(jù)庫的區(qū)別 16/43

目前，人們要利用現(xiàn)有的數(shù)據(jù)，進(jìn)行分析和推理，從而為決策提供依據(jù)。這種需求既要求聯(lián)機(jī)服務(wù)，又涉及大量用于決策的數(shù)據(jù)。而傳統(tǒng)的數(shù)據(jù)庫系統(tǒng)已無法滿足這種需求：1.所需歷史數(shù)據(jù)量很大，而傳統(tǒng)數(shù)據(jù)庫一般只存儲短期數(shù)據(jù)。2.涉及許多部門的數(shù)據(jù)，而不同系統(tǒng)的數(shù)據(jù)難以集成。3.對大量數(shù)據(jù)的訪問性能明顯下降4.2數(shù)據(jù)倉庫與數(shù)據(jù)庫的區(qū)別16/43目前，人們要利用現(xiàn)有的數(shù)據(jù)，進(jìn)行分析和推理17/43目的不同數(shù)據(jù)庫用于事務(wù)處理；數(shù)據(jù)倉庫用于決策支持存儲方式不同數(shù)據(jù)庫中的數(shù)據(jù)以表格方式存儲；數(shù)據(jù)倉庫中以數(shù)組方式存儲查詢方式不同數(shù)據(jù)庫中應(yīng)用OLTP(在線事務(wù)處理)；數(shù)據(jù)倉庫應(yīng)用OLAP(在線分析處理)或數(shù)據(jù)挖掘4.2數(shù)據(jù)倉庫與數(shù)據(jù)庫的區(qū)別17/43目的不同4.2數(shù)據(jù)倉庫與數(shù)據(jù)庫的區(qū)別18/43數(shù)據(jù)類型不同數(shù)據(jù)庫針對交易型數(shù)據(jù)設(shè)計(jì)的，關(guān)心的是短期內(nèi)每一筆交易的細(xì)節(jié)信息，并對這些交易記錄進(jìn)行增刪改的操作；數(shù)據(jù)倉庫一般只涉及從數(shù)據(jù)集中觀察數(shù)據(jù)，并不進(jìn)行增刪改等操作。完成任務(wù)的性質(zhì)不同前者要求實(shí)時(shí)性、交互性，而后者需要涉及大范圍的數(shù)據(jù)計(jì)算，復(fù)雜的基于多個(gè)層次的查詢語言。響應(yīng)時(shí)間不同數(shù)據(jù)庫要求響應(yīng)時(shí)間短，數(shù)據(jù)倉庫要求響應(yīng)時(shí)間合理4.2數(shù)據(jù)倉庫與數(shù)據(jù)庫的區(qū)別18/43數(shù)據(jù)類型不同4.2數(shù)據(jù)倉庫與數(shù)據(jù)庫的區(qū)別19/43

可以看出，數(shù)據(jù)倉庫最根本的特點(diǎn)是物理的存放數(shù)據(jù)，而且這些數(shù)據(jù)并非是最新的、專有的，而是來源于其它的數(shù)據(jù)庫。數(shù)據(jù)倉庫的建立并不是要取代原有的數(shù)據(jù)庫，而是建立在一個(gè)較全面、完善的信息應(yīng)用的基礎(chǔ)上，用于支持高層決策分析。4.2數(shù)據(jù)倉庫與數(shù)據(jù)庫的區(qū)別19/43可以看出，數(shù)據(jù)倉庫最根本的特點(diǎn)是物理的存20/434.3

數(shù)據(jù)倉庫的建模模型 4.3.1數(shù)據(jù)倉庫的體系結(jié)構(gòu)

4.3.2數(shù)據(jù)倉庫的建模模型20/434.3數(shù)據(jù)倉庫的建模模型 4.21/43數(shù)據(jù)倉庫系統(tǒng)體系結(jié)構(gòu)

4.4數(shù)據(jù)倉庫的建模模型21/43數(shù)據(jù)倉庫系統(tǒng)體系結(jié)構(gòu)4.4數(shù)據(jù)倉庫的建模模型22/43

數(shù)據(jù)倉庫數(shù)據(jù)模型采用多維數(shù)據(jù)模型。可以以星型模型、雪花模型等形式存在。幾個(gè)相關(guān)概念：事實(shí)表（Fact）：存儲用戶需要查詢分析的數(shù)據(jù)，事實(shí)表中一般包含多個(gè)維（Dimension）和度量（Measurement）。維：數(shù)據(jù)立方中的空間坐標(biāo)軸，例如時(shí)間維、地區(qū)維、產(chǎn)品維。粒度：每個(gè)維可以分成若干等級，例如時(shí)間維可以分成年、月、日，描述了不同的查詢層次。度量：是數(shù)據(jù)的實(shí)際意義，描述數(shù)據(jù)“是什么”，即一個(gè)數(shù)值的測量指標(biāo)，如：人數(shù)、單價(jià)、銷售量等。4.3數(shù)據(jù)倉庫的建模模型22/43數(shù)據(jù)倉庫數(shù)據(jù)模型采用多維數(shù)據(jù)模型。23/431.星型模型：

度量的實(shí)際數(shù)據(jù)存放在事實(shí)表中。維的詳細(xì)信息，如不同的層次劃分和相應(yīng)數(shù)據(jù)等在維表中存儲，事實(shí)表中存放各個(gè)維的標(biāo)識碼鍵。事實(shí)表和維表將通過這些鍵關(guān)聯(lián)起來，構(gòu)成一種星型模型。這種模式圖像星星爆發(fā)，維表圍繞中心事實(shí)表顯示在射線上。在星型模式中，每維只用一個(gè)表表示，每個(gè)表包含一組屬性。4.3數(shù)據(jù)倉庫的建模模型23/431.星型模型：4.3數(shù)據(jù)倉庫的建模模型24/434.3數(shù)據(jù)倉庫的建模模型24/434.3數(shù)據(jù)倉庫的建模模型25/432.雪花模型：對于層次復(fù)雜的維,為避免冗余數(shù)據(jù)占用過大的存儲空間,可以使用多個(gè)表來描述,這種星型模式的擴(kuò)展稱為雪花模型。

雪花模型是星型模型的變種，其中某些維表是規(guī)范的，把數(shù)據(jù)進(jìn)一步分解到附加的表中。這種模型圖形成類似于雪花的形狀。4.3數(shù)據(jù)倉庫的建模模型25/432.雪花模型：4.3數(shù)據(jù)倉庫的建模模型26/4326/4327/434.4OLAP與數(shù)據(jù)集成 4.4.1聯(lián)機(jī)分析處理

4.4.2數(shù)據(jù)集成27/434.4OLAP與數(shù)據(jù)集成 4.28/43聯(lián)機(jī)分析處理聯(lián)機(jī)分析處理,On-LineAnalysisProcessing,支持通過多維的方式對數(shù)據(jù)進(jìn)行分析、查詢和生成報(bào)表，其基本功能是對用戶當(dāng)前及歷史數(shù)據(jù)進(jìn)行分析以輔助領(lǐng)導(dǎo)決策。相關(guān)概念：維：數(shù)據(jù)立方中的空間坐標(biāo)軸，例如時(shí)間維、地區(qū)維、產(chǎn)品維。粒度：每個(gè)維可以分成若干等級，例如時(shí)間維可以分成年、月、日，描述了不同的查詢層次。4.4OLAP與數(shù)據(jù)集成28/43聯(lián)機(jī)分析處理4.4OLAP與數(shù)據(jù)集成29/43OLAP特性（1）多維性:多維性是OLAP的關(guān)鍵屬性。系統(tǒng)必須提供對數(shù)據(jù)的多維視圖和分析,包括對層次維和多重層次維的完全支持。（2）快速性:用戶對OLAP的快速反應(yīng)能力有很高的要求。系統(tǒng)應(yīng)能在5秒內(nèi)對用戶的大部分分析要求做出反應(yīng)。

（3）可分析性:OLAP系統(tǒng)應(yīng)能處理與應(yīng)用有關(guān)的任何邏輯分析和統(tǒng)計(jì)分析。（4）共享性：滿足大量用戶間數(shù)據(jù)的共享（5）信息性:不論數(shù)據(jù)量有多大，也不管數(shù)據(jù)存儲在何處，OLAP系統(tǒng)應(yīng)能及時(shí)獲得信息，并且管理大容量信息。4.4OLAP與數(shù)據(jù)集成29/43OLAP特性（1）多維性:多維性是OLAP的關(guān)鍵屬30/43OLTPvsOLAP

OLTP

細(xì)節(jié)的綜合的或派生的當(dāng)前的歷史的可更新不可更新需求事先可知道需求事先不知道符合系統(tǒng)生命周期完全不同的生命周期對性能要求高對性能要求相對寬松事務(wù)驅(qū)動數(shù)據(jù)驅(qū)動面向應(yīng)用面向分析一次操作數(shù)據(jù)量小一次操作數(shù)據(jù)量大支持日常事務(wù)支持管理需求

OLAP4.4OLAP與數(shù)據(jù)集成30/43OLTPvsOLAPO31/43OLAP的分析思路

OLAP是決策支持領(lǐng)域的一部分。傳統(tǒng)的查詢和報(bào)表工具是告訴你數(shù)據(jù)庫中都有什么（whathappened），OLAP則更進(jìn)一步告訴你下一步會怎么樣（Whatnext）、和如果我采取這樣的措施又會怎么樣（Whatif）。用戶首先建立一個(gè)假設(shè)，然后用OLAP檢索數(shù)據(jù)庫來驗(yàn)證這個(gè)假設(shè)是否正確。比如，一個(gè)分析師想找到什么原因?qū)е铝速J款拖欠，他可能先做一個(gè)初始的假定，認(rèn)為低收入的人信用度也低，然后用OLAP來驗(yàn)證他這個(gè)假設(shè)。如果這個(gè)假設(shè)沒有被證實(shí)，他可能去察看那些高負(fù)債的賬戶，如果還不行，他也許要把收入和負(fù)債一起考慮，一直進(jìn)行下去，直到找到他想要的結(jié)果或放棄。4.4OLAP與數(shù)據(jù)集成31/43OLAP的分析思路OLAP是決策支持領(lǐng)32/43OLAP中的操作應(yīng)用OLAP工具進(jìn)行的分析操作主要有：鉆取、旋轉(zhuǎn)、切片鉆取：沿著維上粒度的粗細(xì)方向進(jìn)行的分析操作，改變維的層次，變換分析的粒度。它包括向上鉆取和向下鉆取。rollup是在某一維上將低層次的細(xì)節(jié)數(shù)據(jù)概括到高層次的匯總數(shù)據(jù)；而drilldown則相反，它從匯總數(shù)據(jù)深入到細(xì)節(jié)數(shù)據(jù)進(jìn)行觀察旋轉(zhuǎn)：參與分析的維的變化，即在表格中重新安排維的放置（例如行列互換）切片：將某維固定觀察其他維的變化，即一部分維上選定值后，關(guān)心度量數(shù)據(jù)在剩余維上的分布。4.4OLAP與數(shù)據(jù)集成32/43OLAP中的操作應(yīng)用OLAP工具進(jìn)行的分析操作主要33/43OLAP的分析方法(一)鉆取按時(shí)間維向下鉆取按時(shí)間維向上鉆取604.4OLAP與數(shù)據(jù)集成33/43OLAP的分析方法(一)鉆取按時(shí)間維向下鉆取按時(shí)間34/43OLAP的分析方法(二)旋轉(zhuǎn)4.4OLAP與數(shù)據(jù)集成34/43OLAP的分析方法(二)旋轉(zhuǎn)4.4OLAP與數(shù)據(jù)35/43OLAP的分析方法(三)切片、切塊4.4OLAP與數(shù)據(jù)集成35/43OLAP的分析方法(三)切片、切塊4.4OLAP36/43數(shù)據(jù)集成數(shù)據(jù)集成的目的：1.訪問多種數(shù)據(jù)源的數(shù)據(jù)2.轉(zhuǎn)換成統(tǒng)一格式3.校驗(yàn)數(shù)據(jù)的完整性4.存儲數(shù)據(jù)到數(shù)據(jù)倉庫中4.4OLAP與數(shù)據(jù)集成36/43數(shù)據(jù)集成數(shù)據(jù)集成的目的：4.4OLAP與數(shù)據(jù)集成37/43數(shù)據(jù)集成的四個(gè)階段1.數(shù)據(jù)抽取(DataExtraction)使用規(guī)定的標(biāo)準(zhǔn)選擇數(shù)據(jù)，并把數(shù)據(jù)傳送到數(shù)據(jù)倉庫中2.數(shù)據(jù)轉(zhuǎn)換(DataTransformation)建立不同數(shù)據(jù)源的源字段到數(shù)據(jù)倉庫字段的映射3.數(shù)據(jù)清理(DataCleaning)把事實(shí)表中的屬性字段對應(yīng)的值逐個(gè)在維表中查詢，審查字段值是否合理，并加以記錄4.數(shù)據(jù)裝載(DataLoading)將經(jīng)過數(shù)據(jù)抽取、轉(zhuǎn)換、清理的數(shù)據(jù)，以及經(jīng)過校正的臟數(shù)據(jù)導(dǎo)入到數(shù)據(jù)倉庫4.4OLAP與數(shù)據(jù)集成數(shù)據(jù)集成37/43數(shù)據(jù)集成的四個(gè)階段4.4OLAP與數(shù)據(jù)集成數(shù)據(jù)集38/434.5

數(shù)據(jù)倉庫的實(shí)施 38/434.5數(shù)據(jù)倉庫的實(shí)施 39/434.5數(shù)據(jù)倉庫的實(shí)施

總的來說，數(shù)據(jù)倉庫的實(shí)施是為了建立一個(gè)良好的數(shù)據(jù)組織和管理環(huán)境，以滿足決策支持的需要。數(shù)據(jù)倉庫包含了數(shù)據(jù)、技術(shù)、應(yīng)用三方面的要求，所以只有把良好的數(shù)據(jù)模型、合理的技術(shù)和準(zhǔn)確的應(yīng)用設(shè)計(jì)結(jié)合起來，形成一套有效的方法，才能建立起一個(gè)成功的數(shù)據(jù)倉庫。39/434.5數(shù)據(jù)倉庫的實(shí)施總的來說，數(shù)據(jù)倉庫40/43主要包括五個(gè)部分的內(nèi)容：1.數(shù)據(jù)倉庫的設(shè)計(jì)建模對數(shù)據(jù)倉庫的數(shù)據(jù)組織進(jìn)行邏輯結(jié)構(gòu)的設(shè)計(jì)2.數(shù)據(jù)轉(zhuǎn)換與集成將數(shù)據(jù)進(jìn)行提取、轉(zhuǎn)換、裝載到數(shù)據(jù)倉庫（或集市）中4.5數(shù)據(jù)倉庫的實(shí)施40/43主要包括五個(gè)部分的內(nèi)容：4.5數(shù)據(jù)倉庫的實(shí)施41/433.數(shù)據(jù)存儲與管理保證數(shù)據(jù)的安全性、完整性、一致性4.數(shù)據(jù)的分析和展現(xiàn)利用OLAP對數(shù)據(jù)進(jìn)行多維分析、匯總，形成圖表或報(bào)表5.數(shù)據(jù)倉庫的維護(hù)和管理對數(shù)據(jù)倉庫中元數(shù)據(jù)的管理4.3數(shù)據(jù)倉庫的實(shí)施41/433.數(shù)據(jù)存儲與管理4.3數(shù)據(jù)倉庫的實(shí)施42/43本章小結(jié)

數(shù)據(jù)倉庫與CRM有著難以割舍的密切關(guān)系，客戶關(guān)系管理的很多工作都是以數(shù)據(jù)倉庫為基礎(chǔ)展開的。從某種意義上說，數(shù)據(jù)倉庫是客戶關(guān)系管理的靈魂。利用數(shù)據(jù)倉庫，企業(yè)可以對客戶行為進(jìn)行分析與預(yù)測，從而制定準(zhǔn)確的市場策略、發(fā)現(xiàn)企業(yè)的重點(diǎn)客戶和評價(jià)市場性能，并通過銷售和服務(wù)等部門與客戶交流，實(shí)現(xiàn)企業(yè)利潤的提高。42/43本章小結(jié)數(shù)據(jù)倉庫與CRM有著43/43下節(jié)提示

在客戶關(guān)系管理中，和數(shù)據(jù)倉庫技術(shù)一樣，數(shù)據(jù)挖掘技術(shù)也有著同樣重要的作用。那么什么是數(shù)據(jù)挖掘？它在客戶關(guān)系管理中有什么作用？下次課學(xué)習(xí)“第五章CRM與數(shù)據(jù)挖掘”。43/43下節(jié)提示在客戶關(guān)系管理中，44/43CRM與數(shù)據(jù)倉庫計(jì)算機(jī)科學(xué)系張秀萍1/4345/43本章內(nèi)容4.1

數(shù)據(jù)倉庫概述 4.2

數(shù)據(jù)倉庫與數(shù)據(jù)庫的區(qū)別 4.3數(shù)據(jù)倉庫的建模模型4.4

OLAP與數(shù)據(jù)集成4.5數(shù)據(jù)倉庫的實(shí)施2/43本章內(nèi)容4.1數(shù)據(jù)倉庫概述 46/434.1

數(shù)據(jù)倉庫概述 4.1.1數(shù)據(jù)倉庫的產(chǎn)生

4.1.2數(shù)據(jù)倉庫的概念及特征

4.1.3數(shù)據(jù)倉庫的內(nèi)容3/434.1數(shù)據(jù)倉庫概述 4.1.147/43

數(shù)據(jù)倉庫與CRM有著難以割舍的密切關(guān)系，從某種意義上說，數(shù)據(jù)倉庫是客戶關(guān)系管理的靈魂。利用數(shù)據(jù)倉庫，企業(yè)可以對客戶行為的分析與預(yù)測，從而制定準(zhǔn)確的市場策略、發(fā)現(xiàn)企業(yè)的重點(diǎn)客戶和評價(jià)市場性能，并通過銷售和服務(wù)等部門與客戶交流，實(shí)現(xiàn)企業(yè)利潤的提高。對于客戶量大、市場策略對企業(yè)影響較大的企業(yè)來說，必須在客戶關(guān)系管理系統(tǒng)中包含數(shù)據(jù)倉庫。4.1數(shù)據(jù)倉庫概述4/43數(shù)據(jù)倉庫與CRM有著難以割舍的密切關(guān)系，48/43數(shù)據(jù)倉庫的產(chǎn)生早期的數(shù)據(jù)庫主要支持聯(lián)機(jī)事務(wù)處理決策支持對數(shù)據(jù)分析的需求傳統(tǒng)數(shù)據(jù)庫系統(tǒng)不適宜DSS事務(wù)處理和分析處理的性能特性不同數(shù)據(jù)集成問題數(shù)據(jù)動態(tài)集成問題歷史數(shù)據(jù)問題數(shù)據(jù)的綜合問題操作繁簡問題4.1數(shù)據(jù)倉庫概述5/43數(shù)據(jù)倉庫的產(chǎn)生早期的數(shù)據(jù)庫主要支持聯(lián)機(jī)事務(wù)處理4.149/43

有人感嘆：20年前查詢不到數(shù)據(jù)是因?yàn)閿?shù)據(jù)太少了，而今天查詢不到數(shù)據(jù)是因?yàn)閿?shù)據(jù)太多了。要提高分析和決策的效率和有效性，分析型處理及其數(shù)據(jù)必須與操作型處理及其數(shù)據(jù)相分離。必須把分析型數(shù)據(jù)從事務(wù)處理環(huán)境中提取出來，按照DSS處理的需要進(jìn)行重新組織，建立單獨(dú)的分析處理環(huán)境，數(shù)據(jù)倉庫正是為了構(gòu)建這種新的分析處理環(huán)境而出現(xiàn)的一種數(shù)據(jù)存儲和組織技術(shù)。4.1數(shù)據(jù)倉庫概述數(shù)據(jù)倉庫的產(chǎn)生6/43有人感嘆：20年前查詢不到數(shù)據(jù)是因?yàn)閿?shù)據(jù)太50/43

目前，數(shù)據(jù)倉庫一詞尚沒有一個(gè)統(tǒng)一的定義。著名的數(shù)據(jù)倉庫專家W.H.Inmon在其著作《BuildingtheDataWarehouse》一書中給予如下描述：數(shù)據(jù)倉庫（DataWarehouse）是一個(gè)面向主題的（SubjectOriented）、集成的（Integrate）、相對穩(wěn)定的（Non-Volatile）、反映歷史變化（TimeVariant）的數(shù)據(jù)集合，用于支持管理決策。數(shù)據(jù)倉庫的概念4.1數(shù)據(jù)倉庫概述7/43目前，數(shù)據(jù)倉庫一詞尚沒有一個(gè)統(tǒng)一的定義。數(shù)據(jù)51/43

數(shù)據(jù)倉庫概念的兩個(gè)層次功能上：數(shù)據(jù)倉庫用于支持決策，面向分析型數(shù)據(jù)處理，它不同于企業(yè)現(xiàn)有的操作型數(shù)據(jù)庫；內(nèi)容和特征上：數(shù)據(jù)倉庫是對多個(gè)異構(gòu)的數(shù)據(jù)源有效集成，集成后按照主題進(jìn)行了重組，并包含歷史數(shù)據(jù)，而且存放在數(shù)據(jù)倉庫中的數(shù)據(jù)一般不再修改。數(shù)據(jù)倉庫的概念4.1數(shù)據(jù)倉庫概述8/43數(shù)據(jù)倉庫概念的兩個(gè)層次數(shù)據(jù)倉庫的概念4.1數(shù)據(jù)52/43面向主題(subject-oriented)

數(shù)據(jù)倉庫圍繞一些主題，如客戶、供應(yīng)商、產(chǎn)品和銷售組織。數(shù)據(jù)倉庫關(guān)心決策者的數(shù)據(jù)建模與分析，而不是集中于組織機(jī)構(gòu)的日常操作和事務(wù)處理。因此數(shù)據(jù)倉庫排除對決策無用的數(shù)據(jù)，提供特定主題的簡明視圖。集成性(integrated)

構(gòu)造數(shù)據(jù)倉庫是將多個(gè)異種數(shù)據(jù)源，如關(guān)系數(shù)據(jù)庫、一般文件和聯(lián)機(jī)事務(wù)處理記錄，集成在一起。使用數(shù)據(jù)清理和數(shù)據(jù)集成技術(shù)，確保命名約定、編碼結(jié)構(gòu)、屬性度量等的一致性。數(shù)據(jù)倉庫的特征4.1數(shù)據(jù)倉庫概述9/43面向主題(subject-oriented)數(shù)據(jù)倉庫53/43非易失性(nonvolatile)

數(shù)據(jù)一旦進(jìn)入數(shù)據(jù)倉庫就不再改變，因此不需要傳統(tǒng)數(shù)據(jù)庫中類似插入、更新、刪除等操作，在數(shù)據(jù)倉庫中只有裝載操作。時(shí)變性(time-variant)

數(shù)據(jù)倉庫中數(shù)據(jù)都是和時(shí)間相關(guān)，并且每隔一段時(shí)間后，運(yùn)作數(shù)據(jù)庫系統(tǒng)中的數(shù)據(jù)將被抽取、轉(zhuǎn)換后集成到數(shù)據(jù)倉庫中。數(shù)據(jù)倉庫的特征4.1數(shù)據(jù)倉庫概述10/43非易失性(nonvolatile)數(shù)據(jù)倉庫的特征454/43數(shù)據(jù)倉庫的特征4.1數(shù)據(jù)倉庫概述11/43數(shù)據(jù)倉庫的特征4.1數(shù)據(jù)倉庫概述55/43數(shù)據(jù)倉庫的特征4.1數(shù)據(jù)倉庫概述12/43數(shù)據(jù)倉庫的特征4.1數(shù)據(jù)倉庫概述56/43

數(shù)據(jù)倉庫并沒有嚴(yán)格的數(shù)學(xué)理論基礎(chǔ)，也沒有成熟的基本模式，且更偏向于工程，具有強(qiáng)烈的工程性。因此，在技術(shù)上人們習(xí)慣于從工作過程等方面來分析，并按其關(guān)鍵技術(shù)部份分為數(shù)據(jù)的抽取、存儲與管理以及數(shù)據(jù)的表現(xiàn)等三個(gè)基本方面。

數(shù)據(jù)倉庫的內(nèi)容4.1數(shù)據(jù)倉庫概述13/43 數(shù)據(jù)倉庫并沒有嚴(yán)格的數(shù)學(xué)理論基礎(chǔ)，也沒有成熟的57/43數(shù)據(jù)倉庫本質(zhì)

數(shù)據(jù)倉庫實(shí)際上是一個(gè)“以大型數(shù)據(jù)管理信息系統(tǒng)為基礎(chǔ)的、附加在這個(gè)數(shù)據(jù)庫系統(tǒng)之上的、存儲了從企業(yè)所有業(yè)務(wù)數(shù)據(jù)庫中獲取的綜合數(shù)據(jù)的、并能利用這些綜合數(shù)據(jù)為用戶提供經(jīng)過處理后的有用信息的應(yīng)用系統(tǒng)”。如果說傳統(tǒng)數(shù)據(jù)庫系統(tǒng)的重點(diǎn)與要求是快速、準(zhǔn)確、安全、可靠地將數(shù)據(jù)存進(jìn)數(shù)據(jù)庫中的話，那么數(shù)據(jù)倉庫的重點(diǎn)與要求就是能夠準(zhǔn)確、安全、可靠地從數(shù)據(jù)庫中取出數(shù)據(jù)，經(jīng)過加工轉(zhuǎn)換成有規(guī)律信息之后，再供管理人員進(jìn)行分析使用。數(shù)據(jù)倉庫所要研究和解決的問題就是從數(shù)據(jù)庫中獲取信息。4.1數(shù)據(jù)倉庫概述14/43數(shù)據(jù)倉庫本質(zhì)數(shù)據(jù)倉庫實(shí)際上是一個(gè)“以大型數(shù)58/434.2

數(shù)據(jù)倉庫與數(shù)據(jù)庫的區(qū)別 15/434.2數(shù)據(jù)倉庫與數(shù)據(jù)庫的區(qū)別 59/43

目前，人們要利用現(xiàn)有的數(shù)據(jù)，進(jìn)行分析和推理，從而為決策提供依據(jù)。這種需求既要求聯(lián)機(jī)服務(wù)，又涉及大量用于決策的數(shù)據(jù)。而傳統(tǒng)的數(shù)據(jù)庫系統(tǒng)已無法滿足這種需求：1.所需歷史數(shù)據(jù)量很大，而傳統(tǒng)數(shù)據(jù)庫一般只存儲短期數(shù)據(jù)。2.涉及許多部門的數(shù)據(jù)，而不同系統(tǒng)的數(shù)據(jù)難以集成。3.對大量數(shù)據(jù)的訪問性能明顯下降4.2數(shù)據(jù)倉庫與數(shù)據(jù)庫的區(qū)別16/43目前，人們要利用現(xiàn)有的數(shù)據(jù)，進(jìn)行分析和推理60/43目的不同數(shù)據(jù)庫用于事務(wù)處理；數(shù)據(jù)倉庫用于決策支持存儲方式不同數(shù)據(jù)庫中的數(shù)據(jù)以表格方式存儲；數(shù)據(jù)倉庫中以數(shù)組方式存儲查詢方式不同數(shù)據(jù)庫中應(yīng)用OLTP(在線事務(wù)處理)；數(shù)據(jù)倉庫應(yīng)用OLAP(在線分析處理)或數(shù)據(jù)挖掘4.2數(shù)據(jù)倉庫與數(shù)據(jù)庫的區(qū)別17/43目的不同4.2數(shù)據(jù)倉庫與數(shù)據(jù)庫的區(qū)別61/43數(shù)據(jù)類型不同數(shù)據(jù)庫針對交易型數(shù)據(jù)設(shè)計(jì)的，關(guān)心的是短期內(nèi)每一筆交易的細(xì)節(jié)信息，并對這些交易記錄進(jìn)行增刪改的操作；數(shù)據(jù)倉庫一般只涉及從數(shù)據(jù)集中觀察數(shù)據(jù)，并不進(jìn)行增刪改等操作。完成任務(wù)的性質(zhì)不同前者要求實(shí)時(shí)性、交互性，而后者需要涉及大范圍的數(shù)據(jù)計(jì)算，復(fù)雜的基于多個(gè)層次的查詢語言。響應(yīng)時(shí)間不同數(shù)據(jù)庫要求響應(yīng)時(shí)間短，數(shù)據(jù)倉庫要求響應(yīng)時(shí)間合理4.2數(shù)據(jù)倉庫與數(shù)據(jù)庫的區(qū)別18/43數(shù)據(jù)類型不同4.2數(shù)據(jù)倉庫與數(shù)據(jù)庫的區(qū)別62/43

可以看出，數(shù)據(jù)倉庫最根本的特點(diǎn)是物理的存放數(shù)據(jù)，而且這些數(shù)據(jù)并非是最新的、專有的，而是來源于其它的數(shù)據(jù)庫。數(shù)據(jù)倉庫的建立并不是要取代原有的數(shù)據(jù)庫，而是建立在一個(gè)較全面、完善的信息應(yīng)用的基礎(chǔ)上，用于支持高層決策分析。4.2數(shù)據(jù)倉庫與數(shù)據(jù)庫的區(qū)別19/43可以看出，數(shù)據(jù)倉庫最根本的特點(diǎn)是物理的存63/434.3

數(shù)據(jù)倉庫的建模模型 4.3.1數(shù)據(jù)倉庫的體系結(jié)構(gòu)

4.3.2數(shù)據(jù)倉庫的建模模型20/434.3數(shù)據(jù)倉庫的建模模型 4.64/43數(shù)據(jù)倉庫系統(tǒng)體系結(jié)構(gòu)

4.4數(shù)據(jù)倉庫的建模模型21/43數(shù)據(jù)倉庫系統(tǒng)體系結(jié)構(gòu)4.4數(shù)據(jù)倉庫的建模模型65/43

數(shù)據(jù)倉庫數(shù)據(jù)模型采用多維數(shù)據(jù)模型。可以以星型模型、雪花模型等形式存在。幾個(gè)相關(guān)概念：事實(shí)表（Fact）：存儲用戶需要查詢分析的數(shù)據(jù)，事實(shí)表中一般包含多個(gè)維（Dimension）和度量（Measurement）。維：數(shù)據(jù)立方中的空間坐標(biāo)軸，例如時(shí)間維、地區(qū)維、產(chǎn)品維。粒度：每個(gè)維可以分成若干等級，例如時(shí)間維可以分成年、月、日，描述了不同的查詢層次。度量：是數(shù)據(jù)的實(shí)際意義，描述數(shù)據(jù)“是什么”，即一個(gè)數(shù)值的測量指標(biāo)，如：人數(shù)、單價(jià)、銷售量等。4.3數(shù)據(jù)倉庫的建模模型22/43數(shù)據(jù)倉庫數(shù)據(jù)模型采用多維數(shù)據(jù)模型。66/431.星型模型：

度量的實(shí)際數(shù)據(jù)存放在事實(shí)表中。維的詳細(xì)信息，如不同的層次劃分和相應(yīng)數(shù)據(jù)等在維表中存儲，事實(shí)表中存放各個(gè)維的標(biāo)識碼鍵。事實(shí)表和維表將通過這些鍵關(guān)聯(lián)起來，構(gòu)成一種星型模型。這種模式圖像星星爆發(fā)，維表圍繞中心事實(shí)表顯示在射線上。在星型模式中，每維只用一個(gè)表表示，每個(gè)表包含一組屬性。4.3數(shù)據(jù)倉庫的建模模型23/431.星型模型：4.3數(shù)據(jù)倉庫的建模模型67/434.3數(shù)據(jù)倉庫的建模模型24/434.3數(shù)據(jù)倉庫的建模模型68/432.雪花模型：對于層次復(fù)雜的維,為避免冗余數(shù)據(jù)占用過大的存儲空間,可以使用多個(gè)表來描述,這種星型模式的擴(kuò)展稱為雪花模型。

雪花模型是星型模型的變種，其中某些維表是規(guī)范的，把數(shù)據(jù)進(jìn)一步分解到附加的表中。這種模型圖形成類似于雪花的形狀。4.3數(shù)據(jù)倉庫的建模模型25/432.雪花模型：4.3數(shù)據(jù)倉庫的建模模型69/4326/4370/434.4OLAP與數(shù)據(jù)集成 4.4.1聯(lián)機(jī)分析處理

4.4.2數(shù)據(jù)集成27/434.4OLAP與數(shù)據(jù)集成 4.71/43聯(lián)機(jī)分析處理聯(lián)機(jī)分析處理,On-LineAnalysisProcessing,支持通過多維的方式對數(shù)據(jù)進(jìn)行分析、查詢和生成報(bào)表，其基本功能是對用戶當(dāng)前及歷史數(shù)據(jù)進(jìn)行分析以輔助領(lǐng)導(dǎo)決策。相關(guān)概念：維：數(shù)據(jù)立方中的空間坐標(biāo)軸，例如時(shí)間維、地區(qū)維、產(chǎn)品維。粒度：每個(gè)維可以分成若干等級，例如時(shí)間維可以分成年、月、日，描述了不同的查詢層次。4.4OLAP與數(shù)據(jù)集成28/43聯(lián)機(jī)分析處理4.4OLAP與數(shù)據(jù)集成72/43OLAP特性（1）多維性:多維性是OLAP的關(guān)鍵屬性。系統(tǒng)必須提供對數(shù)據(jù)的多維視圖和分析,包括對層次維和多重層次維的完全支持。（2）快速性:用戶對OLAP的快速反應(yīng)能力有很高的要求。系統(tǒng)應(yīng)能在5秒內(nèi)對用戶的大部分分析要求做出反應(yīng)。

（3）可分析性:OLAP系統(tǒng)應(yīng)能處理與應(yīng)用有關(guān)的任何邏輯分析和統(tǒng)計(jì)分析。（4）共享性：滿足大量用戶間數(shù)據(jù)的共享（5）信息性:不論數(shù)據(jù)量有多大，也不管數(shù)據(jù)存儲在何處，OLAP系統(tǒng)應(yīng)能及時(shí)獲得信息，并且管理大容量信息。4.4OLAP與數(shù)據(jù)集成29/43OLAP特性（1）多維性:多維性是OLAP的關(guān)鍵屬73/43OLTPvsOLAP

OLTP

細(xì)節(jié)的綜合的或派生的當(dāng)前的歷史的可更新不可更新需求事先可知道需求事先不知道符合系統(tǒng)生命周期完全不同的生命周期對性能要求高對性能要求相對寬松事務(wù)驅(qū)動數(shù)據(jù)驅(qū)動面向應(yīng)用面向分析一次操作數(shù)據(jù)量小一次操作數(shù)據(jù)量大支持日常事務(wù)支持管理需求

OLAP4.4OLAP與數(shù)據(jù)集成30/43OLTPvsOLAPO74/43OLAP的分析思路

OLAP是決策支持領(lǐng)域的一部分。傳統(tǒng)的查詢和報(bào)表工具是告訴你數(shù)據(jù)庫中都有什么（whathappened），OLAP則更進(jìn)一步告訴你下一步會怎么樣（Whatnext）、和如果我采取這樣的措施又會怎么樣（Whatif）。用戶首先建立一個(gè)假設(shè)，然后用OLAP檢索數(shù)據(jù)庫來驗(yàn)證這個(gè)假設(shè)是否正確。比如，一個(gè)分析師想找到什么原因?qū)е铝速J款拖欠，他可能先做一個(gè)初始的假定，認(rèn)為低收入的人信用度也低，然后用OLAP來驗(yàn)證他這個(gè)假設(shè)。如果這個(gè)假設(shè)沒有被證實(shí)，他可能去察看那些高負(fù)債的賬戶，如果還不行，他也許要把收入和負(fù)債一起考慮，一直進(jìn)行下去，直到找到他想要的結(jié)果或放棄。4.4OLAP與數(shù)據(jù)集成31/43OLAP的分析思路OLAP是決策支持領(lǐng)75/43OLAP中的操作應(yīng)用OLAP工具進(jìn)行的分析操作主要有：鉆取、旋轉(zhuǎn)、切片鉆取：沿著維上粒度的粗細(xì)方向進(jìn)行的分析操作，改變維的層次，變換分析的粒度。它包括向上鉆取和向下鉆取。rollup是在某一維上將低層次的細(xì)節(jié)數(shù)據(jù)概括到高層次的匯總數(shù)據(jù)；而drilldown則相反，它從匯總數(shù)據(jù)深入到細(xì)節(jié)數(shù)據(jù)進(jìn)行觀察旋轉(zhuǎn)：參與分析的維的變化，即在表格中重新安排維的放置（例如行列互換）切片：將某維固定觀察其他維的變化，即一部分維上選定值后，關(guān)心度量數(shù)據(jù)在剩余維上的分布。4.4OLAP與數(shù)據(jù)集成32/43OLAP中的操作應(yīng)