第四章

聯機分析處理技術

OLAP概述OLAP中的多維分析操作OLAP的基本數據模型OLAP的衡量標準內容OLAP概述OLAP的由來聯機事務處理（OLTP）：利用關系數據庫存儲和管理業務數據，并建立相應的應用系統來支持日常業務運作。這種應用以支持業務處理為主要目的。所存儲的數據被稱為操作型數據或業務數據對OLTP數據庫中的數據進行再加工，形成一個綜合的、面向分析的、更好的支持決策制定的決策支持系統（DSS）OLAP概述聯機分析處理（OnLineAnalysisProcessing，OLAP）在數據倉庫系統中，聯機分析處理是重要的數據分析工具。OLAP的基本思想是從多方面和多角度以多維的形式來觀察企業的狀態和了解企業的變化。OLAP是獨立于數據倉庫的一種技術概念當OLAP與數據倉庫結合時，OLAP的數據源為數據倉庫，數據倉庫的大量數據是根據多維方式組織的。OLAP概述OLAP的由來Codd提出了多維數據庫和多維分析的概念，即聯機分析處理OLAP的定義OLAP是一種軟件技術，它使分析人員能夠迅速、一致、交互地從各個方面觀察信息，以達到深入理解數據的目的。這些信息是從原始數據轉換過來的，按照用戶的理解，它反映了企業真實的方方面面。（OLAP理事會）OLAP概述OLAP的基本概念維dimension人們觀察數據的特定角度如產品維、顧客維、時間維等維層次level人們觀察數據的某個特定角度（即某個維）還可以存在細節程度不同的各個描述方面如時間維的日、月、季、年OLAP概述OLAP的基本概念維成員member維的一個取值稱為該維的一個維成員是數據項在某維中位置的描述如“2012年9月10日”是在時間維上位置的描述OLAP概述OLAP的基本概念多維數據集是決策支持的支柱OLAP的核心又稱立方體或超立方體三維數據可以利用三維坐標建立立方體進行表示超三維數據可以利用一個多維表來進行顯示OLAP概述OLAP的基本概念數據單元在多維數據集中每個維都選定一個維成員后，這些維成員的組合就唯一確定了一個數據單元多維數據集的度量值在多維數據集中有一組度量值，這些值是基于多維數據集中事實表的一列或多列數字度量值是多維數據集的核心值，是最終用戶在數據倉庫應用中所需要查看的數據事實表維表OLAP概述OLAP的基本概念數據立方體由維和事實定義；每一個維都有一個表與之相關聯，這些表叫維表；每一個維表包含各種屬性；多維數據模型圍繞中心主題組織；該主題用事實表示；事實是數值度量的；一個電子公司的銷售一般從三個方面分析銷售額：時間：在某一段時間內的銷售情況，其度量為（年、季度、月、旬、天）地區：在某個地區的銷售情況，度量可分為（地區、國家、省、市）產品：某類或某型號產品的銷售情況，度量可分為（類別、型號等）此處，（時間，地區，產品）就構成了三個維。維有層次結構，可以在某個層上察看數據。11維的例子地區的層次12維的例子全國江蘇北京上海蘇州市揚州市寶應縣OLAP數據立方體的計算（物化）一般，若有n個維，則立方體個數是13{(city,item,date),(city,item),(city,date),(item,date),(city),(item),(date),all}all表示不對任何維分組，這組形成了該數據立方體的方體格OLAP概述OLAP的基本概念事實表包括事實的名稱或度量，以及每個相關維表的關鍵字；數據立方體是對多維數據存儲的一種比喻；實際維上有分層，如（年、季度、月、星期、日），所以實際的立方體個數是極大的。所以，實時計算的工作量極大，但全部事先計算，則存儲量又極大。方體的選擇計算：不物化：即不預先計算任何“非基本”方體全物化：預先計算所有的方體部分物化：在整個可能的方體集中，有選擇地物化一些適當的子集在OLAP中一般采用部分物化，應考慮三個因素:(1)確定要物化的方體子集；(2)利用查詢處理時物化的方體；(3)在裝入和刷新時，有效地更新物化的方體。15OLAP數據立方體的計算（物化）OLAP概述OLAP的基本概念概念分層（concepthierarchy）：定義一映射序列，將低層概念映射到更一般的高層概念；如維location的概念分層：城市—省—國家OLAP概述OLAP的定義與特征使分析、管理或執行人員能夠從多種角度對從原始數據中轉化出來的、能夠真正為用戶所理解的、并真實反映企業維特性的信息進行快速、一致、交互地存取，從而獲得對數據更深入了解的一類軟件技術從不同的角度看同樣的數據！OLAP概述OLAP的定義與特征如分析銷售數據時間周期產品類別分銷渠道地理分布客戶群類OLAP概述OLAP的定義與特征主要特征快速性系統必須能快速響應用戶的分析查詢要求，對于用戶大部分分析要求在5秒鐘內作出反應可分析性OLAP系統能處理任何與用戶和應用有關的邏輯分析和統計分析，在需要的情況下還允許用戶無需編程就可為分析和生成報表定義一些新的特殊運算多維性

指對數據分析的多維視圖和分析信息性能管理大量的數據并即時地獲得用戶所需信息數據的透明性OLAP中的多維分析操作鉆取Drill/Rollup,Drilldown改變維的層次，變換分析的粒度分向上鉆取和向下鉆取向上鉆取：在某一維上將低層次的細節數據概括到高層次的匯總數據，或者減少維數向下鉆取：從匯總數據深入到細節數據進行觀察或增加新維OLAP中的多維分析操作OLAP中的多維分析操作切片和切塊切片：在給定數據立方體的一個維上進行選擇操作，切片的結果是得到一個二維平面數據，如銀行分行=“分行1”OLAP中的多維分析操作切片和切塊切塊：在給定數據立方體的兩個或多個維上進行選擇操作，切塊的結果是得到一個子立方體，如（銀行分行=“分行1”OR“分行2”）AND(時間=“2007年”OR“2008年”)AND（銀行支行=支行1”OR“支行2”

）OLAP中的多維分析操作旋轉變換維的方向，即在表格中重新安排維的放置，如行列互換OLAP中的多維分析操作旋轉變換維的方向，即在表格中重新安排維的放置，如行列互換OLAP中的多維分析操作概化（generalize）通過用高層抽象（如time維的year）值替換低層抽象（如time維的day）值，概念分層可以用于概化數據；特化（specialize）通過用低層抽象（如time維的day）值替換高層抽象（如time維的year）值，概念分層可以用于特化數據；OLAP的基本數據模型OLAP系統一般以數據倉庫作為基礎，從數據倉庫中抽取詳細數據的一個子集，經過必要的聚集存儲到OLAP存儲器中供前端分析工具讀取為了保證信息處理所需的數據以合適的粒度、合理的抽象程度和標準化程度存儲，按照其數據存儲格式可以分為關系OLAP（ROLAP）、多維OLAP（MOLAP）和混合OLAP（HOLAP）OLAP的基本數據模型關系聯機分析處理ROLAP的數據模型以關系型的結果進行多維數據的表示與存儲數據的預處理程度不高，靈活性高一般采用星狀模式或雪花模式來表達多維數據視圖OLAP的基本數據模型關系聯機分析處理ROLAP的數據模型星狀模式一個事實表：包含大批數據并且不含冗余的中心表一組小的維表，每維一個OLAP的基本數據模型關系聯機分析處理ROLAP的數據模型星狀模式OLAP的基本數據模型關系聯機分析處理ROLAP的數據模型雪花模式是星狀模式的變種某些維是規范化的，把數據進一步分解到附加表中OLAP的基本數據模型關系聯機分析處理ROLAP的數據模型雪花模式OLAP的基本數據模型關系聯機分析處理ROLAP的數據模型雪花模式與星狀模式的區別雪花狀的維表可能是規范化形式，以便減少冗余，易于維護，節省存儲空間由于執行查詢需要更多的連接操作，雪花狀結構可能降低瀏覽的性能OLAP的基本數據模型多維聯機分析處理MOLAP利用一種專有的多維數據庫來存儲OLAP分析所需要的數據數據采用n維數組的多維方式存儲，形成“立方體”結構MOLAP存儲模式將數據與計算結果都存儲在立方體結構中，即將多維數據集區的聚合、維度、匯總數據以及其源數據的副本等信息均以多維結構存儲在分析服務器上。MOLAP的數據模型MOLAP是表現為“超立方”結構，采用類似于多維數組的結構。例如，二維MDDB（數組，即矩陣）的數據組織見下表北京上海廣州衣服600700500鞋800900700帽子1002008035OLAP的基本數據模型多維聯機分析處理MOLAP的優缺點迅速響應決策分析人員的分析請求（預處理程度高）用戶很難對維數進行動態變化，如增加一維對數據變化的適應能力較差-需重構多維數據庫處理大量細節數據的能力差OLAP的基本數據模型MOLAP和ROLAP的比較ROLAP服務器需要將SQL語句轉化為多維存儲語句，臨時“拼合”出多維數據立方體。因此，ROLAP的響應時間較長。

MOLAP在數據存儲速度上性能好，響應速度快。38數據存取速度ROLAP使用的傳統關系數據庫的存儲方法，在存儲容量上基本沒有限制。MOLAP通常采用多平面疊加成立體的方式存放數據。MOLAP受操作系統平臺中文件大小的限制，當數據量超過操作系統最大文件長度時，需要進行數據分割。多維數據庫的數據量級難以達到TB級(只能10~20G）39數據存儲的容量MOLAP增加新的維度，則多維數據庫通常需要重新建立。ROLAP對于維表的變更有很好的適應性。40維度變化的適應性當數據頻繁的變化時，MOLAP需要進行大量的重新計算，甚至重新建立索引乃至重構多維數據庫。在ROLAP中靈活性較好，對于數據變化的適應性高。41數據變化的適應性42MOLAPVSROLAPMOLAPROLAP固定維可變維維交叉計算多維視圖行級計算超大型數據庫讀-寫應用維數據變化速度快數據集市數據倉庫OLAP的基本數據模型混合型聯機分析處理原始數據存儲在原來的關系數據庫中聚合數據則以多維的形式存儲準則維數可以被動態更新可根據關系數據庫管理系統的元數據產生多維視圖可以快速地存取各種級別的匯總數據可適應大數據量數據的分析可以方便地對計算和匯總算法進行維護和修改OLAP的衡量標準1993年，E.F.Codd提出了關于OLAP的12條標準目的是加深對OLAP的理解已成為OLAP工具所應有的關鍵特性的最小描述OLAP的衡量標準準則1：OLAP模型必須提供多維概念視圖準則2：透明性準則OLAP的數據源對用戶是透明的準則3：存取能力準則提供高效的存取策略準則4：穩定的報表性能當維數和數據綜合層次增加時，其報表能力和響應速度不應該有明顯的降低和減慢OLAP的衡量標準準則5：客戶/服務器體系結構建立統一的公共概念模