第九章其它數(shù)據(jù)處理技術(shù)概述第九章其它數(shù)據(jù)處理技術(shù)概述

隨著數(shù)據(jù)庫技術(shù)的不斷發(fā)展，新的數(shù)據(jù)處理方式和數(shù)據(jù)庫管理方式涌現(xiàn)，數(shù)據(jù)倉庫、數(shù)據(jù)挖掘、面向?qū)ο蟮臄?shù)據(jù)庫系統(tǒng)、分布式數(shù)據(jù)庫系統(tǒng)、實(shí)時(shí)數(shù)據(jù)庫系統(tǒng)等新的數(shù)據(jù)處理方式層出不窮。掌握新的數(shù)據(jù)庫技術(shù)與發(fā)展方向，對(duì)于我們?cè)趯?shí)際應(yīng)用時(shí)會(huì)有很好的指導(dǎo)意義！數(shù)據(jù)倉庫數(shù)據(jù)挖掘面向?qū)ο蟮臄?shù)據(jù)庫技術(shù)分布式數(shù)據(jù)庫退出本章要點(diǎn)XML傳統(tǒng)的數(shù)據(jù)庫應(yīng)用軟件多數(shù)是面向聯(lián)機(jī)事物處理（OLTP）的，以單一的數(shù)據(jù)資源即數(shù)據(jù)庫作為數(shù)據(jù)管理的手段。其缺點(diǎn)是數(shù)據(jù)缺乏組織性，大多數(shù)以原始數(shù)據(jù)的形式存儲(chǔ)，數(shù)據(jù)的價(jià)值僅僅體現(xiàn)在完成一個(gè)事務(wù)，而數(shù)據(jù)的體系結(jié)構(gòu)、數(shù)據(jù)的含義并沒有引起人們的足夠重視，難以轉(zhuǎn)化為有用的信息，從而對(duì)分析處理的支持不能令人滿意。數(shù)據(jù)倉庫P219R數(shù)據(jù)倉庫的概念數(shù)據(jù)倉庫的架構(gòu)數(shù)據(jù)收集數(shù)據(jù)集市聯(lián)機(jī)分析技術(shù)概述數(shù)據(jù)倉庫系統(tǒng)開發(fā)數(shù)據(jù)倉庫SQLServer中的數(shù)據(jù)倉庫組建R一、數(shù)據(jù)倉庫（DM）的概念數(shù)據(jù)倉庫（DM）技術(shù)是指“面向主題的、集成的、穩(wěn)定的和隨時(shí)間變化的數(shù)據(jù)集合，主要用于決策制定”。數(shù)據(jù)倉庫并不是一個(gè)新的平臺(tái)（它仍然是建立在數(shù)據(jù)庫管理系統(tǒng)基礎(chǔ)上，例如SQLSERVER、SYBASE、ORACLE等都提供了數(shù)據(jù)倉庫功能）。數(shù)據(jù)倉庫的概念R其特點(diǎn)如下：面向主題進(jìn)行數(shù)據(jù)組織與傳統(tǒng)的數(shù)據(jù)庫面向應(yīng)用進(jìn)行數(shù)據(jù)組織的特點(diǎn)相對(duì)應(yīng)，數(shù)據(jù)倉庫中的數(shù)據(jù)是面向主題進(jìn)行組織的。主題是一個(gè)抽象的概念，是在較高層次上將企業(yè)信息系統(tǒng)中的數(shù)據(jù)綜合、歸類并進(jìn)行分析利用。數(shù)據(jù)倉庫的概念R

數(shù)據(jù)集成數(shù)據(jù)倉庫中的數(shù)據(jù)是從原有的分散的數(shù)據(jù)庫數(shù)據(jù)中抽取出來的。數(shù)據(jù)集成要用一些設(shè)計(jì)方法來建立數(shù)據(jù)倉庫的數(shù)據(jù)庫，并對(duì)命名協(xié)議、關(guān)鍵字、關(guān)系、編碼和翻譯中的一致性問題應(yīng)特別注意。數(shù)據(jù)倉庫的概念R

數(shù)據(jù)是穩(wěn)定的即數(shù)據(jù)的不可更新。數(shù)據(jù)倉庫中的數(shù)據(jù)主要是供決策支持系統(tǒng)使用，所涉及的數(shù)據(jù)操作主要是數(shù)據(jù)查詢，一般情況下并不進(jìn)行修改操作。數(shù)據(jù)倉庫的概念R

數(shù)據(jù)隨時(shí)間變化而增刪數(shù)據(jù)倉庫中的穩(wěn)定是一種相對(duì)穩(wěn)定，主要是針對(duì)應(yīng)用來說的，數(shù)據(jù)倉庫在用戶進(jìn)行分析處理的一個(gè)周期里不進(jìn)行數(shù)據(jù)更新操作。但每一個(gè)應(yīng)用處理完成后要將處理結(jié)果添加進(jìn)數(shù)據(jù)倉庫，同時(shí)刪去那些對(duì)決策已無意義的數(shù)據(jù)。數(shù)據(jù)倉庫的概念R二、數(shù)據(jù)倉庫的架構(gòu)一般數(shù)據(jù)倉庫系統(tǒng)的架構(gòu)如圖9.1所示，包括數(shù)據(jù)源、數(shù)據(jù)的存儲(chǔ)與管理和查詢與分析工具。數(shù)據(jù)倉庫的架構(gòu)圖9.1數(shù)據(jù)倉庫的典型架構(gòu)R數(shù)據(jù)倉庫的架構(gòu)數(shù)據(jù)源是數(shù)據(jù)倉庫的基礎(chǔ)，是整個(gè)系統(tǒng)的數(shù)據(jù)源泉。通常包括企業(yè)內(nèi)部信息和外部信息。R數(shù)據(jù)倉庫的架構(gòu)數(shù)據(jù)的存儲(chǔ)與管理是整個(gè)數(shù)據(jù)倉庫的核心。要決定采用什么產(chǎn)品和技術(shù)來建立數(shù)據(jù)倉庫的核心，需要從數(shù)據(jù)倉庫的技術(shù)特點(diǎn)著手分析，針對(duì)現(xiàn)有各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，進(jìn)行抽取、清理，并有效集成，按照主題進(jìn)行組織。數(shù)據(jù)倉庫按照數(shù)據(jù)的覆蓋范圍可以分為企業(yè)級(jí)數(shù)據(jù)倉庫和部門級(jí)數(shù)據(jù)倉庫（通常稱為數(shù)據(jù)集市）。

R數(shù)據(jù)倉庫的架構(gòu)查詢與分析工具查詢與分析工具又稱為前端工具，主要包括各種報(bào)表工具、查詢工具、數(shù)據(jù)分析工具、數(shù)據(jù)挖掘工具以及各種基于數(shù)據(jù)倉庫或數(shù)據(jù)集市的應(yīng)用開發(fā)工具（包括建模工具、清理工具、抽取工具、轉(zhuǎn)換和加載工具、多維化工具等）。R三、數(shù)據(jù)收集數(shù)據(jù)倉庫的數(shù)據(jù)收集過程分為數(shù)據(jù)抽取、清洗、轉(zhuǎn)換、集成、裝載和更新等環(huán)節(jié)。而清洗、轉(zhuǎn)換、集成又可以歸納為數(shù)據(jù)的預(yù)處理或稱為數(shù)據(jù)變換。數(shù)據(jù)收集R1.數(shù)據(jù)抽取必須根據(jù)用戶需求進(jìn)行主題的規(guī)劃，根據(jù)規(guī)劃進(jìn)行數(shù)據(jù)需求的分析，分析現(xiàn)有的數(shù)據(jù)庫和其它數(shù)據(jù)來源，根據(jù)數(shù)據(jù)倉庫的數(shù)據(jù)模型（或元數(shù)據(jù)），來確定要抽取的數(shù)據(jù)，再進(jìn)行數(shù)據(jù)的抽取。數(shù)據(jù)收集R在確定數(shù)據(jù)抽取時(shí)，要考慮以下因素：數(shù)據(jù)倉庫需要收集歷史數(shù)據(jù)；數(shù)據(jù)倉庫的設(shè)計(jì)者必須同時(shí)滿足已知需求和未知需求，要包含滿足未知需求的數(shù)據(jù)收集；數(shù)據(jù)倉庫既要包括詳細(xì)數(shù)據(jù)，也要包含概括數(shù)據(jù);數(shù)據(jù)倉庫還包含外部數(shù)據(jù)(例如，人口統(tǒng)計(jì)學(xué)數(shù)據(jù)、心理學(xué)數(shù)據(jù)等等)。數(shù)據(jù)收集R數(shù)據(jù)收集2.數(shù)據(jù)變換由于現(xiàn)實(shí)中的數(shù)據(jù)庫不可避免地存在有噪聲的、不完整的和不一致的數(shù)據(jù)，在將所選擇并抽取的數(shù)據(jù)裝載到數(shù)據(jù)倉庫中之前，就必須利用各種數(shù)據(jù)變換技術(shù)對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。數(shù)據(jù)變換技術(shù)包括：數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)約簡。1）數(shù)據(jù)清洗（DataCleaning）數(shù)據(jù)清洗的任務(wù)包括填補(bǔ)遺失的數(shù)據(jù)、平滑噪聲數(shù)據(jù)、確定或去掉異常數(shù)據(jù)、以及解決不一致問題。R數(shù)據(jù)收集在數(shù)據(jù)清洗技術(shù)中對(duì)于遺失的數(shù)值的填補(bǔ)有如下方法：忽略該記錄人工填寫遺失的數(shù)值使用全局常數(shù)來填補(bǔ)遺失的數(shù)值使用遺失的數(shù)值的屬性的平均值來填補(bǔ)遺失的數(shù)值使用最可能的數(shù)值來填補(bǔ)遺失的數(shù)值R在數(shù)據(jù)清理技術(shù)中對(duì)噪聲數(shù)據(jù)的平滑有如下方法：分箱法聚類法回歸法或者通過計(jì)算機(jī)和人工檢查進(jìn)行修正。數(shù)據(jù)收集R在數(shù)據(jù)清理技術(shù)中對(duì)不一致的數(shù)據(jù)采用如下方法：根據(jù)外部的參考數(shù)據(jù)手工修正設(shè)計(jì)專門的程序進(jìn)行改正利用數(shù)據(jù)約束來檢測數(shù)據(jù)的不一致數(shù)據(jù)收集R數(shù)據(jù)收集2）數(shù)據(jù)集成（DataIntegration）數(shù)據(jù)集成是將來自多個(gè)數(shù)據(jù)源（如數(shù)據(jù)庫和平面文件等）的數(shù)據(jù)結(jié)合成一個(gè)一致的數(shù)據(jù)儲(chǔ)存。在數(shù)據(jù)集成時(shí)要考慮許多因素：如實(shí)體確認(rèn)問題，即如何將多個(gè)數(shù)據(jù)源的記錄進(jìn)行匹配；冗余問題，即如何排除非原始數(shù)據(jù)或?qū)С鰯?shù)據(jù)的問題；以及數(shù)據(jù)沖突問題，即檢測和解決數(shù)據(jù)值的度量單位不一致問題。R數(shù)據(jù)收集3）數(shù)據(jù)轉(zhuǎn)換（DataTransformation）數(shù)據(jù)轉(zhuǎn)換是將數(shù)據(jù)轉(zhuǎn)換或統(tǒng)一成數(shù)據(jù)倉庫所需要的適當(dāng)形式，涉及如下內(nèi)容：平滑：利用數(shù)據(jù)清洗中提及的分箱、聚類和回歸技術(shù)來從數(shù)據(jù)中移去噪聲。聚集：對(duì)數(shù)據(jù)進(jìn)行匯總和聚集操作概化：將概念層次中的低層次的數(shù)據(jù)或基本數(shù)據(jù)用較高層次的數(shù)據(jù)取代。標(biāo)稱化：將數(shù)據(jù)進(jìn)行比例變換，使其分布在規(guī)定的一個(gè)小范圍內(nèi)，如-1.0到1.0或0.0到1.0。設(shè)立新的屬性：增加新的屬性。R數(shù)據(jù)收集4）數(shù)據(jù)約簡（DataReduction）數(shù)據(jù)約簡是在維護(hù)數(shù)據(jù)完整性的前提下，減少數(shù)據(jù)的容量的技術(shù)。數(shù)據(jù)約簡的策略包括如下幾種：數(shù)據(jù)聚集：在數(shù)據(jù)模型中進(jìn)行聚集操作，在不影響分析目的的前提下，將數(shù)據(jù)進(jìn)行匯總。維度約簡：將在不相關(guān)的、弱相關(guān)的、或者冗余的屬性或維度檢測并刪除。數(shù)據(jù)壓縮：利用編碼機(jī)制來減少數(shù)據(jù)尺寸數(shù)字化減少：利用另外的、較小數(shù)據(jù)表示方法來取代或代表數(shù)據(jù)。離散化和概念化：將原始數(shù)據(jù)用范圍較高的概念層次來表示。R數(shù)據(jù)收集3.數(shù)據(jù)裝載將經(jīng)過數(shù)據(jù)預(yù)處理后的數(shù)據(jù)，按照一定的要求或規(guī)劃，導(dǎo)入到數(shù)據(jù)倉庫的過程稱為數(shù)據(jù)裝載。數(shù)據(jù)裝載的一般過程是：確定數(shù)據(jù)倉庫數(shù)據(jù)與源數(shù)據(jù)之間的對(duì)應(yīng)關(guān)系，按照數(shù)據(jù)倉庫的表結(jié)構(gòu)在源數(shù)據(jù)中產(chǎn)生相應(yīng)的文本文件，在產(chǎn)生文本文件的過程中通過訪問數(shù)據(jù)抽取對(duì)照表來實(shí)現(xiàn)各種數(shù)據(jù)轉(zhuǎn)換、凈化和整合。再將數(shù)據(jù)通過一定的方式輸入到服務(wù)器端，通過某種工具將數(shù)據(jù)裝載入數(shù)據(jù)倉庫。R數(shù)據(jù)收集4.數(shù)據(jù)更新對(duì)于數(shù)據(jù)倉庫內(nèi)的數(shù)據(jù)存在著周期性更新的工作。即數(shù)據(jù)倉庫初期裝載完成后，在數(shù)據(jù)倉庫的生命周期內(nèi)，系統(tǒng)需要通過對(duì)源數(shù)據(jù)的管理，時(shí)刻保持?jǐn)?shù)據(jù)源與數(shù)據(jù)倉庫之間的映射關(guān)系，通過后臺(tái)抽取程序（包括集成與分割、聚集、轉(zhuǎn)換、映像等），實(shí)現(xiàn)源數(shù)據(jù)的動(dòng)態(tài)抽取，來達(dá)到數(shù)據(jù)倉庫的不斷更新，以反映數(shù)據(jù)的歷史變化。R數(shù)據(jù)收集數(shù)據(jù)周期性更新的任務(wù)主要包括：要定期地從其數(shù)據(jù)源獲取新的數(shù)據(jù)；要根據(jù)分析或運(yùn)行的需要，對(duì)不存在的數(shù)據(jù)進(jìn)行補(bǔ)充、對(duì)不合理的數(shù)據(jù)進(jìn)行祛除、對(duì)不一致的數(shù)據(jù)進(jìn)行調(diào)整；對(duì)于存放過久、意義不大的數(shù)據(jù)要進(jìn)行刪除。R四、數(shù)據(jù)集市數(shù)據(jù)集市數(shù)據(jù)集市是數(shù)據(jù)倉庫的部門級(jí)的子集，它只關(guān)注所選擇的主題，往往涉及某個(gè)單獨(dú)主題或者單個(gè)類型的分析。數(shù)據(jù)集市通常用于向組織中的職能部門提供信息。也可用于劃分?jǐn)?shù)據(jù)倉庫的數(shù)據(jù)以反映那些在地理位置上分離的企業(yè)，其中各區(qū)域都是相對(duì)獨(dú)立的。在有些數(shù)據(jù)倉庫實(shí)現(xiàn)中，數(shù)據(jù)集市就是指微型數(shù)據(jù)倉庫；而在另一些實(shí)現(xiàn)中，它是數(shù)據(jù)倉庫的一個(gè)部分。數(shù)據(jù)集市R2.數(shù)據(jù)集市的創(chuàng)建創(chuàng)建數(shù)據(jù)集市有兩種基本方法。第一種是直接從OLTP數(shù)據(jù)庫系統(tǒng)中獲取數(shù)據(jù)，放入需要數(shù)據(jù)的數(shù)據(jù)集市中，此時(shí)數(shù)據(jù)集市設(shè)計(jì)為完全獨(dú)立的微型數(shù)據(jù)倉庫，作為分布式數(shù)據(jù)倉庫的成員來構(gòu)成總體結(jié)構(gòu)。第二種是從OLTP系統(tǒng)中獲取數(shù)據(jù)放入中心數(shù)據(jù)倉庫中，然后數(shù)據(jù)從數(shù)據(jù)倉庫中流入相應(yīng)的數(shù)據(jù)集市中。數(shù)據(jù)集市R3．?dāng)?shù)據(jù)集市的設(shè)計(jì)原則無論數(shù)據(jù)集市以何種方式構(gòu)建，提供何種功能，它們一定要設(shè)計(jì)為主數(shù)據(jù)倉庫的組件，以使數(shù)據(jù)組織、格式和模式在整個(gè)數(shù)據(jù)倉庫中保持一致。不一致的表設(shè)計(jì)、更新機(jī)制或維度層次結(jié)構(gòu)會(huì)妨礙數(shù)據(jù)在整個(gè)數(shù)據(jù)倉庫中的重新使用，并會(huì)導(dǎo)致由同一數(shù)據(jù)產(chǎn)生不一致的報(bào)告。數(shù)據(jù)集市應(yīng)從數(shù)據(jù)倉庫的組件的角度來進(jìn)行設(shè)計(jì)，而不要管其單獨(dú)的功能或建設(shè)方式如何。這樣就在整個(gè)組織中提供了信息的一致性和可用性。數(shù)據(jù)集市R五．?dāng)?shù)據(jù)倉庫的系統(tǒng)開發(fā)1、規(guī)劃規(guī)劃活動(dòng)是數(shù)據(jù)倉庫開發(fā)的重要和首要環(huán)節(jié)。在數(shù)據(jù)倉庫規(guī)劃中要建立開發(fā)數(shù)據(jù)倉庫系統(tǒng)的目標(biāo)、確定數(shù)據(jù)倉庫系統(tǒng)涉及的范圍、以及制定開發(fā)計(jì)劃。數(shù)據(jù)倉庫的系統(tǒng)開發(fā)R2、數(shù)據(jù)倉庫分析數(shù)據(jù)倉庫分析階段的工作主要是在掌握了企業(yè)或決策者的需求的基礎(chǔ)上定義數(shù)據(jù)倉庫的體系結(jié)構(gòu)。定義體系結(jié)構(gòu)是為開發(fā)數(shù)據(jù)倉庫確定技術(shù)基礎(chǔ)和確定新型決策支持系統(tǒng)的應(yīng)用結(jié)構(gòu)。數(shù)據(jù)倉庫的系統(tǒng)開發(fā)R在需求定義的基礎(chǔ)上應(yīng)考慮如下的問題：來源。數(shù)據(jù)應(yīng)該來自于什么硬件和怎樣的DBMS?傳輸。數(shù)據(jù)通過什么樣的拓?fù)浣Y(jié)構(gòu)傳送過來?目的地。數(shù)據(jù)發(fā)送到數(shù)據(jù)倉庫的什么硬件環(huán)境和DBMS中?元數(shù)據(jù)。如何訪問和存儲(chǔ)數(shù)據(jù)定義、關(guān)系、業(yè)務(wù)規(guī)則和變換等。變換。變換數(shù)據(jù)是利用特殊工具還是自行編制數(shù)據(jù)變換程序?訪問。最終用戶怎樣才能看到數(shù)據(jù)?數(shù)據(jù)倉庫的系統(tǒng)開發(fā)R數(shù)據(jù)倉庫的系統(tǒng)開發(fā)3、數(shù)據(jù)倉庫設(shè)計(jì)數(shù)據(jù)倉庫的設(shè)計(jì)包括主題域設(shè)計(jì)、物理數(shù)據(jù)庫設(shè)計(jì)、源系統(tǒng)分析、數(shù)據(jù)變換設(shè)計(jì)等內(nèi)容。R數(shù)據(jù)倉庫的系統(tǒng)開發(fā)1）主題域設(shè)計(jì)主題域設(shè)計(jì)的中心工作是根據(jù)決策需求來確定主題，選擇數(shù)據(jù)源，對(duì)數(shù)據(jù)倉庫的數(shù)據(jù)組織進(jìn)行邏輯結(jié)構(gòu)設(shè)計(jì)，創(chuàng)建數(shù)據(jù)倉庫的數(shù)據(jù)模型。具體工作任務(wù)是：給出主題域范圍。所需的細(xì)節(jié)水平。生成初步概括表。建立數(shù)據(jù)倉庫的數(shù)據(jù)模型。R數(shù)據(jù)倉庫的系統(tǒng)開發(fā)2）物理數(shù)據(jù)庫設(shè)計(jì)設(shè)計(jì)數(shù)據(jù)倉庫中的物理數(shù)據(jù)庫是基于用戶的需求，著重于某個(gè)主題，開發(fā)數(shù)據(jù)倉庫中數(shù)據(jù)的物理存儲(chǔ)結(jié)構(gòu)，即設(shè)計(jì)多維數(shù)據(jù)結(jié)構(gòu)的事實(shí)表和維表。物理數(shù)據(jù)庫設(shè)計(jì)內(nèi)容包括：所有的控制表、粒度表、事實(shí)表和域表。域表、代碼表和變換表的實(shí)際布局可以采用兩種途徑。一種是每個(gè)域、代碼等都在一個(gè)獨(dú)立的表中。另外一種是定義一個(gè)公共的表。R建立概括表可以增強(qiáng)數(shù)據(jù)倉庫的性能。因此，當(dāng)對(duì)數(shù)據(jù)訪問要求的性能水平較高時(shí)應(yīng)該建立概括表。概括數(shù)據(jù)時(shí)，最常用的維度是時(shí)間維（按月等）和地理維（按地區(qū)等）。數(shù)據(jù)倉庫的系統(tǒng)開發(fā)R3）源系統(tǒng)分析該項(xiàng)任務(wù)的內(nèi)容是確定數(shù)據(jù)從何而來，其工作內(nèi)容具體包括：初選，列出可能成為數(shù)據(jù)來源的系統(tǒng)或文件完整性檢查質(zhì)量評(píng)價(jià)模型調(diào)整數(shù)據(jù)擴(kuò)展數(shù)據(jù)倉庫的系統(tǒng)開發(fā)R4）數(shù)據(jù)變換設(shè)計(jì)變換設(shè)計(jì)是進(jìn)行數(shù)據(jù)轉(zhuǎn)換程序的設(shè)計(jì)，即從源系統(tǒng)中抽取數(shù)據(jù)、清理數(shù)據(jù)、格式化數(shù)據(jù)、綜合數(shù)據(jù)裝載等過程的編碼。數(shù)據(jù)倉庫的系統(tǒng)開發(fā)R其具體的內(nèi)容包括：變換規(guī)范變換過程控制設(shè)計(jì)和評(píng)審程序確認(rèn)業(yè)務(wù)度量歷史數(shù)據(jù)轉(zhuǎn)換過程測試數(shù)據(jù)數(shù)據(jù)倉庫模型的修正數(shù)據(jù)倉庫的系統(tǒng)開發(fā)R4.數(shù)據(jù)倉庫實(shí)施數(shù)據(jù)倉庫實(shí)施階段有兩大任務(wù)，第一是建立數(shù)據(jù)倉庫，第二是數(shù)據(jù)倉庫填充。1）建立數(shù)據(jù)倉庫建立數(shù)據(jù)倉庫的目標(biāo)是建立數(shù)據(jù)倉庫，并檢驗(yàn)變換規(guī)則和計(jì)算是否準(zhǔn)確。另外，如果有元數(shù)據(jù)的話，應(yīng)將它加載到數(shù)據(jù)倉庫的數(shù)據(jù)庫中。數(shù)據(jù)倉庫的系統(tǒng)開發(fā)R數(shù)據(jù)倉庫的系統(tǒng)開發(fā)數(shù)據(jù)倉庫建立的主要工作是數(shù)據(jù)和元數(shù)據(jù)的加載。具體工作包括下列內(nèi)容：變換實(shí)施變換過程實(shí)現(xiàn)初步的數(shù)據(jù)加載控制和評(píng)審過程元數(shù)據(jù)的加載系統(tǒng)測試R數(shù)據(jù)倉庫的系統(tǒng)開發(fā)2）數(shù)據(jù)倉庫填充和試運(yùn)行

即裝載來自轉(zhuǎn)換與變換的、為用戶所接受并具有業(yè)務(wù)性的數(shù)據(jù)，然后組織試運(yùn)行。數(shù)據(jù)倉庫填充和試運(yùn)行工作內(nèi)容是：填充運(yùn)行軟件實(shí)現(xiàn)數(shù)據(jù)培訓(xùn)和訪問培圳用戶接受性測試R數(shù)據(jù)倉庫的系統(tǒng)開發(fā)5.運(yùn)行管理一般將數(shù)據(jù)倉庫的發(fā)展總結(jié)為報(bào)表、分析、預(yù)測、實(shí)時(shí)決策和事件觸發(fā)的自動(dòng)決策五個(gè)階段：1）報(bào)表應(yīng)用主要是把企業(yè)內(nèi)不同來源的信息集成到一個(gè)單一的倉庫中，以報(bào)表的形式為企業(yè)跨職能或跨產(chǎn)品的決策提供重要的參考。本階段所面臨的最大挑戰(zhàn)是將來源、結(jié)構(gòu)各異的數(shù)據(jù)進(jìn)行集成，其基本特點(diǎn)是通過數(shù)據(jù)集成來回答預(yù)先設(shè)置的一些問題，告訴決策者“發(fā)生了什么”。R2）分析應(yīng)用在報(bào)表應(yīng)用的基礎(chǔ)上，決策者所關(guān)心的重點(diǎn)發(fā)生轉(zhuǎn)移，從“發(fā)生了什么”轉(zhuǎn)向到“為什么會(huì)發(fā)生”。分析活動(dòng)就是了解所獲得的報(bào)表數(shù)據(jù)的內(nèi)涵。本階段的主要應(yīng)用是隨機(jī)分析，其主要特征是需要支持?jǐn)?shù)據(jù)倉庫的并發(fā)查詢和大批量用戶，所面臨的挑戰(zhàn)是提高數(shù)據(jù)倉庫的性能，建立聯(lián)機(jī)分析處理（OLAP）環(huán)境。數(shù)據(jù)倉庫的系統(tǒng)開發(fā)R3）預(yù)測應(yīng)用預(yù)測階段是數(shù)據(jù)倉庫支持決策者預(yù)測未來，回答“將要發(fā)生什么”。為了得到所需的預(yù)測特性，高級(jí)數(shù)據(jù)分析通常采用復(fù)雜的數(shù)學(xué)函數(shù)（如對(duì)數(shù)、指數(shù)、以及復(fù)雜的統(tǒng)計(jì)函數(shù)等）來分析大量的歷史數(shù)據(jù)。本階段的特點(diǎn)是利用數(shù)據(jù)倉庫進(jìn)行高級(jí)分析的最終用戶數(shù)量不多，但建模及評(píng)測的工作量極大，對(duì)系統(tǒng)資源的消耗也非常大。數(shù)據(jù)倉庫的系統(tǒng)開發(fā)R4）實(shí)時(shí)決策企業(yè)需要準(zhǔn)確地了解“當(dāng)前應(yīng)當(dāng)發(fā)生什么”，從而需要建立動(dòng)態(tài)數(shù)據(jù)倉庫，使能實(shí)時(shí)決策以有效地解決當(dāng)前的實(shí)際問題。動(dòng)態(tài)數(shù)據(jù)倉庫的目標(biāo)是能夠逐項(xiàng)產(chǎn)品、逐個(gè)部門、逐階段地作出最佳決策，縮短重要業(yè)務(wù)決策及其實(shí)施之間的時(shí)間。本階段的重要特點(diǎn)是將動(dòng)態(tài)數(shù)據(jù)倉庫所作的數(shù)據(jù)分析轉(zhuǎn)換變成可操作的決策，從而提供一種全新的決策支持，使數(shù)據(jù)倉庫的價(jià)值得到最大化。數(shù)據(jù)倉庫的系統(tǒng)開發(fā)R5）事件觸發(fā)的自動(dòng)決策由事件觸發(fā)，利用動(dòng)態(tài)數(shù)據(jù)倉庫自動(dòng)決策，達(dá)到“希望發(fā)生什么”的層次。從以上數(shù)據(jù)倉庫應(yīng)用的演變過程，可以清楚地看出數(shù)據(jù)倉庫應(yīng)用是一個(gè)逐漸演進(jìn)的過程。因此，最終用戶訪問方法的設(shè)計(jì)、定義和開發(fā)將貫穿于數(shù)據(jù)倉庫的開發(fā)和運(yùn)行管理階段。數(shù)據(jù)倉庫運(yùn)行管理還包括有管理元數(shù)據(jù)、開發(fā)用戶決策的數(shù)據(jù)分析工具和管理數(shù)據(jù)倉庫環(huán)境等工作。數(shù)據(jù)倉庫的系統(tǒng)開發(fā)R六、聯(lián)機(jī)分析（OLAP）技術(shù)概述聯(lián)機(jī)分析（ONLINEANALYSISPROCESS,OLAP）技術(shù)就是專門用來支持復(fù)雜的分析操作，側(cè)重對(duì)決策支持人員和高層管理人員的決策支持，可以實(shí)現(xiàn)快速靈活地大量數(shù)據(jù)的復(fù)雜查詢處理，并且以直觀的形式提供給用戶。OLAP技術(shù)概述R1.OLTP和OLAP的關(guān)系在OLTP中，數(shù)據(jù)分離出來以數(shù)據(jù)表的形式和應(yīng)用捆綁在一起。但是隨著應(yīng)用的不斷發(fā)展，人們認(rèn)識(shí)到操作型數(shù)據(jù)和分析型應(yīng)用必須分離。這就引起了數(shù)據(jù)庫應(yīng)用從OLTP到OLAP技術(shù)的轉(zhuǎn)變。OLAP技術(shù)概述R所謂OLAP是針對(duì)特定問題的聯(lián)機(jī)數(shù)據(jù)訪問和分析。通過對(duì)信息的很多種可能觀察形式進(jìn)行快速的、穩(wěn)定的、一致的和交互式的存取，允許決策人員對(duì)數(shù)據(jù)進(jìn)行深入的觀察。OLAP技術(shù)概述ROLAP是以數(shù)據(jù)庫或者數(shù)據(jù)倉庫為基礎(chǔ)的，其最終數(shù)據(jù)來源與OLTP一樣都是來自底層的數(shù)據(jù)庫系統(tǒng)。但是由于兩者的使用用戶不同，其在數(shù)據(jù)的特點(diǎn)和處理方式上也表現(xiàn)出很大的不同。表9.1給出了OLTP和OLAP之間的差別。OLAP技術(shù)概述ROLAP技術(shù)概述ROLTPOLAP原始的、細(xì)節(jié)的、當(dāng)前的數(shù)據(jù)導(dǎo)出的、綜合的、歷史的數(shù)據(jù)面向操作人員，支持日常操作面向決策人員，支持管理需要事務(wù)驅(qū)動(dòng)分析驅(qū)動(dòng)可更新不可更新，但周期性刷新數(shù)據(jù)處理量較小數(shù)據(jù)處理量較大2.多維數(shù)據(jù)庫(MULTIDIMENSIONDATABASE)

傳統(tǒng)的關(guān)系數(shù)據(jù)庫一般采用二維表的形式來表示數(shù)據(jù)。多維數(shù)據(jù)庫擴(kuò)展了關(guān)系數(shù)據(jù)庫模型，它提出了一個(gè)可以包含超過兩個(gè)維的數(shù)據(jù)結(jié)構(gòu)，這種數(shù)據(jù)結(jié)構(gòu)就是多維數(shù)據(jù)庫，多維數(shù)據(jù)庫又稱為數(shù)據(jù)立方體（CUBE）。OLAP技術(shù)概述R在維的交叉處，可能有不止一個(gè)數(shù)據(jù)元素，在多維數(shù)據(jù)庫中把這種維的交叉處稱為度量（MEASURE）。OLAP技術(shù)概述R3.OLAP的存儲(chǔ)模式根據(jù)OLAP實(shí)現(xiàn)時(shí)采用的存儲(chǔ)模式的不同，現(xiàn)在主要存在以下三種OLAP結(jié)構(gòu)：OLAP技術(shù)概述R

基于多維數(shù)據(jù)庫的OLAP----MOLAPMOLAP是以多維數(shù)據(jù)庫為核心建設(shè)的基于多維數(shù)據(jù)庫的OLAP。多維數(shù)據(jù)庫有時(shí)不僅在于多維概念的表達(dá)清晰，更重要的是它有著高速的綜合處理速度。OLAP技術(shù)概述R基于關(guān)系數(shù)據(jù)庫的OLAP----ROLAP在ROLAP中，關(guān)系數(shù)據(jù)庫將多維數(shù)據(jù)庫中的多維結(jié)構(gòu)劃分為事實(shí)表和多維表來實(shí)現(xiàn)和多維數(shù)據(jù)庫類似的功能。OLAP技術(shù)概述R混合OLAP----HOLAPHOLAP系統(tǒng)綜合了基于多維數(shù)據(jù)庫的OLAP系統(tǒng)和基于關(guān)系數(shù)據(jù)庫的OLAP系統(tǒng)的優(yōu)點(diǎn)。它把事實(shí)表保存在關(guān)系數(shù)據(jù)庫中，充分利用了成熟的關(guān)系模型所帶來的高性能、高可靠性的特點(diǎn)，同時(shí)又把聚集信息保存在多維數(shù)據(jù)庫中，很好地滿足了聯(lián)機(jī)分析處理的需要。OLAP技術(shù)概述R七、SQLSERVER2000中的數(shù)據(jù)倉庫組件

關(guān)系數(shù)據(jù)庫

SQLSERVER2000使用關(guān)系數(shù)據(jù)庫作為數(shù)據(jù)倉庫的基礎(chǔ)。

SQLSERVER2000數(shù)據(jù)倉庫的核心實(shí)際上就是SQLSERVER2000的關(guān)系數(shù)據(jù)庫引擎。SQLSERVER2000數(shù)據(jù)倉庫組件R

數(shù)據(jù)轉(zhuǎn)移服務(wù)（DTS）數(shù)據(jù)倉庫需要從眾多的數(shù)據(jù)源中獲得數(shù)據(jù)，這些數(shù)據(jù)源可能是文本文件、電子郵件，也可能是其他數(shù)據(jù)庫系統(tǒng)，因此整合不同的數(shù)據(jù)源到一個(gè)數(shù)據(jù)倉庫中就顯得必不可少了。SQLSERVER2000數(shù)據(jù)倉庫組件R

聯(lián)機(jī)分析處理（OLAP）數(shù)據(jù)倉庫的主要目的是對(duì)大量的數(shù)據(jù)進(jìn)行分析并輔助決策支持，SQLSERVER2000中的聯(lián)機(jī)分析處理工具可以有效地組織數(shù)據(jù)倉庫的大量數(shù)據(jù)并從中尋求有效的信息。SQLSERVER2000數(shù)據(jù)倉庫組件R英語查詢基于英語的查詢可以有效地縮短用戶和計(jì)算機(jī)之間的技術(shù)鴻溝，SQLSERVER2000的ENGLISHQUERY用于開發(fā)基于英語的查詢應(yīng)用。通過它提供的語言分析引擎，程序員可以開發(fā)出高性能的采用英語來查詢數(shù)據(jù)庫的應(yīng)用程序，從而提供給決策支持制定人員使用。SQLSERVER2000數(shù)據(jù)倉庫組件R元數(shù)據(jù)服務(wù)數(shù)據(jù)倉庫的基本數(shù)據(jù)就是元數(shù)據(jù)（METADATA）。SQLSERVER2000中的工具將大量的元數(shù)據(jù)存放在MSDB系統(tǒng)數(shù)據(jù)庫中。SQLSERVER2000的元數(shù)據(jù)服務(wù)提供了瀏覽這些元數(shù)據(jù)的有效支持，同時(shí)開發(fā)人員還可以在應(yīng)用程序中使用這些元數(shù)據(jù)。SQLSERVER2000數(shù)據(jù)倉庫組件R復(fù)制工具SQLSERVER2000的復(fù)制工具能夠分發(fā)數(shù)據(jù)并協(xié)調(diào)不同的數(shù)據(jù)庫之間的更新操作，尤其是復(fù)制工具能夠有效地把中央數(shù)據(jù)倉庫中的數(shù)據(jù)分發(fā)到數(shù)據(jù)集市中。SQLSERVER2000數(shù)據(jù)倉庫組件RR數(shù)據(jù)挖掘P233數(shù)據(jù)挖據(jù)技術(shù)概述數(shù)據(jù)挖據(jù)的定義數(shù)據(jù)挖據(jù)的過程模型及常用技術(shù)目前數(shù)據(jù)挖據(jù)的主要應(yīng)用一、數(shù)據(jù)挖掘技術(shù)概述數(shù)據(jù)挖掘是一門綜合性的技術(shù)，涉及到很多學(xué)科---數(shù)據(jù)庫、人工智能和數(shù)理統(tǒng)計(jì)等等。目前其主要研究內(nèi)容包括基礎(chǔ)理論、發(fā)現(xiàn)算法、數(shù)據(jù)倉庫、可視化技術(shù)、定性定量互換模型、知識(shí)表示方法、發(fā)現(xiàn)知識(shí)的維護(hù)和再利用、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)中的知識(shí)發(fā)現(xiàn)以及網(wǎng)上數(shù)據(jù)挖掘等。R數(shù)據(jù)挖掘技術(shù)概述數(shù)據(jù)挖掘與數(shù)據(jù)倉庫技術(shù)有著密切的關(guān)系。R數(shù)據(jù)挖掘技術(shù)概述數(shù)據(jù)挖掘庫可能是你的數(shù)據(jù)倉庫的一個(gè)邏輯上的子集，而不一定非得是物理上單獨(dú)的數(shù)據(jù)庫。但如果你的數(shù)據(jù)倉庫的計(jì)算資源已經(jīng)很緊張，那你最好還是建立一個(gè)單獨(dú)的數(shù)據(jù)挖掘庫。R數(shù)據(jù)挖掘技術(shù)概述數(shù)據(jù)挖掘和OLAP的不同之處：

OLAP是決策支持領(lǐng)域的一部分。OLAP分析過程在本質(zhì)上是一個(gè)演繹推理的過程。數(shù)據(jù)挖掘與OLAP不同的地方是，數(shù)據(jù)挖掘不是用于驗(yàn)證某個(gè)假定的模式（模型）的正確性，而是在數(shù)據(jù)庫中自己尋找模型。他在本質(zhì)上是一個(gè)歸納的過程。R數(shù)據(jù)挖掘技術(shù)概述chapter__9

數(shù)據(jù)挖掘和OLAP具有一定的互補(bǔ)性。在利用數(shù)據(jù)挖掘出來的結(jié)論采取行動(dòng)之前，你也許要驗(yàn)證一下如果采取這樣的行動(dòng)會(huì)給公司帶來什么樣的影響，那么OLAP工具能回答你的這些問題。R數(shù)據(jù)挖掘技術(shù)概述二、數(shù)據(jù)挖掘（DATAMINING）的定義數(shù)據(jù)挖掘就是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識(shí)的過程。R數(shù)據(jù)挖掘的定義以上定義包括好幾層含義：數(shù)據(jù)源必須是真實(shí)的、大量的、含噪聲的；發(fā)現(xiàn)的是用戶感興趣的知識(shí)；發(fā)現(xiàn)的知識(shí)要可接受、可理解、可運(yùn)用；并不要求發(fā)現(xiàn)放之四海皆準(zhǔn)的知識(shí)，僅支持特定的發(fā)現(xiàn)問題。R數(shù)據(jù)挖掘的定義數(shù)據(jù)挖掘的目標(biāo)是從數(shù)據(jù)中找到感興趣的模式，用這些模式來決定商業(yè)策略或發(fā)現(xiàn)不正常的情況。R數(shù)據(jù)挖掘的定義三、數(shù)據(jù)挖掘的過程模型及常用技術(shù)以TWOCROWS公司的數(shù)據(jù)挖掘過程模型為例進(jìn)行討論。基本數(shù)據(jù)挖掘步驟包括：定義商業(yè)問題、建立數(shù)據(jù)挖掘模型、分析數(shù)據(jù)、準(zhǔn)備數(shù)據(jù)、建立模型、評(píng)價(jià)模型和實(shí)施。數(shù)據(jù)挖掘的過程模型及常用技術(shù)R數(shù)據(jù)挖掘常用技術(shù)包括：人工神經(jīng)網(wǎng)絡(luò)，即仿照生理神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的非線形預(yù)測模型，通過學(xué)習(xí)進(jìn)行模式識(shí)別。決策樹，它代表著決策集的樹形結(jié)構(gòu)。R數(shù)據(jù)挖掘的過程模型及常用技術(shù)遺傳算法，基于進(jìn)化理論，并采用遺傳結(jié)合、遺傳變異、以及自然選擇等設(shè)計(jì)方法的優(yōu)化技術(shù)。近鄰算法，將數(shù)據(jù)集合中每一個(gè)記錄進(jìn)行分類的方法。規(guī)則推導(dǎo)，從統(tǒng)計(jì)意義上對(duì)數(shù)據(jù)中的"如果-那么"規(guī)則進(jìn)行尋找和推導(dǎo)。R數(shù)據(jù)挖掘的過程模型及常用技術(shù)四、目前數(shù)據(jù)挖掘的主要應(yīng)用網(wǎng)站的數(shù)據(jù)挖掘生物信息或基因的數(shù)據(jù)挖掘文本的數(shù)據(jù)挖掘目前數(shù)據(jù)挖掘的主要應(yīng)用R面向?qū)ο蟮臄?shù)據(jù)庫技術(shù)可以直接處理一些復(fù)雜的對(duì)象、描述這些對(duì)象的復(fù)雜特征，因此，它可以滿足當(dāng)前一些新的數(shù)據(jù)庫應(yīng)用的需要。這些新的應(yīng)用中的數(shù)據(jù)大部分是不能利用關(guān)系模型和實(shí)體-聯(lián)系模型來充分加以描繪的。R面向?qū)ο蟮臄?shù)據(jù)庫技術(shù)P237這些新的應(yīng)用包括：計(jì)算機(jī)輔助設(shè)計(jì)（CAD）CAD數(shù)據(jù)庫存儲(chǔ)了與一個(gè)工程設(shè)計(jì)相關(guān)的數(shù)據(jù)，包括所設(shè)計(jì)物品的各個(gè)組件、這些組件之間的相互關(guān)系等。R面向?qū)ο蟮臄?shù)據(jù)庫技術(shù)計(jì)算機(jī)輔助軟件工程（CASE）CASE數(shù)據(jù)庫存儲(chǔ)了用于輔助軟件開發(fā)者的一些數(shù)據(jù)。這些數(shù)據(jù)包括源代碼、軟件模塊間的依賴關(guān)系、變量的定義和使用，以及軟件系統(tǒng)的開發(fā)歷史等。R面向?qū)ο蟮臄?shù)據(jù)庫技術(shù)多媒體數(shù)據(jù)庫多媒體數(shù)據(jù)庫包含圖像數(shù)據(jù)、空間數(shù)據(jù)、音頻數(shù)據(jù)、視頻數(shù)據(jù)等等。這種類型的數(shù)據(jù)主要用于存儲(chǔ)照片和地理數(shù)據(jù)，以及語音郵件系統(tǒng)、圖形系統(tǒng)和視頻點(diǎn)播系統(tǒng)等。R面向?qū)ο蟮臄?shù)據(jù)庫技術(shù)辦公自動(dòng)化系統(tǒng)辦公自動(dòng)化包括基于工作臺(tái)的文檔的生成和檢索工具、維護(hù)日程安排的工具等。辦公自動(dòng)化數(shù)據(jù)庫必須允許對(duì)日程、文檔和文檔內(nèi)容進(jìn)行查詢。R面向?qū)ο蟮臄?shù)據(jù)庫技術(shù)超文本數(shù)據(jù)庫在互連網(wǎng)上存在大量的超文本。所謂超文本就是經(jīng)過增強(qiáng)的文本，它帶有指向其他文檔的鏈接。為了對(duì)它進(jìn)行索引，超文本也可以是有結(jié)構(gòu)的。超文本數(shù)據(jù)庫必須支持基于鏈接的文檔檢索，以及根據(jù)文檔結(jié)構(gòu)對(duì)它進(jìn)行查詢的功能。R面向?qū)ο蟮臄?shù)據(jù)庫技術(shù)一、面向?qū)ο髷?shù)據(jù)模型面向?qū)ο髷?shù)據(jù)模型包括對(duì)象、類、繼承、對(duì)象標(biāo)識(shí)和對(duì)象包含這些方面的內(nèi)容。R面向?qū)ο蟮臄?shù)據(jù)庫技術(shù)對(duì)象在面向?qū)ο髷?shù)據(jù)模型中，一個(gè)對(duì)象可以看成是對(duì)應(yīng)的E-R模型中的一個(gè)實(shí)體。在對(duì)象結(jié)構(gòu)中封裝了這個(gè)對(duì)象的相關(guān)數(shù)據(jù)和代碼。它們是一個(gè)包含對(duì)象本身數(shù)據(jù)的變量集合，即對(duì)象的屬性、一個(gè)對(duì)象所響應(yīng)的消息的集合和一個(gè)方法的集合。R面向?qū)ο蟮臄?shù)據(jù)庫技術(shù)類一個(gè)類中的所有對(duì)象共享一個(gè)公共的定義，盡管它們對(duì)屬性所賦予的值不同或方法的具體實(shí)現(xiàn)上有不同。R面向?qū)ο蟮臄?shù)據(jù)庫技術(shù)繼承性面向?qū)ο蟮臄?shù)據(jù)模型中每個(gè)類可派生出它的子類，子類繼承父類的屬性和方法。父類中包含了共同的屬性和方法，子類中只定義屬于自己的屬性和方法，稱為類的繼承性。子類可以繼續(xù)派生自己的子類。而一個(gè)子類的父類也可以有幾個(gè)，它可以從每一個(gè)父類那里繼承公共的屬性，即為多重繼承。R面向?qū)ο蟮臄?shù)據(jù)庫技術(shù)對(duì)象標(biāo)識(shí)（ObjectIDentification,OID）在面向?qū)ο髷?shù)據(jù)庫系統(tǒng)中每一個(gè)對(duì)象都有一個(gè)唯一的標(biāo)識(shí)，稱作對(duì)象標(biāo)識(shí)。對(duì)象標(biāo)識(shí)用來識(shí)別不同的對(duì)象。一個(gè)對(duì)象始終保持自身的標(biāo)識(shí)不變，即使它的一些或全部屬性的值或方法的定義多次改變。在面向?qū)ο笙到y(tǒng)中使用的對(duì)象標(biāo)識(shí)不需要用戶定義標(biāo)識(shí)符，每個(gè)對(duì)象在創(chuàng)建時(shí)被系統(tǒng)自動(dòng)賦予一個(gè)標(biāo)識(shí)符。R面向?qū)ο蟮臄?shù)據(jù)庫技術(shù)R對(duì)象包含對(duì)象包含的并不是其它對(duì)象本身，而是這些對(duì)象的對(duì)象標(biāo)識(shí)，對(duì)象包含是通過對(duì)對(duì)象OID的引用來描述的。包含其他對(duì)象的對(duì)象稱為復(fù)雜對(duì)象或復(fù)合對(duì)象。可以存在多層包含，這樣就產(chǎn)生了對(duì)象間的包含層次（ContainmentHierarchy）。面向?qū)ο蟮臄?shù)據(jù)庫技術(shù)二、面向?qū)ο髷?shù)據(jù)庫系統(tǒng)中的程序設(shè)計(jì)語言在具體程序設(shè)計(jì)實(shí)現(xiàn)時(shí)有兩種不同的途徑：對(duì)象-關(guān)系系統(tǒng)，是通過增加復(fù)雜類型和面向?qū)ο蟮奶卣鱽頂U(kuò)展某種數(shù)據(jù)操縱語言（例如SQL），在關(guān)系系統(tǒng)上提供面向?qū)ο髷U(kuò)展的系統(tǒng)。R面向?qū)ο蟮臄?shù)據(jù)庫技術(shù)持久化程序設(shè)計(jì)語言，是一種合適的現(xiàn)有的面向?qū)ο蟮某绦蛟O(shè)計(jì)語言（例如C++和Smalltalk），在它基礎(chǔ)上擴(kuò)展數(shù)據(jù)庫功能，以便能對(duì)數(shù)據(jù)庫進(jìn)行處理。持久化的含義是從持久化的數(shù)據(jù)來的。持久化的數(shù)據(jù)是指數(shù)據(jù)庫語言所操縱的數(shù)據(jù)，這些數(shù)據(jù)即使在創(chuàng)建數(shù)據(jù)的程序已經(jīng)終止后它們?nèi)匀淮嬖凇面向?qū)ο蟮臄?shù)據(jù)庫技術(shù)傳統(tǒng)的面向?qū)ο蟮某绦蛟O(shè)計(jì)語言是不能操作任何持久化的數(shù)據(jù)的，它們所能直接操縱的唯一持久數(shù)據(jù)就是文件。在一個(gè)典型的面向?qū)ο蟮南到y(tǒng)中持久化程序設(shè)計(jì)語言是用以處理持久數(shù)據(jù)而擴(kuò)充了結(jié)構(gòu)的程序設(shè)計(jì)語言。在這種語言中，查詢語言和宿主語言完全集成，再不用進(jìn)行SQL語句的嵌入了。R面向?qū)ο蟮臄?shù)據(jù)庫技術(shù)在一個(gè)分布式數(shù)據(jù)庫中，一個(gè)應(yīng)用可以對(duì)其所需的數(shù)據(jù)進(jìn)行透明的操作，這些數(shù)據(jù)在不同的數(shù)據(jù)庫中分布、由不同的DBMS管理、在不同的機(jī)器上運(yùn)行、由不同的操作系統(tǒng)支持、被不同的通信網(wǎng)絡(luò)支持。一個(gè)客戶/服務(wù)器系統(tǒng)可以看作是一般分布式系統(tǒng)的一個(gè)簡單的特例。RP246分布式數(shù)據(jù)庫技術(shù)分布式數(shù)據(jù)庫技術(shù)分布式數(shù)據(jù)庫系統(tǒng)概述分布式數(shù)據(jù)存儲(chǔ)分布式數(shù)據(jù)的查詢處理分布式數(shù)據(jù)庫系統(tǒng)的事務(wù)處理數(shù)據(jù)對(duì)象的命名方式與目錄表的管理更新傳播R一、分布式數(shù)據(jù)庫系統(tǒng)概述一個(gè)分布式數(shù)據(jù)庫系統(tǒng)是由很多在物理位置上分開的地方上的數(shù)據(jù)庫系統(tǒng)通過通信網(wǎng)絡(luò)連接在一起的，在每一個(gè)地方上的數(shù)據(jù)庫系統(tǒng)本身是一個(gè)完整的數(shù)據(jù)庫系統(tǒng)，但是不同位置的數(shù)據(jù)庫可以協(xié)同工作，用戶可以通過分布式系統(tǒng)訪問到網(wǎng)絡(luò)上任何位置的數(shù)據(jù)庫中的數(shù)據(jù)，就好像是在本機(jī)上訪問一樣。R分布式數(shù)據(jù)庫系統(tǒng)概述目前最著名的分布式數(shù)據(jù)庫系統(tǒng)有以下三個(gè)：INGRES/STAR,INGRES的分布式數(shù)據(jù)庫組件；ORACLE的分布式數(shù)據(jù)庫可選組件（DISTRIBUTEDDATABASEOPTION）；DB2的分布式數(shù)據(jù)庫支持工具（DISTRIBUTEDDATAFACILITY）。這些系統(tǒng)都提供了建立在關(guān)系模型上、基于SQL的分布式數(shù)據(jù)處理的支持。R分布式數(shù)據(jù)庫系統(tǒng)概述無論是哪一種分布式數(shù)據(jù)庫系統(tǒng)，都應(yīng)該滿足一個(gè)最基本的要求：分布式數(shù)據(jù)庫系統(tǒng)應(yīng)該是在內(nèi)部層次上實(shí)現(xiàn)的，而不是在外部或者應(yīng)用程序?qū)哟螌?shí)現(xiàn)的，使用戶在使用分布式系統(tǒng)的時(shí)候，應(yīng)該完全感覺不到系統(tǒng)是分布的。從這個(gè)角度說，目前的客戶/服務(wù)器應(yīng)用系統(tǒng)只是一個(gè)能夠提供遠(yuǎn)程數(shù)據(jù)存取的系統(tǒng)。R分布式數(shù)據(jù)庫系統(tǒng)概述二、分布式數(shù)據(jù)存儲(chǔ)一個(gè)描述實(shí)際應(yīng)用系統(tǒng)中某個(gè)關(guān)系的表，在分布式數(shù)據(jù)庫中的存儲(chǔ)可以采用下述幾種方法：復(fù)制就是在一個(gè)分布式數(shù)據(jù)庫系統(tǒng)中維護(hù)一個(gè)關(guān)系表的幾個(gè)完全相同的副本，各個(gè)副本可以存儲(chǔ)在不同位置的節(jié)點(diǎn)上。分布式數(shù)據(jù)庫存儲(chǔ)R復(fù)制就是在一個(gè)分布式數(shù)據(jù)庫系統(tǒng)中維護(hù)一個(gè)關(guān)系表的幾個(gè)完全相同的副本，各個(gè)副本可以存儲(chǔ)在不同位置的節(jié)點(diǎn)上。R分布式數(shù)據(jù)庫存儲(chǔ)分片，是指為了應(yīng)用對(duì)數(shù)據(jù)物理存儲(chǔ)的需要，將給定的關(guān)系分成幾個(gè)小塊或片段，每個(gè)片段是一個(gè)邏輯上完整的數(shù)據(jù)庫的一個(gè)部分，各個(gè)片段存儲(chǔ)在不同的節(jié)點(diǎn)上。一般來說，一個(gè)分片可以由選擇操作和投影操作的任意組合來產(chǎn)生。這些操作都是由關(guān)系模型的關(guān)系操作來完成，所以我們說分布式數(shù)據(jù)庫是采用關(guān)系模型的。R分布式數(shù)據(jù)庫存儲(chǔ)分片的重要特性是分片要具有獨(dú)立性稱為分片透明性。分片透明性是指在邏輯上，用戶或應(yīng)用程序不必考慮關(guān)系的分片，用戶看到的是一個(gè)數(shù)據(jù)視圖，在這個(gè)視圖中各個(gè)分片是通過合適的連接和合并邏輯重新組合在一起的。分片的變化不會(huì)影響到用戶或應(yīng)用程序。R分布式數(shù)據(jù)庫存儲(chǔ)復(fù)制與分片相結(jié)合的方法就是將關(guān)系劃分為幾個(gè)片段，系統(tǒng)為每個(gè)片段維護(hù)幾個(gè)副本。也就是說，數(shù)據(jù)復(fù)制和數(shù)據(jù)分片技術(shù)可以用于同一個(gè)關(guān)系，分片可以被復(fù)制成幾個(gè)副本，而分片的副本又可以進(jìn)一步被分片。R分布式數(shù)據(jù)庫存儲(chǔ)三、分布式數(shù)據(jù)的查詢處理在集中式系統(tǒng)中，衡量某個(gè)優(yōu)化策略的基本準(zhǔn)則是磁盤的訪問量。而在一個(gè)分布式系統(tǒng)中優(yōu)化策略要綜合考慮磁盤開銷和網(wǎng)絡(luò)開銷問題。R分布式數(shù)據(jù)庫的查詢處理在分布式系統(tǒng)的查詢處理中原則上應(yīng)該：盡量減少對(duì)網(wǎng)絡(luò)的利用，即盡可能減少要傳送的數(shù)據(jù)信息的數(shù)量和大小。盡可能減少利用網(wǎng)絡(luò)，使我們?cè)谶M(jìn)行查詢優(yōu)化過程時(shí)要使查詢優(yōu)化進(jìn)程本身是分布的，查詢執(zhí)行的進(jìn)程也是分布式的。R分布式數(shù)據(jù)庫的查詢處理整個(gè)查詢優(yōu)化過程是由兩個(gè)步驟完成的：首先是參與查詢的各個(gè)地點(diǎn)上存在的數(shù)據(jù)庫對(duì)于查詢要求由一個(gè)位置上的數(shù)據(jù)庫做出全局優(yōu)化策略。然后才是參與查詢的各個(gè)地點(diǎn)上的數(shù)據(jù)庫中的本地優(yōu)化。R分布式數(shù)據(jù)庫的查詢處理在實(shí)際分布式數(shù)據(jù)庫系統(tǒng)中，為了提高查詢效率，減少數(shù)據(jù)傳輸?shù)臅r(shí)間，有些優(yōu)化策略還可以允許在兩個(gè)位置的數(shù)據(jù)庫系統(tǒng)中并行地進(jìn)行處理。為了提高查詢性能，在分布式系統(tǒng)中可以采用對(duì)查詢進(jìn)行轉(zhuǎn)換、進(jìn)行簡單的連接處理和半連接等策略。R分布式數(shù)據(jù)庫的查詢處理四、分布式數(shù)據(jù)庫系統(tǒng)中的事務(wù)處理代理：是指在一個(gè)分布式系統(tǒng)中，一個(gè)單獨(dú)的事物可以涉及多個(gè)位于不同位置的節(jié)點(diǎn)上的代碼的執(zhí)行，事務(wù)甚至可以對(duì)多個(gè)節(jié)點(diǎn)中的數(shù)據(jù)同時(shí)進(jìn)行修改。R分布式數(shù)據(jù)庫系統(tǒng)中的事務(wù)處理在分布式數(shù)據(jù)庫系統(tǒng)中每個(gè)事務(wù)都可以看作是由多個(gè)代理組成的，代理即是指在每一個(gè)節(jié)點(diǎn)上代表一個(gè)事務(wù)執(zhí)行的進(jìn)程。R分布式數(shù)據(jù)庫系統(tǒng)中的事務(wù)處理為了保證一個(gè)給定的事務(wù)（在分布式環(huán)境中，它是由不同節(jié)點(diǎn)上的代理組成的）在分布式環(huán)境中具有原子性，系統(tǒng)必須保證這個(gè)事務(wù)的所有代理要么全部一起提交，要么全部一起回滾，這在目前的系統(tǒng)中是采用兩階段提交協(xié)議（TwoPhaseCommitmentProtocol,2PC）來實(shí)現(xiàn)的。R分布式數(shù)據(jù)庫系統(tǒng)中的事務(wù)處理1.并發(fā)控制（1）封鎖協(xié)議分布式系統(tǒng)中的并發(fā)控制是基于封鎖的。網(wǎng)絡(luò)傳輸開銷問題在一個(gè)分布式系統(tǒng)中，設(shè)置、釋放封鎖的請(qǐng)求基本上是由網(wǎng)絡(luò)上傳送的消息完成的，而消息就意味著網(wǎng)絡(luò)上的傳輸開銷。R分布式數(shù)據(jù)庫系統(tǒng)中的事務(wù)處理解決辦法就是采用主副本策略。對(duì)一個(gè)給定的數(shù)據(jù)對(duì)象，擁有它的節(jié)點(diǎn)將處理所有有關(guān)該對(duì)象的封鎖操作。這樣針對(duì)封鎖而言，一個(gè)對(duì)象的所有副本的集合可以看作是一個(gè)單一的對(duì)象，而消息的總數(shù)也將減少到2N+3（一條封鎖請(qǐng)求、一條封鎖授權(quán)、N條修改消息、N條確認(rèn)消息和一條解鎖請(qǐng)求）。R分布式數(shù)據(jù)庫系統(tǒng)中的事務(wù)處理這種方案也會(huì)帶來一個(gè)問題，就是如果其中一個(gè)主副本不能被使用了，一個(gè)事務(wù)就會(huì)失敗，即使事務(wù)是只讀的而且有一個(gè)本地副本可用。R分布式數(shù)據(jù)庫系統(tǒng)中的事務(wù)處理鎖管理器的管理機(jī)制單一鎖管理器方式,是指每個(gè)系統(tǒng)選定一個(gè)節(jié)點(diǎn)（設(shè)為Si），只在這個(gè)節(jié)點(diǎn)上維護(hù)一個(gè)單一的鎖管理器。這種方式的優(yōu)點(diǎn)是實(shí)現(xiàn)簡單、對(duì)于死鎖的處理也比較簡單。缺點(diǎn)是節(jié)點(diǎn)Si容易成為瓶頸，另外若Si出現(xiàn)故障，則并發(fā)控制就不能實(shí)現(xiàn)了。R分布式數(shù)據(jù)庫系統(tǒng)中的事務(wù)處理多協(xié)調(diào)器的方式,可以在多個(gè)節(jié)點(diǎn)上設(shè)置鎖管理器。每個(gè)鎖管理器管理數(shù)據(jù)項(xiàng)封鎖和解鎖請(qǐng)求的一個(gè)子集，每個(gè)鎖管理器位于不同的節(jié)點(diǎn)上。這種方式可以避免瓶頸問題，但死鎖的處理變得復(fù)雜了。R分布式數(shù)據(jù)庫系統(tǒng)中的事務(wù)處理多數(shù)協(xié)議,每個(gè)節(jié)點(diǎn)維護(hù)自己的鎖管理器，這時(shí)的鎖管理器是負(fù)責(zé)管理存儲(chǔ)在該節(jié)點(diǎn)上的數(shù)據(jù)項(xiàng)的封鎖和解鎖請(qǐng)求。如果數(shù)據(jù)項(xiàng)在多個(gè)節(jié)點(diǎn)中存有副本，則封鎖請(qǐng)求必須送到存儲(chǔ)有該數(shù)據(jù)項(xiàng)副本的所有的節(jié)點(diǎn)中。R分布式數(shù)據(jù)庫系統(tǒng)中的事務(wù)處理這種方式以一種分散的方式處理數(shù)據(jù)的副本，可以避免集中控制的缺點(diǎn)。但是對(duì)于死鎖的處理更加復(fù)雜，尤為突出的一個(gè)問題是即使只有一個(gè)數(shù)據(jù)項(xiàng)被封鎖時(shí)也可能發(fā)生死鎖。可以對(duì)所有節(jié)點(diǎn)按照相同的預(yù)定順序請(qǐng)求數(shù)據(jù)項(xiàng)副本上的封鎖，以避免死鎖。R分布式數(shù)據(jù)庫系統(tǒng)中的事務(wù)處理有偏協(xié)議,類似多數(shù)協(xié)議。不同之處在于，共享鎖請(qǐng)求比排它鎖請(qǐng)求的實(shí)現(xiàn)要方便一些。系統(tǒng)同樣在每個(gè)節(jié)點(diǎn)上維護(hù)一個(gè)鎖管理器，鎖管理器管理存儲(chǔ)在該節(jié)點(diǎn)上的所有數(shù)據(jù)項(xiàng)上的鎖。R分布式數(shù)據(jù)庫系統(tǒng)中的事務(wù)處理主副本方式,是選擇一個(gè)副本作為主副本，對(duì)每個(gè)數(shù)據(jù)項(xiàng)而言它的主副本位于一個(gè)節(jié)點(diǎn)上，這個(gè)節(jié)點(diǎn)稱之為主節(jié)點(diǎn)。事務(wù)要對(duì)一個(gè)數(shù)據(jù)項(xiàng)封鎖時(shí)，只在該數(shù)據(jù)項(xiàng)所在的主節(jié)點(diǎn)上請(qǐng)求封鎖就可以了。但是當(dāng)主節(jié)點(diǎn)發(fā)生故障時(shí)，即使包含數(shù)據(jù)項(xiàng)的其它接點(diǎn)的副本是可用的，該數(shù)據(jù)項(xiàng)也不能被訪問了。R分布式數(shù)據(jù)庫系統(tǒng)中的事務(wù)處理（2）時(shí)間戳分布式系統(tǒng)是采用給每個(gè)事務(wù)一個(gè)唯一的時(shí)間戳的方式實(shí)現(xiàn)事務(wù)的可串行化的。在分布式系統(tǒng)中，產(chǎn)生唯一時(shí)間戳的方法有兩種:R分布式數(shù)據(jù)庫系統(tǒng)中的事務(wù)處理一種是集中式的，即由一個(gè)節(jié)點(diǎn)來分發(fā)時(shí)間戳的，這個(gè)節(jié)點(diǎn)可以利用一個(gè)邏輯計(jì)數(shù)器或自己本地的時(shí)鐘來達(dá)到這個(gè)目的。另一種是分布式的，每個(gè)節(jié)點(diǎn)利用邏輯計(jì)數(shù)器或本地時(shí)鐘產(chǎn)生唯一的局部時(shí)間戳，通過將唯一的局部時(shí)間戳和唯一的節(jié)點(diǎn)標(biāo)識(shí)符結(jié)合起來產(chǎn)生一個(gè)唯一的全局時(shí)間戳。R分布式數(shù)據(jù)庫系統(tǒng)中的事務(wù)處理（3）死鎖處理由于在分布式系統(tǒng)中事務(wù)的執(zhí)行是分布的，封鎖的方法會(huì)引起全局死鎖的問題，全局死鎖涉及兩個(gè)或兩個(gè)以上節(jié)點(diǎn)的死鎖。R分布式數(shù)據(jù)庫系統(tǒng)中的事務(wù)處理對(duì)于全局死鎖，采用任何一個(gè)節(jié)點(diǎn)的內(nèi)部信息來進(jìn)行死鎖檢測是無法檢測出來的。在實(shí)際分布式系統(tǒng)中，采用了其他的死鎖檢測方法，如超時(shí)機(jī)制，在這種機(jī)制中假設(shè)在預(yù)定時(shí)間內(nèi)不工作的事務(wù)發(fā)生了死鎖。R分布式數(shù)據(jù)庫系統(tǒng)中的事務(wù)處理2.恢復(fù)控制在分布式數(shù)據(jù)庫系統(tǒng)中，是采用兩階段提交協(xié)議完成恢復(fù)控制的。對(duì)于一個(gè)事務(wù)，系統(tǒng)要求對(duì)不同的獨(dú)立的分布的DBMS中的數(shù)據(jù)處理要么執(zhí)行提交（COMMIT）,要么執(zhí)行回滾（ROLLBACK），對(duì)一個(gè)DBMS執(zhí)行提交而對(duì)另一個(gè)DBMS執(zhí)行回滾是沒有意義的。R分布式數(shù)據(jù)庫系統(tǒng)中的事務(wù)處理

因此，事務(wù)需要發(fā)出一個(gè)全局范圍內(nèi)的提交或回滾。該全局范圍內(nèi)的提交或回滾由一個(gè)稱作協(xié)調(diào)者的系統(tǒng)部件控制，協(xié)調(diào)者保證參與事務(wù)的資源管理器（也稱作參與者）對(duì)它們各自的更新操作所作的提交或回滾是一致的，正是兩階段提交協(xié)議使協(xié)調(diào)者提供了這樣的保證。R分布式數(shù)據(jù)庫系統(tǒng)中的事務(wù)處理假設(shè)事務(wù)已完成數(shù)據(jù)處理過程，它將發(fā)出系統(tǒng)范圍內(nèi)的提交請(qǐng)求，對(duì)于兩階段提交協(xié)議，協(xié)調(diào)者在收到提交請(qǐng)求后將進(jìn)入以下兩個(gè)階段進(jìn)行處理：R分布式數(shù)據(jù)庫系統(tǒng)中的事務(wù)處理協(xié)調(diào)者要求所有的參與者做好準(zhǔn)備，即每個(gè)參與者必須將事務(wù)對(duì)本地資源的所有操作的日志登記選項(xiàng)強(qiáng)制寫入物理日志中。若成功寫入物理日志中，參與者將向協(xié)調(diào)者發(fā)出"準(zhǔn)備好"的響應(yīng)，否則發(fā)出"未準(zhǔn)備好"的響應(yīng)。R分布式數(shù)據(jù)庫系統(tǒng)中的事務(wù)處理(2)當(dāng)協(xié)調(diào)者收到來自所有參與者的響應(yīng)時(shí)，它將在自己的日志中登記其關(guān)于事務(wù)的決定，并將該記錄項(xiàng)強(qiáng)制寫入物理日志中。如果所有的響應(yīng)都是“準(zhǔn)備好”，其決定就是“提交”該事務(wù)；如果其中有一個(gè)響應(yīng)是“未準(zhǔn)備好”，其決定就是“回滾”該事務(wù)。R分布式數(shù)據(jù)庫系統(tǒng)中的事務(wù)處理接著協(xié)調(diào)者將向所有的參與者發(fā)出它的決定信息，每個(gè)參與者根據(jù)該決定對(duì)事務(wù)的本地代理進(jìn)行本地的提交或回滾，每個(gè)參與者必須在第二個(gè)階段完成協(xié)調(diào)者的提交或回滾的決定，而協(xié)調(diào)者日志中的記錄的事務(wù)決定的登記項(xiàng)指出了從階段一到階段二的轉(zhuǎn)變。R分布式數(shù)據(jù)庫系統(tǒng)中的事務(wù)處理當(dāng)參與者為本地代理完成提交或回滾操作后，還要向協(xié)調(diào)者發(fā)回一條“確認(rèn)”消息，表示事務(wù)的執(zhí)行完畢。當(dāng)協(xié)調(diào)者收到了所有的確認(rèn)信息后，整個(gè)兩階段提交的過程就結(jié)束了。R分布式數(shù)據(jù)庫系統(tǒng)中的事務(wù)處理如果系統(tǒng)在整個(gè)處理過程中出現(xiàn)了故障，重新啟動(dòng)系統(tǒng)后將在協(xié)調(diào)者的日志中查找事務(wù)決定的記錄項(xiàng)。如果找到該記錄，兩階段提交過程將從其被中止的那一點(diǎn)繼續(xù)執(zhí)行；如果沒有找到，系統(tǒng)將假設(shè)事務(wù)回滾，并完成相應(yīng)的回滾操作。R分布式數(shù)據(jù)庫系統(tǒng)中的事務(wù)處理在實(shí)際的分布式數(shù)據(jù)庫系統(tǒng)中，采用了一種兩階段提交協(xié)議的變形模式，稱為假想提交和假想回滾。R分布式數(shù)據(jù)庫系統(tǒng)中的事務(wù)處理假想提交的優(yōu)點(diǎn)在于:當(dāng)事務(wù)成功提交后可以減少所需的消息數(shù)量。假想回滾模式，則可以在當(dāng)事務(wù)不成功進(jìn)行回滾時(shí)減少所需的消息數(shù)量。R分布式數(shù)據(jù)庫系統(tǒng)中的事務(wù)處理五、數(shù)據(jù)對(duì)象的命名方式與目錄表的管理1、數(shù)據(jù)對(duì)象的命名方式在分布式數(shù)據(jù)庫中我們必須保證不同的節(jié)點(diǎn)上不會(huì)使用同一名字代表不同的數(shù)據(jù)對(duì)象。因此需要一種命名方法把用戶所知道的名稱映射成系統(tǒng)所知道的名稱。數(shù)據(jù)對(duì)象的命名方式與目錄表的管理R以R*系統(tǒng)為例討論這種命名方法。在R*系統(tǒng)中給一個(gè)數(shù)據(jù)對(duì)象一個(gè)外部名和一個(gè)系統(tǒng)名。外部名是用戶使用該對(duì)象時(shí)給出的名字，比如在SQL的SELECT語句中給出的數(shù)據(jù)表名就是該數(shù)據(jù)表的外部名。R數(shù)據(jù)對(duì)象的命名方式與目錄表的管理系統(tǒng)名是指數(shù)據(jù)對(duì)象的全局唯一內(nèi)部標(biāo)識(shí)。系統(tǒng)名由四個(gè)部分組成：數(shù)據(jù)對(duì)象的創(chuàng)建者的標(biāo)識(shí)數(shù)據(jù)對(duì)象創(chuàng)建者所在節(jié)點(diǎn)