1、元數(shù)據(jù)在數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)過(guò)程不同工具間的集成共享蘇家怡2004年 6月數(shù)據(jù)倉(cāng)庫(kù)之路原創(chuàng)資料一、 元數(shù)據(jù)概述元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù)。 應(yīng)用程序在正確訪(fǎng)問(wèn)、 操作處理和顯示數(shù)據(jù)時(shí)需要參考元數(shù) 據(jù)。元數(shù)據(jù)是對(duì)數(shù)據(jù)進(jìn)行統(tǒng)一管理的基礎(chǔ),是各種數(shù)據(jù)庫(kù)和應(yīng)用共享企業(yè)信息的關(guān)鍵。 把適當(dāng)?shù)脑獢?shù)據(jù)提供給適當(dāng)?shù)挠脩?hù), 對(duì)于數(shù)據(jù)倉(cāng)庫(kù)工作的成功是至關(guān)重要的。 在數(shù)據(jù)抽 取過(guò)程中, 元數(shù)據(jù)可以清楚地描述源數(shù)據(jù)庫(kù)、 應(yīng)用和其它數(shù)據(jù)源的來(lái)源、 位置、 種類(lèi)等信息, 同 時(shí) 也制定 數(shù)據(jù)的 流向 、數(shù)據(jù)的 轉(zhuǎn)換規(guī)則 、數(shù)據(jù) 目標(biāo) 和數(shù)據(jù)的版 本及 數(shù)據(jù)的描述信息等等。 數(shù)據(jù)倉(cāng)庫(kù) 系 統(tǒng)的建 設(shè) 過(guò)程 (從設(shè)計(jì)到發(fā)布 一 般涉及

2、有三個(gè)階段 :需 求 建 模 , ETL 開(kāi)發(fā) , 前 端 應(yīng)用 展 示。 以 目 前數(shù)據(jù)倉(cāng)庫(kù)的 技術(shù)現(xiàn)狀而言 ,在 上 述的 三個(gè)階段 中,需要 不同 的 廠(chǎng) 商 的各類(lèi)工 具 的 集 成一 起協(xié)同 工作, 完 成數(shù)據(jù)的抽取、 轉(zhuǎn)換 和 加載 , OLAP 分析 和數(shù)據(jù) 挖 掘 等。 與上 述 階段 對(duì)應(yīng)的數(shù)據(jù)倉(cāng)庫(kù)工 具大致 可 分為三 類(lèi) :建 模 工 具:數(shù)據(jù)庫(kù) 設(shè)計(jì) 和業(yè) 務(wù) 建 模 工 具 。 如 Sysbase 的 PowerDesigner , CA 的 Erwin 和 Rational 的 Rose 等 ;ETL 工 具:把業(yè) 務(wù)系 統(tǒng)中的數(shù)據(jù)抽取、 轉(zhuǎn)換 、清 洗到 數(shù)據(jù)倉(cāng)庫(kù)

3、中的工 具 。 如Informatica 的 PowerMart , Ascential 的 DataStage, SAS的 Data Builder.前 端展 示工 具:包括報(bào)表 , OLAP 分析 和 商 業(yè) 智能 工 具 等。 如 BRIO , BO ,Cognos 的 PowerPlay 等 ;在 擁有不同廠(chǎng)商 、 不同 功 能 和 不同 元數(shù)據(jù) 知識(shí) 庫(kù)的數(shù)據(jù)倉(cāng)庫(kù)的 環(huán)境下 , 如何 使 這些 工 具 有效 地 協(xié)同 工作 起 來(lái), 實(shí)現(xiàn)從 一種 產(chǎn)品獲得 元數(shù)據(jù), 映射到另外 一種 產(chǎn)品 中, 實(shí)現(xiàn)不同產(chǎn)品 之間 的元數(shù)據(jù) 同步 , 跨越不同環(huán)境 的元數(shù)據(jù) 能夠 共享 ? 能 迅速

4、收 集 、 傳播 知識(shí) , 然后通 過(guò) 這 些知識(shí) 的重 復(fù)利 用, 節(jié)省了 工作時(shí) 間 , 減少了 信息 交 流 成 本 ? 這些 對(duì)數(shù)據(jù)倉(cāng)庫(kù)過(guò)程 開(kāi)發(fā)實(shí) 施 的工作,對(duì) 后續(xù) 開(kāi)發(fā) 和 維護(hù) 等 都會(huì) 提供 很 大 的 幫助 。二、 元數(shù)據(jù)的獲得和使用元數(shù)據(jù)是 將 各類(lèi)工 具 連接 起 來(lái)的 “黏合劑” 。在 這 里我們主 要 介紹 數(shù)據(jù)倉(cāng)庫(kù) 系 統(tǒng)建 設(shè) 過(guò)程中元數(shù)據(jù)的 獲得 和使用 實(shí) 例 。 在 實(shí) 際 的 系 統(tǒng)中, 建 模 工 具 使用 Sybase 的 PowerDesigner , ETL 工 具 使用 Informatica 的 PowerMart ,前 端開(kāi)發(fā) 工 具 使

5、用 Brio 。2.1 元數(shù)據(jù)的獲得和使用項(xiàng) 目 中元數(shù)據(jù) 主 要 通 過(guò)以 下 途徑 獲得 和使用 步 驟 :1 在 項(xiàng) 目 的 邏輯 設(shè)計(jì)階段 ,使用 PowerDesinger 進(jìn)行需 求 建 模 , 構(gòu) 建數(shù)據(jù)倉(cāng)庫(kù) 模 型 的 結(jié)構(gòu) 和 定 義 , 包括 倉(cāng)庫(kù) 模 式 、 視圖 、 維 、 層次結(jié)構(gòu) ,數(shù)據(jù)類(lèi) 型 等,使用 特 定 業(yè) 務(wù) 相 關(guān)的 語(yǔ)義 來(lái) 定 義 業(yè) 務(wù)術(shù) 語(yǔ) ; 此 處 獲得 的 包括技術(shù) 元數(shù)據(jù)和業(yè) 務(wù) 元數(shù)據(jù)。 Sysbase 可 以把 這階段 收 集 的元數(shù)據(jù) 集 中 保存 到 自己 的一 個(gè)知識(shí) 庫(kù)中 (Repository ;2 在 ETL 的 開(kāi)發(fā)階段

6、 , 通 過(guò) Informatica PowerMart 的 Designer 設(shè)計(jì) 工 具 中的 Import From Database 功 能 可以 方便 獲 取 OLTP 數(shù)據(jù)源的元數(shù)據(jù) ; 此 處 獲得 的是 技術(shù) 元數(shù)據(jù)。 另外 可以 也 通 過(guò) Informatica 元數(shù)據(jù) 導(dǎo)入 工 具 (Metadata Exchage 把 存儲(chǔ) 在 Sysbase 的 知識(shí) 庫(kù)中的 目標(biāo) 數(shù)據(jù)倉(cāng)庫(kù)元數(shù)據(jù) 寫(xiě)入 Informatica 的元數(shù)據(jù)的 知識(shí) 庫(kù)中, 并通 過(guò) Infor matica 的 Designer 設(shè)計(jì) 工 具 進(jìn)行關(guān) 系映射 , 獲 取 目標(biāo) 庫(kù)的數(shù)據(jù) 結(jié)構(gòu) 和 定 義

7、 , 以 實(shí)現(xiàn)產(chǎn)品間 元數(shù)據(jù)的信息 同步 。 此 處 獲得 的是 技術(shù) 元數(shù)據(jù)和業(yè) 務(wù) 元數(shù)據(jù)。3 通 過(guò) PowerMart Designer定 義 數(shù)據(jù)的 映射 、 轉(zhuǎn)換規(guī)則 , 此 處 為技術(shù) 元數(shù)據(jù) ;4 通 過(guò) PowerMart Server Engine定 義所 有定 義 的數(shù)據(jù) 轉(zhuǎn)換 清 洗 的 調(diào)度 規(guī)則 , 此 處 為 操作元數(shù)據(jù) ;上 述 2 , 3 , 4步 收 集 的元數(shù)據(jù) 會(huì)保存 在 Informatica 的元數(shù)據(jù)的 知識(shí) 庫(kù)中, 它在關(guān) 系 型 的數(shù)據(jù)庫(kù)中建 立了 一 系 列 用作元數(shù)據(jù)管理的 表 , 利 用元數(shù)據(jù)來(lái) 驅(qū)動(dòng) 數(shù)據(jù) 的 整合 過(guò)程。 通 過(guò) 該 產(chǎn)

8、品 的 相 關(guān) 組 件來(lái) 瀏覽 和管理 知識(shí) 庫(kù)中 所 有 的元數(shù)據(jù)。 由 于 Informatica 的元數(shù)據(jù)的 知識(shí) 庫(kù)中是建 立 在 開(kāi) 放 的關(guān) 系 數(shù)據(jù)庫(kù)中, 這 時(shí) 我們編寫(xiě) 程序, 使用 SQL 或動(dòng)態(tài) SQL , 通 過(guò) ODBC 或 JDBC 等來(lái)訪(fǎng)問(wèn) 相 關(guān)的元數(shù)據(jù)。5 在前 端 應(yīng)用 開(kāi)發(fā)階段 , 通 過(guò) Brio 前 端 工 具 來(lái)訪(fǎng)問(wèn)元數(shù)據(jù), 從而 屏蔽 業(yè) 務(wù) 人員 對(duì)數(shù) 據(jù)庫(kù) 物 理 結(jié)構(gòu) 的理 解 , 讓 業(yè) 務(wù) 人員 可以 根 據(jù) 自己 熟悉 的業(yè) 務(wù)術(shù) 語(yǔ) 來(lái)操 縱 數(shù)據(jù)倉(cāng)庫(kù)中 的數(shù)據(jù)。 此 處 獲得 是 為 業(yè) 務(wù) 元數(shù)據(jù) ; 通 過(guò) Brio 可以訪(fǎng)問(wèn)

9、存儲(chǔ) 在 Informatica 的元數(shù)據(jù) 的 知 識(shí) 庫(kù) 中 的 業(yè) 務(wù) 元 數(shù) 據(jù) 和 技 術(shù) 元 數(shù) 據(jù) 。 Brio 為 元 連 接 向 導(dǎo) 添 加 OEM Informatica MX (Meta eXchange 元 定 義 以訪(fǎng)問(wèn)在 Oracle , DB2, SQL SERVER , Sybase 等數(shù)據(jù)庫(kù)的基礎(chǔ) Informatica 知識(shí) 庫(kù)的共享庫(kù)。2.2 元數(shù)據(jù)使用實(shí)例在 POWER DESIGNER 中建 立 數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù) 模 型 。 根 據(jù)業(yè) 務(wù)分析 需 求 , 進(jìn)行建 模; 建 立 數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù) 模 型 (星 型結(jié)構(gòu) ; 把 設(shè)計(jì)完 成的數(shù)據(jù) 模 型 的 保存

10、 到 SYSBASE 的 REPOSITORY 中 ; 圖 11、建立源和目標(biāo)INFOMA TICA 的 POWERMART DESIGNER提供 了 數(shù)據(jù) 結(jié)構(gòu) 的提取 , 裝 載 程序, 能 夠 自動(dòng) 地 將 業(yè) 務(wù) 源數(shù)據(jù)庫(kù)中的各 表 的數(shù)據(jù) 結(jié)構(gòu) (如 字 段 名 , 字 段 類(lèi) 型 , 數(shù)據(jù)描述信息等 傳 遞 到 DESIGNER 中 ;這 就避免 了 重 復(fù) 輸 入結(jié)構(gòu) 和 維護(hù)結(jié)構(gòu) 的工作,對(duì)數(shù)據(jù) 結(jié)構(gòu) 的 轉(zhuǎn) 換 保 證 了 一 致 性 與 可 靠性 。另外 我們 可以 利 用 INFORMA TICA MA TADA TE EXCHANGE 工 具 把建 模 工 具 (POW

11、ERDESIGNER 保存 的 知識(shí) 庫(kù)中的元數(shù)據(jù)信息來(lái)建 立 數(shù)據(jù)抽取 轉(zhuǎn)換 過(guò)程中的元 數(shù)據(jù),把數(shù)據(jù) 模 型 的元數(shù)據(jù) 倒 入 Informatica 的 知識(shí) 庫(kù)中 保存 ;如 圖 2: 圖 2讀 取 Informatica 知識(shí) 庫(kù)中 目標(biāo) 區(qū)域 的數(shù)據(jù) 模 型 。 如 圖 3:圖 32、使用 Powermart 產(chǎn)品 建 立 這個(gè) 銷(xiāo)售 主 題 的 整 個(gè) ETL 過(guò)程 ; 圖 4使用前 端 工 具如 BRIO 來(lái) 展 示數(shù)據(jù)時(shí), 幫助 用戶(hù) 了解 數(shù)據(jù)倉(cāng)庫(kù)中 有 什么樣 的數(shù)據(jù), 按 商 業(yè)用 語(yǔ) 的 習(xí)慣 來(lái)使用數(shù)據(jù)。1 首 先 建 立 一 個(gè) 與 INFORMA TICA 的 知 識(shí) 庫(kù) 的 連 接 inforep.oce ; 筆 者 的 INFORMA TICA 的 知識(shí) 庫(kù)是建 立 在 SQLSERVER2000上 的。 如:ODBC SQLSERVER2000 2 再 建 立 一 個(gè)與目標(biāo) 數(shù)據(jù)庫(kù) (testtgt 的一 個(gè) 連接 文件 (tbc_testtg.OCE , 利 用 INFORMATICA 的 知識(shí) 庫(kù)中的元數(shù)據(jù)來(lái) 幫助 用戶(hù)使用 該 數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù) ; 3 使用元數(shù)據(jù)的 連接 文件 : 4 選擇 INF