商務智能開發實例課件_第1頁
商務智能開發實例課件_第2頁
商務智能開發實例課件_第3頁
商務智能開發實例課件_第4頁
商務智能開發實例課件_第5頁
已閱讀5頁,還剩139頁未讀 繼續免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

第9章數據倉庫開發實例

9.1基于商務智能的超市營銷系統規劃與分析9.2商務智能開發工具簡介

9.3SQLServer的數據倉庫創建9.4SQLServer數據倉庫事實表與多維數據集的建立第9章數據倉庫開發實例9.1基于商務智能的超市營銷系統規1第9章數據倉庫開發實例

通過本章學習,可以了解:超市銷售商務智能規劃與需求分析;超市銷售數據倉庫的邏輯模型設計;SQLServer的商務智能開發工具;SQLServer事實表的建立;SQLServer的多維數據集的建立;第9章數據倉庫開發實例通過本章學習,可以了解:29.1基于商務智能的超市營銷系統規劃與分析

某大型連鎖超市的業務涵蓋于3個省范圍內的1000多家門市。每個門市都有較完整的日用品和食品銷售部門,包括百貨、雜貨、冷凍食品、奶制品、肉制品和面包食品等,大約5萬多種,其中大約45000種商品來自外部生產廠家,并在包裝上印有條形碼。每個條形碼代表了唯一的商品。為該超市建立一個能夠提高市場競爭能力的數據倉庫,首先需要進行數據倉庫的規劃分析。這就涉及到對數據倉庫的需求分析、模型構建兩個過程。9.1基于商務智能的超市營銷系統規劃與分析某大型連鎖超市的39.1.1超市銷售商務智能的需求分析

1超市營銷售策略分析超市最高層管理所關注的是如何通過商品的采購、儲存與銷售,最大限度地獲取利潤。需要通過加強對每種商品的管理,減低商品的采購成本和管理費用,吸引盡可能多的客戶。其中最重要的是關于商品促銷的管理決策。需要依靠合適的促銷活動,應用適當的促銷策略針對合適的客戶,以增加超市的銷售利潤,是超市數據倉庫建設的基本需求。超市不同商品的銷售利潤是有差別的。希望在數據倉庫中通過對商品的贏利分析,了解不同商品的銷售贏利狀態,以確定企業的銷售重點,對那些可以為企業帶來較大贏利的商品加大促銷力度。9.1.1超市銷售商務智能的需求分析1超市營銷售策略分析42超市商品庫存分析超市商品的庫存狀況對超市的利潤具有巨大的影響。超市如果能夠在合適的時候銷售合適的商品,在不出現脫銷的情況下盡可能減少商品庫存的庫存成本,是超市商品庫存分析的主要目的。在商品庫存分析中,管理人員還經常要根據商品的庫存量和商品庫存成本確定商品的銷售價格。從超市的商品庫存情況來看,庫存分析實質上是對超市的價值鏈進行分析,分析商品庫存在超市的整個價值鏈上所發揮的作用。9.1.1超市銷售商務智能的需求分析

2超市商品庫存分析9.1.1超市銷售商務智能的需求分析53超市商品采購分析超市在商品采購工作中需要分析哪些商品是熱銷的商品,盡可能采購銷售熱銷商品。熱銷商品往往是加快企業資金流動的動力,快速流動的資金可以使企業在一定的時間內取得比其他企業更多的利潤。而且超市營銷管理人員在了解熱銷商品后,可以大量采購熱銷商品,重新安排熱銷商品的貨架,向更多的客戶推銷熱銷商品,便于更多客戶的購買,以進一步加快企業資金的流動。9.1.1超市銷售商務智能的需求分析

3超市商品采購分析9.1.1超市銷售商務智能的需求分析64超市客戶關系分析用90:20理論分析,占企業客戶群20%左右的客戶購買金額往往占據了企業銷售金額的90%。對客戶群體的劃分有利于企業了解企業的主要客戶群體狀況、主要客戶群對企業銷售服務的需求狀況、不同客戶群為企業所帶來的利潤狀況。在對客戶進行類型劃分的基礎上,可以針對不同客戶群體的特點采用不同的營銷策略,對客戶群體的消費進行合理的引導。超市客戶的流失,意味著企業贏利的降低。企業管理者希望了解哪些客戶可能會流失,使企業能夠提前設法加以挽留。9.1.1超市銷售商務智能的需求分析

4超市客戶關系分析9.1.1超市銷售商務智能的需求分析79.1.2超市營銷數據倉庫E-R模型構造數據倉庫設計中就首先考慮營銷主題的設計,確定超市營銷主題模型

采用了星型模型,沒有采用雪花模型。因為雪花模型通過對維表的分類細化描述,對于主題的分類詳細查詢具有良好的響應能力。但是雪花模型的構造在本質上是一種數據模型的規范化處理,會給數據倉庫操作帶來不同表的連接困難。但是在對維度表進行維護時,可能需要對大量重復值進行修改。星型模型通過對維表的冗余應用,以犧牲維表空間來換取數據倉庫的高性能與易使用的優勢。

9.1.2超市營銷數據倉庫E-R模型構造數據倉庫設計中就8日期商品促銷客戶門市商品營銷9.1.2超市營銷數據倉庫E-R模型構造日期商品促銷客戶門市商品營銷9.1.2超市營銷數據倉庫E99.1.3超市數據倉庫事實表模型確定在數據倉庫中,怎樣的粒度數據才能滿足管理人員對數據倉庫營銷策劃分析的需要。超市商品銷售主題中,最理想的原子數據是來自POS機上的每個銷售事務數據分析超市高層管理人員通過那些角度,即需要通過那些維度來考察、選擇營銷方案。一般情況下,在確定超市營銷策劃時,超市管理人員需要通過日期、商品、門市、促銷和客戶五個維度對促銷方案進行分析,了解促銷方案的可用性和效果9.1.3超市數據倉庫事實表模型確定在數據倉庫中,怎樣的10超市營銷數據倉庫事實表模型

超市營銷主題日期關鍵字門市關鍵字商品關鍵字促銷關鍵字商品銷售編號商品銷售量商品銷售額商品成本商品銷售利潤日期維日期關鍵字商品維商品關鍵字門市維門市關鍵字促銷維促銷關鍵字客戶維客戶關鍵字超市營銷數據倉庫事實表模型超市營銷主題日期維商品維門市維促11超市營銷數據倉庫事實表模型

從銷售系統中可直接獲取商品銷售量、銷售單價、商品成本。但管理人員考察超市的營銷策略時,需要考慮營銷策略和相應的商品銷售利潤。商品銷售利潤可以直接通過商品銷售量、銷售單價和商品成本計算獲得,但商品銷售利潤具有良好的可加性,管理人員又經常需要查看。將利潤數據存放在事實表中可大大減少數據倉庫工作時的工作量,還可以保證所有用戶在使用商品銷售利潤這一重要數據時的一致性。商品銷售單價對于計算商品利潤十分重要,但將某個商品一段時間內的所有銷售單價相加是毫無意義的。管理人員可能只對某一時間段內某個商品的平均銷售價感興趣。平均銷售價格可以用該時間段內的商品銷售額除以商品銷售量獲取。在事實表中可以不用商品銷售單價,代之以商品銷售額,銷售額也常常是管理人員衡量營銷策略好壞的重要指標。超市營銷數據倉庫事實表模型從銷售系統中可直接獲取商品銷售量12超市營銷數據倉庫事實表模型

超市管理者還可能對商品銷售的利潤率感興趣,該數據可以用商品銷售利潤除以銷售額獲得,該數據不是一個可加數據。將比率或百分數的數據進行相加,所獲得的數據是沒有什么意義的。管理人員在了解某一時期某些商品的利潤率時,完全可以利用該時期該商品利潤和銷售額獲得。因此,事實表中確定度量數據為商品銷售量、商品銷售額、商品成本和商品銷售利潤。超市營銷數據倉庫事實表模型超市管理者還可能對商品銷售的利潤139.1.4超市營銷系統數據倉庫維模型設計1.日期維日期維模型是許多數據倉庫應用中的常用維度,其設計方式與其他多數維模型有差別。具體設計時,日期維可以存放以日期表示的5到10年的數據行,也可以將3至4年的數據行作為日期維內容。如果對10年的每一天都進行存儲,也只需要3650行

日期維的每列由行所代表的特定日期進行定義。“星期”列含有像“星期一”這樣的名稱內容,該列可用于創建比較“星期一”與“星期日”銷售情況對比的查詢。日歷日期編號從1開始取值,然后根據月份的情況取到29、29、30或者31,這一列主要用于對每個月的同一天進行比較。同樣,可以給出日歷周編號、和日歷月編號(1,…,12)。9.1.4超市營銷系統數據倉庫維模型設計1.日期維14紀元表示法采用從某紀元開始連續對日期進行計數的方法來給出日編號,在表中還可以給出“星期”與“月份”的絕對編號列。這些數據支持跨年度跨月份的簡單數據運算。在生成報表時,經常要給出像“一月”這樣的月份名稱。因此,為報表確定一個“年月”(YYYY-MM)列標題也有必要。報表中很可能需要季度編號(Q1,…,Q4)或年季度編號列。如果企業的財政年度與日歷表在周期上不一致,還需要為財政年度給出類似列。在“節假日”列中給出“節假日”或者“非節假日”的內容,維表屬性作為數據分析的導航,簡單地在“節假日”列中給出“Y”或者“N”對數據分析沒有多大用處。例如,在生成某種商品的節假日與非節假日銷售情況比較查詢時,列中給出“節假日”或者“非節假日”這樣有意義的值要比一個簡單的“Y”或者“N”之類的值有用得多。9.1.4超市營銷系統數據倉庫維模型設計紀元表示法采用從某紀元開始連續對日期進行計數的方法來給出日編15“星期六”與“星期日”要歸入“周末”之列。當然,可以對多個日期表屬性進行共同約束,從而能夠實現一些像平日假期銷售與周末假期銷售進行比較的數據倉庫應用。“銷售時節”列應設置為銷售時節的名稱,例如,春節、情人節、端午節、五一節、國慶節、中秋節、重陽節、圣誕節、或者標為“不是”。“重大事件”列與“銷售時節”列情形類似,可以標記為“周日大采購”或者“中秋合家歡”這樣與日期有特殊聯系的促銷事件。而一般性的促銷活動通常不放在日期表中處理,以促銷維表的形式進行更加完整的描述。因為促銷事件并不是僅僅由日期來定義,通常還需要由日期、商品與商店的組合來定義。9.1.4超市營銷系統數據倉庫維模型設計“星期六”與“星期日”要歸入“周末”之列。當然,可以對多個日16日期維度銷售事實日期關鍵字日期關鍵字星期商品關鍵字日歷日期編號門市關鍵字日歷周編號促銷關鍵字日歷月編號客戶關鍵字紀元日編號POS事務編號紀元周編號銷售量紀元月編號銷售額財政月日編號成本額年度日歷周數利潤金額年度日歷月數日歷年月(YYYY-MM)日歷季度日歷年季度日歷半年度日期維度銷售事實日期關鍵字日期關鍵字星期商品關鍵字日歷日期編17日歷年財政周年度財政周數財政月年度財政月數財政年月財政季度財政年季度財政半年度財政年節假日指示符星期指示符銷售時節重大事件……日歷年財政周年度財政周數財政月年度財政月數財政年月財政季度財182.商品維一般超市門市可能存儲60000個商品編號,但大型連鎖超市保留不再銷售的歷史商品營銷方案情況,商品維度可能至少需要150000行乃至多達百萬行。

商品維度數據主要來源于業務系統的商品主文件。超市總部對所銷售商品的主文件進行統一管理。商品主文件的一個重要作用,就是維護每個商品存儲標志的許多描述屬性。商品維是一組重要的屬性。某個商品種類包含多個商品子類,商品子類包含多個商標,商標包含多個商品存儲標志。還應包含描述商品形狀或存儲位置的層次屬性,例如商品的包裝類型、包裝尺寸、包裝數量、托盤中的包裝數,以及與商品存儲的層次:存儲類型、貨架結構等維度。9.1.4超市營銷系統數據倉庫維模型設計2.商品維9.1.4超市營銷系統數據倉庫維模型設計193.門市維門市維表用于描述超市的各個鏈鎖店。門市維表是基本的地理維度,每個門市可被看成一個位置。這樣,可以由門市形成諸如街道、郵政編碼、縣、市、省這樣的任意地理屬性。地理體系與門市地區體系對每個門市來說,都有良好的定義。在連鎖超市所使用的門市維表中有建筑面積、金融服務、最早開業時間等描述特定門市的文字描述。描述銷售面積的列應該是數字型的,并且在理論上是跨門市可相加的,以表示某一地區的銷售面積。它是門市的一個不變屬性,通常作為報表約束或者行標題使用。而且為了能夠分析不同種類商品對超市銷售利潤的貢獻情況,還需要設立不同商品的銷售面積。9.1.4超市營銷系統數據倉庫維模型設計3.門市維9.1.4超市營銷系統數據倉庫維模型設計204.促銷維超市的促銷方案可能包含:臨時降價、柜臺展銷、報紙廣告與優惠券發放等。促銷維應該可以反映商品促銷方案的成效。促銷的成效評估因素:促銷商品的銷售是否在促銷區間出現增長、是否在促銷進行之前或者隨后出現減少狀況;是否發生促銷商品的銷售出現增長,而臨近貨架上的其他商品銷售卻呈現出相應的降低情況(同類相食);促銷類別中所有商品的銷售是否都經歷了一個實際的總體增長;促銷是否贏利。促銷利潤的計算要考慮促銷類別的利潤增量與時間過渡、同類調劑以及銷售底線等各種情況。9.1.4超市營銷系統數據倉庫維模型設計4.促銷維9.1.4超市營銷系統數據倉庫維模型設計214.促銷維在促銷維度中為促銷出現的每種組合都建立一行記錄是很有意義的。在一年的銷售活動中,可能出現1000個廣告,5000次臨時降價和1000次柜臺展銷,但可能只有10000個組合促銷能影響任何特定的商品。例如,在某給定維度中,大多數門市都會同時運作所有促銷售手段,而只有少數幾個門市不進行柜臺展銷。在這種情況下,就需要兩個單獨的促銷記錄行,一個用于通常的降價并外加廣告與柜臺展銷,而另一個用于降價并外加單純的廣告。超市的促銷維度可以包含促銷名稱、減價類型、促銷媒體類型、廣告類型和優惠券類型等。超市的主要促銷方式是降價、廣告、柜臺展銷與優惠券。如果將這些因素分別建立促銷維度,就可以記錄分析這些促銷方法非常相似的信息,使用戶更加容易理解促銷方案的作用。但是將所有的促銷因素合并在一個維表中,則能夠方便用戶的瀏覽,能夠弄清各種不同的價格降低、廣告、展銷與優惠券是如何在一起共同發揮促銷作用的。9.1.4超市營銷系統數據倉庫維模型設計4.促銷維9.1.4超市營銷系統數據倉庫維模型設計225.客戶維超市的客戶維度可以包含客戶賬號、姓名、地址、所在地區、郵政編碼、電子信箱、電話、日常活動范圍、出生日期、收入、孩子數量、住房和汽車等內容。在客戶維中的地址由于客戶可能會給出其家庭地址、工作地址或其它一些常用地址,因此在維表中可以設置4個地址,對于電話的設置也是出于相同因素的考慮。在數據倉庫的應用中有時需要對客戶按照不同的地區進行分析,為此,在維表中就按照省、市、縣(區)郵政編碼進行地區的設置。性別、婚姻狀況、家庭人口、住房條件和自有汽車情況均是超市銷售管理人員對超市營銷策略進行分析的主要依據。出于超市營銷策略制定的考慮,還需要了解客戶的日常活動范圍,以便有針對性地進行促銷廣告的發送。9.1.4超市營銷系統數據倉庫維模型設計5.客戶維9.1.4超市營銷系統數據倉庫維模型設計239.1.5超市數據倉庫模型的關鍵字設計采用代理關鍵字技術,而不是依賴業務系統中的各種關鍵字(許多業務系統中的各種編碼往往具有某種特定的含義)代理關鍵字一般采用在填充維度時按需要而順序分配的整數值。例如,為第一條商品記錄分配一個值為1的商品代理關鍵字,第二條分配2,第n條分配n等。代理關鍵字僅僅用于維度表到事實表的連接。

代理關鍵字的好處還能夠對數據倉庫環境的操作型變化進行緩沖,不會受到商品編碼生成、更新、刪除、再生與重用等操作型規則的妨礙。代理關鍵字允許數據倉庫對來自多個業務型系統的數據進行合并,即使它們之間缺乏一致的源關鍵字也無所謂。9.1.5超市數據倉庫模型的關鍵字設計采用代理關鍵字技術249.1.5超市數據倉庫模型的關鍵字設計使用代理關鍵字還可以獲得性能上的優勢。代理關鍵字可能只有一個整數所占據的空間大小,卻能確保充裕地容納維度行以后可能需要的序號或者最大編號。而業務型編碼常常是一個混合了字母與數字的區間編碼體系。代理關鍵字還能夠用于記錄那些諸如“不在促銷之列”這樣的可能沒有業務系統中編碼的維度情形。通過對數據倉庫的關鍵字施加控制,就能夠做到不管是否缺少業務型編碼,總可以分配一個代理關鍵字將這類情況標識出來。將代理日期關鍵字處理成日期序號,可以允許事實表在日期關鍵字基礎上進行物理分區。9.1.5超市數據倉庫模型的關鍵字設計使用代理關鍵字還可259.1.5超市數據倉庫模型的關鍵字設計目前在超市數據倉庫中已經包含了6個實際的表:營銷事實表與日期、商品、門市、促銷和客戶維表。每個維表有一個主關鍵字,而事實表除了有一個退化的銷售事務編號之外,還有由五個外關鍵字組成的一個復合關鍵字。如果五個關鍵字都是進行了緊湊處理的連續整數,那么僅僅需要為所有五個關鍵字保留19個字節的小存儲空間(日期、商品、促銷和客戶維各用4個字節,而門市用2個字節)。同時,銷售事務編號可能另外需要9個字節。如果事實表4類事實(銷售量、銷售額、成本和利潤)中的任何一個都是4字節的整數,則僅僅需要再保留另外的16個字節,這樣事實表只有42個字節寬。對一個10億行的事實表也只占用大約42GB的存儲空間就可以存儲所有事實數據。9.1.5超市數據倉庫模型的關鍵字設計目前在超市數據倉庫269.1.6超市數據倉庫元數據設計銷售主題元數據名稱Sales描述整個超市中每個門市中每個POS機所記載的商品銷售狀況目的用于進行超市銷售狀況和促銷情況的分析聯系人各個門市銷售經理維時間、商品、客戶、商店、促銷事實銷售事實表度量值銷售成本、銷售額、銷售利潤、銷售量9.1.6超市數據倉庫元數據設計銷售主題元數據名稱Sa27銷售事實元數據名稱Sales_Fact_年份描述記錄每個門市每個POS機所發生的銷售數據目的作為銷售主題的分析事實使用狀況每天平均查詢次數每天平均查詢返回行數每天查詢平均執行時間(分鐘)每天最大查詢次數每天查詢返回最大行數每天查詢最大執行時間(分鐘)存檔規則每個月將前36個月的數據存檔存檔狀況最近存檔處理日期已經存檔數據日期更新規則每個月將前60個月的數據從數據倉庫中刪除更新狀況最近更新處理日期已更新數據日期銷售事實元數據名稱Sales_Fact_年份描述記錄每個門市28銷售事實元數據數據質量要求及確認由于從各個門市POS機上所產生的數據可能會由于極少的人工輸入,而使數據質量不能得到保證,但也真實地反映了銷售現狀,不能隨意修改,應被認可。數據準確性要求必須百分百地反映各個門市銷售狀況數據粒度要求能夠反映每一項商品的銷售狀況,不對數據進行匯總表鍵事實表的鍵是時間、商品、客戶、商店和促銷維中鍵的組合數據來源超市銷售業務系統中的銷售表(sales_fact_年份)加載周期每天一次加載狀況最后加載日期加載的行數加載規則每天清晨3:00將各個超市門市中前一天的銷售事實數據拷貝到本表,拷貝過程中要根據各個數據成員所定義的加載規則進行篩選和清理銷售事實元數據數據質量要求及確認由于從各個門市POS機上所產29維元數據名稱客戶(Customer)定義從超市任何一個門市購買貨物的任何個人或組織都稱為客戶,一個客戶可以與多個銷售地區發生聯系(即出現在地理維的不同層次體系中)層次結構一個客戶的數據可以在3個級別上進行統計:最低級別是出現在客戶所在的縣/區,其上為市、省更改規則新的客戶位置作為新的一行插入維中。對已有位置的修改,則在原處更新加載頻率每天一次加載統計數據最后加載日期加載的行數使用的統計數據每天平均查詢個數每天查詢返回的平均行數每天查詢平均執行時間(分鐘)每天最大的查詢個數每天查詢返回的最大行數每天查詢執行的最長時間(分鐘)維元數據名稱客戶(Customer)定義從超市任何一個門市30維元數據存檔規則每個月將前36個月的數據存檔已經存檔數據日期更新規則每個月將前60個月的數據從數據倉庫中刪除更新狀況最近更新處理日期已經更新數據日期數據質量增加一個新客戶時,先檢查是否已在其他地方和該客戶做過交易。少數情況下,由于檢查失敗,會將一個客戶的不同部門作為不同客戶保存。直到客戶注意到在不同的地方與公司交易時,以前的記錄仍保持不變。地區屬性并不是銷售業務系統原有的,而是根據送貨地址屬性中的郵政編碼進行區分數據的準確程度一個客戶與其地理位置的關聯出錯的可能性在某一百分比以下,該百分比大小要根據對業務數據的研究情況確定關鍵字客戶維的關鍵字是系統產生的數字維元數據存檔規則每個月將前36個月的數據存檔已經存檔數據日31維元數據產生關鍵字的方法從銷售業務系統中拷貝一個客戶時,將檢查轉換表,檢查該客戶是否已經存在于數據倉庫中。如果否,就產生一個新的關鍵字。然后將這個關鍵字和銷售業務系統中的Custom~ID和地區ID插入轉換表中。如果該客戶和位置已經存在于轉換表,就根據表中的關鍵字決定數據倉庫中要更新的記錄源表名稱超市銷售業務系統中的Customer表加載規則每天拷貝每個Customer表中的行。對于已存在的客戶,進行更新。對于新客戶,確定其所在地理位置之后,產生一個關鍵字,然后插入一行新記錄。在更新/插入操作之前,需要檢查是否有重復的客戶名。如果有,則在客戶名后增加一個順序號,直到名字以及名字和順序號的組合都沒有重復為止。加載規則只選擇新的和發生變化的行源表名稱Customer_Location表轉換規則每天拷貝一次Customer_Location表。對于已存在的客戶,更新其送貨地址;對于新的客戶,則產生一個鍵,并插入一行。維元數據產生關鍵字的方法從銷售業務系統中拷貝一個客戶時,將32數據成員元數據名稱客戶關鍵字(Customer_ID)定義用以唯一標識客戶和位置的值更新規則一旦分配,就不改變數據類型數值型值域1—999,999,999產生規則由系統自動產生,將當前最大值增l來源系統自動生成數據成員元數據名稱客戶關鍵字(Customer_ID)定義33數據成員元數據名稱客戶名稱(Customer_Name)定義客戶的名稱更新規則客戶名稱發生改變時,就在原來的記錄上更新數據類型Char(30)值域保證能區分不同客戶的名稱。對不同而具有相同名稱的客戶,可在名稱后依次加1來區分相同名稱來源超市銷售業務系統中Customer表中的Name產生規則對于零售客戶,其名稱由姓和名組成。對于公司,則將公司名作為客戶名稱數據成員元數據名稱客戶名稱(Customer_Name)定349.2商務智能開發工具簡介9.2.1數據倉庫開發工具目前已有許多數據倉庫開發工具供應商,可以提供各種構建數據倉庫的工具。但有些數據倉庫開發工具還要結合第三方供應商工具才能完成整個數據倉庫的構建。1.Oracle商務智能開發工具Oracle數據庫10g是一個基于標準的獨立平臺,可滿足服務器一側商務智能和數據倉庫的各種要求,包括提取、轉換和裝載(ETL),在線分析處理(OLAP)和數據挖掘。Oracle還推出了針對中小型企業的需求打包和配置的、完全集成的BI系統——OracleBusinessIntelligenceStandardEditionOne。9.2商務智能開發工具簡介9.2.1數據倉庫開發工具352.IBM商務智能開發工具一整套面向商業智能應用的軟件產品包——IBMDB2DWE(DataWarehouseEdition),包含十多個工具,給商業智能提供了全面、堅實的支持,DB2Alphablox是新版的DWE,是一套基于Java開發的分析組件DB2CubeViews是DB2通用數據庫的附加功能部件DB2UDBDataWarehouseEdition(WDE)是一個用于靈活、可伸縮和集成的數據倉庫和分析應用程序的業務智能平臺。2.IBM商務智能開發工具一整套面向商業智能應用的軟件產品包363.Sybase數據倉庫開發工具數據倉庫解決方案為WarehouseStudio,包括數據倉庫的建模、數據抽取與轉換、數據存儲與管理、元數據管理以及可視化數據分析等工具。其中,WarehouseArchitect是PowerDesigner中的一個設計模塊,它支持星形模型、雪花模型和ER模型;數據抽取與轉換工具包括PowerStage、ReplicationServer、CarletonPASSPORT

AdaptiveServerEnterprise是Sybase企業級關系數據庫,AdaptiveServerIQ是Sybase公司專為數據倉庫設計的關系數據庫SybaseIQ支持各種流行的前端展現工具,如CognosImpromptu、BusinessObjects、BrioQuery等。數據分析與展現工具包括PowerDimensions、EnglishWizard、InfoMaker、PowerDynamo等,PowerDimensions是圖形化的OLAP分析工具,支持SMP和多維緩存技術,能夠集成異構的關系型數據倉庫和分布式數據集市。數據倉庫的維護與管理工具包括WarehouseControlCenter、SybaseCentral、DistributionDirector,其中WarehouseControlCenter是為數據倉庫開發人員提供的元數據管理工具。

3.Sybase數據倉庫開發工具數據倉庫解決方案為Wareh374.NCR商務智能開發工具2006年9月宣布推出全新TeradataWarehouse8.2版,這是一套包括硬件、軟件以及專業咨詢服務的全面套件,為前端操作、客戶服務和策略計劃提供實時商業智能,以支持策略決策和數以萬計的日常運營事務。Teradata數據挖掘器(TeradataWarehouseMiner)專為分析大規模數據而設計,工作在Teradata數據庫中Teradata數據加載工具允許從任何平臺的任何數據源中導入或導出數據TeradataParallelTransporter允許并行多功能裝載環境TeradataFastLoad用來將從通道或聯網客戶機的數據源上收集到的大量數據裝入到Teradata數據庫中的空表中TeradataFastExport可以快速地將數據從Teradata數據庫中的表或視圖導出到客戶機系統TeradataTpump用來連續地將數據從數據源導入Teradata表中,4.NCR商務智能開發工具2006年9月宣布推出全新Tera385.SAS商務智能開發工具SAS提供的工具包括30多個專用模塊。其中:SAS/WA(WarehouseAdministrator)是建立數據倉庫的集成管理工具;SAS/MDDB是SAS用于在線分析的多維數據庫服務器;SAS/AF提供了屏幕設計功能和用于開發的SCL(屏幕控制語言)。SAS公司的增強數據挖掘軟件EnterpriseMiner集成了一套豐富的數據挖掘工具SASTextMiner擴展了數據挖掘功能,包括文本數據的大規模存儲。SAS借助于100多個native訪問引擎,涵蓋所有數據庫、操作系統、外部數據源、電子數據源等,。SAS是唯一在數據質量和ETL方面提供全面集成的供應商,稱之為ETLtothePowerofQ(ETLQ)。倉庫數據還可以存儲到第三方層次和關系數據庫中。SAS/ACCESS接口提供了工具,可以快速、有效地進行數據加載。5.SAS商務智能開發工具SAS提供的工具包括30多個專用模396.BusinessObjects商務智能開發工具BusinessObjects的商務智能平臺提供了一組公共服務包含有合作伙伴集成工具包,使用戶能夠直接從企業應用程序中訪問BI信息。BusinessObjectsEnterprise還提供了一種能夠深入了解最終用戶的創新環境,并能夠進行靈活的系統管理,快速部署標準化BI產品。BusinessObjectsEnterprise為所有主要數據庫平臺、應用程序和格式提供了端到端的元數據和廣泛的數據訪問功能。對開發人員來講,BusinessObjectsEnterprise具備功能強大的一套BI服務,并通過Java、.NET和Web服務軟件開發工具(SDK)來為開發人員提供幫助。這些工具可以將BI緊密地集成到應用程序和門戶中。BusinessObjects還提供了一系列分析引擎——SetAnalysis、PredicableAnalysis和StatisticsProcessControl,可以強化管理儀表盤和平衡記分卡。6.BusinessObjects商務智能開發工具Busi409.2.2SQLServer數據倉庫開發應用工具Microsoft公司的SQLServer2005是一套完全的數據倉庫和數據分析解決方案,使用戶可以快速地由數據庫向可擴展電子商務和數據倉庫解決方案擴充。數據倉庫工具名稱在數據倉庫中的作用關系型數據庫數據轉換工具數據復制工具OLEDBAnalysisServicesEnglishQueryMetaDataServicesPivotTable數據倉庫的創建和維護數據倉庫的數據加載分布式數據倉庫的數據發布、加載應用系統與數據源的接口數據挖掘與分析數據倉庫的語言查詢數據倉庫的元數據瀏覽客戶端多維數據的定制與操作9.2.2SQLServer數據倉庫開發應用工具Mic411.創建數據準備區數據準備區的創建可以利用SQLServer中的數據庫創建與表創建工具實現。2.創建數據倉庫數據倉庫的框架通常由事實表和一些維表組成,可以用SQLServer中的數據庫創建工具和表創建工具完成。3.從業務系統提取數據SQLServer中的數據抽取工具主要有Transact-SQL、分布式查詢、DTS、命令行應用程序、bcp實用工具、從文本文件加載的BULKInsert語句和ActiveX腳本。4.清理和轉換數據SQLServer提供了Transact-SQL查詢、DTS包、命令行應用程序、ActiveX腳本等工具完成清理工作,并對數據進行必要的轉換。5.將數據加載進數據倉庫SQLServer提供的Transact-SQL、DTS和bcp工具實現數據加載。6.將數據發布到數據集市SQLServer提供了數據復制技術來完成數據集市的初始裝載,并提供了各種數據加載工具對數據集市進行數據加載。1.創建數據準備區429.2.2SQLServer數據倉庫開發應用工具7.SQL查詢SQLServer提供了Transact-SQL來實現SQL查詢。9.OLAP應用SQLServer中的AnalysisServices可以實現OLAP應用的創建和管理。9.數據挖掘SQLServer在AnalysisServices中還提供了數據挖掘技術的創建和管理功能,可以實現決策樹和聚集兩種數據挖掘功能。10.Web訪問SQLServer所提供的AnalysisServices、EnglishQuery可以與Internet信息服務(IIS)一起,用多種方法在Web上對數據倉庫進行查詢和更新。11.更新數據倉庫數據數據倉庫在實際應用中還需要定期地進行數據更新維護,這些工作可以用SQLServer的Transact-SQL、DTS和bcp實用工具完成。9.2.2SQLServer數據倉庫開發應用工具7.S439.3SQLServer的數據倉庫創建9.3.1創建數據庫9.3SQLServer的數據倉庫創建9.3.1創44數據庫屬性設置窗口

數據庫屬性設置窗口459.2.2創建表9.2.2創建表46表結構輸入窗口

表結構輸入窗口479.4SQLServer數據倉庫事實表與多維數據集的建立9.4.1AnalysisManager數據庫的創建與數據源確定AnalysisServer系統是一個管理多維數據集的有力工具,可以用來創建對數據倉庫訪問、分析多維數據集和知識發現的數據挖掘模型。在使用AnalysisServer以前,必須要從SQLServer的安裝光盤上將其安裝到機器上。1.AnalysisManager數據庫的創建用戶可以利用AnalysisManager在數據倉庫中建立起多維數據集合,以有效地訪問數據倉庫中數據。9.4SQLServer數據倉庫事實表與多維數據集的建481.創建AnalysisServices項目1.創建AnalysisServices項目492.定義新的數據源2.定義新的數據源502.定義新的數據源2.定義新的數據源512.定義新的數據源2.定義新的數據源522.定義新的數據源2.定義新的數據源533.定義一個新的數據源視圖3.定義一個新的數據源視圖549.4.2SQLServer數據倉庫的維創建1.調出維度向導歡迎對話框9.4.2SQLServer數據倉庫的維創建1.調出維552.“選擇生成方法”對話框2.“選擇生成方法”對話框563.“選擇數據源視圖”對話框3.“選擇數據源視圖”對話框574.“選擇維度類型”對話框4.“選擇維度類型”對話框585.定義時間段(基于表的時間維度)5.定義時間段(基于表的時間維度)596.查看新建層次結構6.查看新建層次結構607.完成維度向導7.完成維度向導619.4.3SQLServer的多維數據集創建1.進入多維數據集創建9.4.3SQLServer的多維數據集創建1.進入多622.“選擇生成方法”對話框2.“選擇生成方法”對話框633.“選擇數據源視圖”對話框3.“選擇數據源視圖”對話框644.“標識事實數據表和維度表”對話框4.“標識事實數據表和維度表”對話框655.“選擇度量值”對話框5.“選擇度量值”對話框665.“選擇度量值”對話框5.“選擇度量值”對話框676.“多維數據集向導完成”歡迎對話框6.“多維數據集向導完成”歡迎對話框687.“部署進度”對話框7.“部署進度”對話框698.“處理多維數據集”對話框8.“處理多維數據集”對話框708.“處理多維數據集”對話框8.“處理多維數據集”對話框718.“處理多維數據集”對話框8.“處理多維數據集”對話框72第9章數據倉庫開發實例

9.1基于商務智能的超市營銷系統規劃與分析9.2商務智能開發工具簡介

9.3SQLServer的數據倉庫創建9.4SQLServer數據倉庫事實表與多維數據集的建立第9章數據倉庫開發實例9.1基于商務智能的超市營銷系統規73第9章數據倉庫開發實例

通過本章學習,可以了解:超市銷售商務智能規劃與需求分析;超市銷售數據倉庫的邏輯模型設計;SQLServer的商務智能開發工具;SQLServer事實表的建立;SQLServer的多維數據集的建立;第9章數據倉庫開發實例通過本章學習,可以了解:749.1基于商務智能的超市營銷系統規劃與分析

某大型連鎖超市的業務涵蓋于3個省范圍內的1000多家門市。每個門市都有較完整的日用品和食品銷售部門,包括百貨、雜貨、冷凍食品、奶制品、肉制品和面包食品等,大約5萬多種,其中大約45000種商品來自外部生產廠家,并在包裝上印有條形碼。每個條形碼代表了唯一的商品。為該超市建立一個能夠提高市場競爭能力的數據倉庫,首先需要進行數據倉庫的規劃分析。這就涉及到對數據倉庫的需求分析、模型構建兩個過程。9.1基于商務智能的超市營銷系統規劃與分析某大型連鎖超市的759.1.1超市銷售商務智能的需求分析

1超市營銷售策略分析超市最高層管理所關注的是如何通過商品的采購、儲存與銷售,最大限度地獲取利潤。需要通過加強對每種商品的管理,減低商品的采購成本和管理費用,吸引盡可能多的客戶。其中最重要的是關于商品促銷的管理決策。需要依靠合適的促銷活動,應用適當的促銷策略針對合適的客戶,以增加超市的銷售利潤,是超市數據倉庫建設的基本需求。超市不同商品的銷售利潤是有差別的。希望在數據倉庫中通過對商品的贏利分析,了解不同商品的銷售贏利狀態,以確定企業的銷售重點,對那些可以為企業帶來較大贏利的商品加大促銷力度。9.1.1超市銷售商務智能的需求分析1超市營銷售策略分析762超市商品庫存分析超市商品的庫存狀況對超市的利潤具有巨大的影響。超市如果能夠在合適的時候銷售合適的商品,在不出現脫銷的情況下盡可能減少商品庫存的庫存成本,是超市商品庫存分析的主要目的。在商品庫存分析中,管理人員還經常要根據商品的庫存量和商品庫存成本確定商品的銷售價格。從超市的商品庫存情況來看,庫存分析實質上是對超市的價值鏈進行分析,分析商品庫存在超市的整個價值鏈上所發揮的作用。9.1.1超市銷售商務智能的需求分析

2超市商品庫存分析9.1.1超市銷售商務智能的需求分析773超市商品采購分析超市在商品采購工作中需要分析哪些商品是熱銷的商品,盡可能采購銷售熱銷商品。熱銷商品往往是加快企業資金流動的動力,快速流動的資金可以使企業在一定的時間內取得比其他企業更多的利潤。而且超市營銷管理人員在了解熱銷商品后,可以大量采購熱銷商品,重新安排熱銷商品的貨架,向更多的客戶推銷熱銷商品,便于更多客戶的購買,以進一步加快企業資金的流動。9.1.1超市銷售商務智能的需求分析

3超市商品采購分析9.1.1超市銷售商務智能的需求分析784超市客戶關系分析用90:20理論分析,占企業客戶群20%左右的客戶購買金額往往占據了企業銷售金額的90%。對客戶群體的劃分有利于企業了解企業的主要客戶群體狀況、主要客戶群對企業銷售服務的需求狀況、不同客戶群為企業所帶來的利潤狀況。在對客戶進行類型劃分的基礎上,可以針對不同客戶群體的特點采用不同的營銷策略,對客戶群體的消費進行合理的引導。超市客戶的流失,意味著企業贏利的降低。企業管理者希望了解哪些客戶可能會流失,使企業能夠提前設法加以挽留。9.1.1超市銷售商務智能的需求分析

4超市客戶關系分析9.1.1超市銷售商務智能的需求分析799.1.2超市營銷數據倉庫E-R模型構造數據倉庫設計中就首先考慮營銷主題的設計,確定超市營銷主題模型

采用了星型模型,沒有采用雪花模型。因為雪花模型通過對維表的分類細化描述,對于主題的分類詳細查詢具有良好的響應能力。但是雪花模型的構造在本質上是一種數據模型的規范化處理,會給數據倉庫操作帶來不同表的連接困難。但是在對維度表進行維護時,可能需要對大量重復值進行修改。星型模型通過對維表的冗余應用,以犧牲維表空間來換取數據倉庫的高性能與易使用的優勢。

9.1.2超市營銷數據倉庫E-R模型構造數據倉庫設計中就80日期商品促銷客戶門市商品營銷9.1.2超市營銷數據倉庫E-R模型構造日期商品促銷客戶門市商品營銷9.1.2超市營銷數據倉庫E819.1.3超市數據倉庫事實表模型確定在數據倉庫中,怎樣的粒度數據才能滿足管理人員對數據倉庫營銷策劃分析的需要。超市商品銷售主題中,最理想的原子數據是來自POS機上的每個銷售事務數據分析超市高層管理人員通過那些角度,即需要通過那些維度來考察、選擇營銷方案。一般情況下,在確定超市營銷策劃時,超市管理人員需要通過日期、商品、門市、促銷和客戶五個維度對促銷方案進行分析,了解促銷方案的可用性和效果9.1.3超市數據倉庫事實表模型確定在數據倉庫中,怎樣的82超市營銷數據倉庫事實表模型

超市營銷主題日期關鍵字門市關鍵字商品關鍵字促銷關鍵字商品銷售編號商品銷售量商品銷售額商品成本商品銷售利潤日期維日期關鍵字商品維商品關鍵字門市維門市關鍵字促銷維促銷關鍵字客戶維客戶關鍵字超市營銷數據倉庫事實表模型超市營銷主題日期維商品維門市維促83超市營銷數據倉庫事實表模型

從銷售系統中可直接獲取商品銷售量、銷售單價、商品成本。但管理人員考察超市的營銷策略時,需要考慮營銷策略和相應的商品銷售利潤。商品銷售利潤可以直接通過商品銷售量、銷售單價和商品成本計算獲得,但商品銷售利潤具有良好的可加性,管理人員又經常需要查看。將利潤數據存放在事實表中可大大減少數據倉庫工作時的工作量,還可以保證所有用戶在使用商品銷售利潤這一重要數據時的一致性。商品銷售單價對于計算商品利潤十分重要,但將某個商品一段時間內的所有銷售單價相加是毫無意義的。管理人員可能只對某一時間段內某個商品的平均銷售價感興趣。平均銷售價格可以用該時間段內的商品銷售額除以商品銷售量獲取。在事實表中可以不用商品銷售單價,代之以商品銷售額,銷售額也常常是管理人員衡量營銷策略好壞的重要指標。超市營銷數據倉庫事實表模型從銷售系統中可直接獲取商品銷售量84超市營銷數據倉庫事實表模型

超市管理者還可能對商品銷售的利潤率感興趣,該數據可以用商品銷售利潤除以銷售額獲得,該數據不是一個可加數據。將比率或百分數的數據進行相加,所獲得的數據是沒有什么意義的。管理人員在了解某一時期某些商品的利潤率時,完全可以利用該時期該商品利潤和銷售額獲得。因此,事實表中確定度量數據為商品銷售量、商品銷售額、商品成本和商品銷售利潤。超市營銷數據倉庫事實表模型超市管理者還可能對商品銷售的利潤859.1.4超市營銷系統數據倉庫維模型設計1.日期維日期維模型是許多數據倉庫應用中的常用維度,其設計方式與其他多數維模型有差別。具體設計時,日期維可以存放以日期表示的5到10年的數據行,也可以將3至4年的數據行作為日期維內容。如果對10年的每一天都進行存儲,也只需要3650行

日期維的每列由行所代表的特定日期進行定義。“星期”列含有像“星期一”這樣的名稱內容,該列可用于創建比較“星期一”與“星期日”銷售情況對比的查詢。日歷日期編號從1開始取值,然后根據月份的情況取到29、29、30或者31,這一列主要用于對每個月的同一天進行比較。同樣,可以給出日歷周編號、和日歷月編號(1,…,12)。9.1.4超市營銷系統數據倉庫維模型設計1.日期維86紀元表示法采用從某紀元開始連續對日期進行計數的方法來給出日編號,在表中還可以給出“星期”與“月份”的絕對編號列。這些數據支持跨年度跨月份的簡單數據運算。在生成報表時,經常要給出像“一月”這樣的月份名稱。因此,為報表確定一個“年月”(YYYY-MM)列標題也有必要。報表中很可能需要季度編號(Q1,…,Q4)或年季度編號列。如果企業的財政年度與日歷表在周期上不一致,還需要為財政年度給出類似列。在“節假日”列中給出“節假日”或者“非節假日”的內容,維表屬性作為數據分析的導航,簡單地在“節假日”列中給出“Y”或者“N”對數據分析沒有多大用處。例如,在生成某種商品的節假日與非節假日銷售情況比較查詢時,列中給出“節假日”或者“非節假日”這樣有意義的值要比一個簡單的“Y”或者“N”之類的值有用得多。9.1.4超市營銷系統數據倉庫維模型設計紀元表示法采用從某紀元開始連續對日期進行計數的方法來給出日編87“星期六”與“星期日”要歸入“周末”之列。當然,可以對多個日期表屬性進行共同約束,從而能夠實現一些像平日假期銷售與周末假期銷售進行比較的數據倉庫應用。“銷售時節”列應設置為銷售時節的名稱,例如,春節、情人節、端午節、五一節、國慶節、中秋節、重陽節、圣誕節、或者標為“不是”。“重大事件”列與“銷售時節”列情形類似,可以標記為“周日大采購”或者“中秋合家歡”這樣與日期有特殊聯系的促銷事件。而一般性的促銷活動通常不放在日期表中處理,以促銷維表的形式進行更加完整的描述。因為促銷事件并不是僅僅由日期來定義,通常還需要由日期、商品與商店的組合來定義。9.1.4超市營銷系統數據倉庫維模型設計“星期六”與“星期日”要歸入“周末”之列。當然,可以對多個日88日期維度銷售事實日期關鍵字日期關鍵字星期商品關鍵字日歷日期編號門市關鍵字日歷周編號促銷關鍵字日歷月編號客戶關鍵字紀元日編號POS事務編號紀元周編號銷售量紀元月編號銷售額財政月日編號成本額年度日歷周數利潤金額年度日歷月數日歷年月(YYYY-MM)日歷季度日歷年季度日歷半年度日期維度銷售事實日期關鍵字日期關鍵字星期商品關鍵字日歷日期編89日歷年財政周年度財政周數財政月年度財政月數財政年月財政季度財政年季度財政半年度財政年節假日指示符星期指示符銷售時節重大事件……日歷年財政周年度財政周數財政月年度財政月數財政年月財政季度財902.商品維一般超市門市可能存儲60000個商品編號,但大型連鎖超市保留不再銷售的歷史商品營銷方案情況,商品維度可能至少需要150000行乃至多達百萬行。

商品維度數據主要來源于業務系統的商品主文件。超市總部對所銷售商品的主文件進行統一管理。商品主文件的一個重要作用,就是維護每個商品存儲標志的許多描述屬性。商品維是一組重要的屬性。某個商品種類包含多個商品子類,商品子類包含多個商標,商標包含多個商品存儲標志。還應包含描述商品形狀或存儲位置的層次屬性,例如商品的包裝類型、包裝尺寸、包裝數量、托盤中的包裝數,以及與商品存儲的層次:存儲類型、貨架結構等維度。9.1.4超市營銷系統數據倉庫維模型設計2.商品維9.1.4超市營銷系統數據倉庫維模型設計913.門市維門市維表用于描述超市的各個鏈鎖店。門市維表是基本的地理維度,每個門市可被看成一個位置。這樣,可以由門市形成諸如街道、郵政編碼、縣、市、省這樣的任意地理屬性。地理體系與門市地區體系對每個門市來說,都有良好的定義。在連鎖超市所使用的門市維表中有建筑面積、金融服務、最早開業時間等描述特定門市的文字描述。描述銷售面積的列應該是數字型的,并且在理論上是跨門市可相加的,以表示某一地區的銷售面積。它是門市的一個不變屬性,通常作為報表約束或者行標題使用。而且為了能夠分析不同種類商品對超市銷售利潤的貢獻情況,還需要設立不同商品的銷售面積。9.1.4超市營銷系統數據倉庫維模型設計3.門市維9.1.4超市營銷系統數據倉庫維模型設計924.促銷維超市的促銷方案可能包含:臨時降價、柜臺展銷、報紙廣告與優惠券發放等。促銷維應該可以反映商品促銷方案的成效。促銷的成效評估因素:促銷商品的銷售是否在促銷區間出現增長、是否在促銷進行之前或者隨后出現減少狀況;是否發生促銷商品的銷售出現增長,而臨近貨架上的其他商品銷售卻呈現出相應的降低情況(同類相食);促銷類別中所有商品的銷售是否都經歷了一個實際的總體增長;促銷是否贏利。促銷利潤的計算要考慮促銷類別的利潤增量與時間過渡、同類調劑以及銷售底線等各種情況。9.1.4超市營銷系統數據倉庫維模型設計4.促銷維9.1.4超市營銷系統數據倉庫維模型設計934.促銷維在促銷維度中為促銷出現的每種組合都建立一行記錄是很有意義的。在一年的銷售活動中,可能出現1000個廣告,5000次臨時降價和1000次柜臺展銷,但可能只有10000個組合促銷能影響任何特定的商品。例如,在某給定維度中,大多數門市都會同時運作所有促銷售手段,而只有少數幾個門市不進行柜臺展銷。在這種情況下,就需要兩個單獨的促銷記錄行,一個用于通常的降價并外加廣告與柜臺展銷,而另一個用于降價并外加單純的廣告。超市的促銷維度可以包含促銷名稱、減價類型、促銷媒體類型、廣告類型和優惠券類型等。超市的主要促銷方式是降價、廣告、柜臺展銷與優惠券。如果將這些因素分別建立促銷維度,就可以記錄分析這些促銷方法非常相似的信息,使用戶更加容易理解促銷方案的作用。但是將所有的促銷因素合并在一個維表中,則能夠方便用戶的瀏覽,能夠弄清各種不同的價格降低、廣告、展銷與優惠券是如何在一起共同發揮促銷作用的。9.1.4超市營銷系統數據倉庫維模型設計4.促銷維9.1.4超市營銷系統數據倉庫維模型設計945.客戶維超市的客戶維度可以包含客戶賬號、姓名、地址、所在地區、郵政編碼、電子信箱、電話、日常活動范圍、出生日期、收入、孩子數量、住房和汽車等內容。在客戶維中的地址由于客戶可能會給出其家庭地址、工作地址或其它一些常用地址,因此在維表中可以設置4個地址,對于電話的設置也是出于相同因素的考慮。在數據倉庫的應用中有時需要對客戶按照不同的地區進行分析,為此,在維表中就按照省、市、縣(區)郵政編碼進行地區的設置。性別、婚姻狀況、家庭人口、住房條件和自有汽車情況均是超市銷售管理人員對超市營銷策略進行分析的主要依據。出于超市營銷策略制定的考慮,還需要了解客戶的日常活動范圍,以便有針對性地進行促銷廣告的發送。9.1.4超市營銷系統數據倉庫維模型設計5.客戶維9.1.4超市營銷系統數據倉庫維模型設計959.1.5超市數據倉庫模型的關鍵字設計采用代理關鍵字技術,而不是依賴業務系統中的各種關鍵字(許多業務系統中的各種編碼往往具有某種特定的含義)代理關鍵字一般采用在填充維度時按需要而順序分配的整數值。例如,為第一條商品記錄分配一個值為1的商品代理關鍵字,第二條分配2,第n條分配n等。代理關鍵字僅僅用于維度表到事實表的連接。

代理關鍵字的好處還能夠對數據倉庫環境的操作型變化進行緩沖,不會受到商品編碼生成、更新、刪除、再生與重用等操作型規則的妨礙。代理關鍵字允許數據倉庫對來自多個業務型系統的數據進行合并,即使它們之間缺乏一致的源關鍵字也無所謂。9.1.5超市數據倉庫模型的關鍵字設計采用代理關鍵字技術969.1.5超市數據倉庫模型的關鍵字設計使用代理關鍵字還可以獲得性能上的優勢。代理關鍵字可能只有一個整數所占據的空間大小,卻能確保充裕地容納維度行以后可能需要的序號或者最大編號。而業務型編碼常常是一個混合了字母與數字的區間編碼體系。代理關鍵字還能夠用于記錄那些諸如“不在促銷之列”這樣的可能沒有業務系統中編碼的維度情形。通過對數據倉庫的關鍵字施加控制,就能夠做到不管是否缺少業務型編碼,總可以分配一個代理關鍵字將這類情況標識出來。將代理日期關鍵字處理成日期序號,可以允許事實表在日期關鍵字基礎上進行物理分區。9.1.5超市數據倉庫模型的關鍵字設計使用代理關鍵字還可979.1.5超市數據倉庫模型的關鍵字設計目前在超市數據倉庫中已經包含了6個實際的表:營銷事實表與日期、商品、門市、促銷和客戶維表。每個維表有一個主關鍵字,而事實表除了有一個退化的銷售事務編號之外,還有由五個外關鍵字組成的一個復合關鍵字。如果五個關鍵字都是進行了緊湊處理的連續整數,那么僅僅需要為所有五個關鍵字保留19個字節的小存儲空間(日期、商品、促銷和客戶維各用4個字節,而門市用2個字節)。同時,銷售事務編號可能另外需要9個字節。如果事實表4類事實(銷售量、銷售額、成本和利潤)中的任何一個都是4字節的整數,則僅僅需要再保留另外的16個字節,這樣事實表只有42個字節寬。對一個10億行的事實表也只占用大約42GB的存儲空間就可以存儲所有事實數據。9.1.5超市數據倉庫模型的關鍵字設計目前在超市數據倉庫989.1.6超市數據倉庫元數據設計銷售主題元數據名稱Sales描述整個超市中每個門市中每個POS機所記載的商品銷售狀況目的用于進行超市銷售狀況和促銷情況的分析聯系人各個門市銷售經理維時間、商品、客戶、商店、促銷事實銷售事實表度量值銷售成本、銷售額、銷售利潤、銷售量9.1.6超市數據倉庫元數據設計銷售主題元數據名稱Sa99銷售事實元數據名稱Sales_Fact_年份描述記錄每個門市每個POS機所發生的銷售數據目的作為銷售主題的分析事實使用狀況每天平均查詢次數每天平均查詢返回行數每天查詢平均執行時間(分鐘)每天最大查詢次數每天查詢返回最大行數每天查詢最大執行時間(分鐘)存檔規則每個月將前36個月的數據存檔存檔狀況最近存檔處理日期已經存檔數據日期更新規則每個月將前60個月的數據從數據倉庫中刪除更新狀況最近更新處理日期已更新數據日期銷售事實元數據名稱Sales_Fact_年份描述記錄每個門市100銷售事實元數據數據質量要求及確認由于從各個門市POS機上所產生的數據可能會由于極少的人工輸入,而使數據質量不能得到保證,但也真實地反映了銷售現狀,不能隨意修改,應被認可。數據準確性要求必須百分百地反映各個門市銷售狀況數據粒度要求能夠反映每一項商品的銷售狀況,不對數據進行匯總表鍵事實表的鍵是時間、商品、客戶、商店和促銷維中鍵的組合數據來源超市銷售業務系統中的銷售表(sales_fact_年份)加載周期每天一次加載狀況最后加載日期加載的行數加載規則每天清晨3:00將各個超市門市中前一天的銷售事實數據拷貝到本表,拷貝過程中要根據各個數據成員所定義的加載規則進行篩選和清理銷售事實元數據數據質量要求及確認由于從各個門市POS機上所產101維元數據名稱客戶(Customer)定義從超市任何一個門市購買貨物的任何個人或組織都稱為客戶,一個客戶可以與多個銷售地區發生聯系(即出現在地理維的不同層次體系中)層次結構一個客戶的數據可以在3個級別上進行統計:最低級別是出現在客戶所在的縣/區,其上為市、省更改規則新的客戶位置作為新的一行插入維中。對已有位置的修改,則在原處更新加載頻率每天一次加載統計數據最后加載日期加載的行數使用的統計數據每天平均查詢個數每天查詢返回的平均行數每天查詢平均執行時間(分鐘)每天最大的查詢個數每天查詢返回的最大行數每天查詢執行的最長時間(分鐘)維元數據名稱客戶(Customer)定義從超市任何一個門市102維元數據存檔規則每個月將前36個月的數據存檔已經存檔數據日期更新規則每個月將前60個月的數據從數據倉庫中刪除更新狀況最近更新處理日期已經更新數據日期數據質量增加一個新客戶時,先檢查是否已在其他地方和該客戶做過交易。少數情況下,由于檢查失敗,會將一個客戶的不同部門作為不同客戶保存。直到客戶注意到在不同的地方與公司交易時,以前的記錄仍保持不變。地區屬性并不是銷售業務系統原有的,而是根據送貨地址屬性中的郵政編碼進行區分數據的準確程度一個客戶與其地理位置的關聯出錯的可能性在某一百分比以下,該百分比大小要根據對業務數據的研究情況確定關鍵字客戶維的關鍵字是系統產生的數字維元數據存檔規則每個月將前36個月的數據存檔已經存檔數據日103維元數據產生關鍵字的方法從銷售業務系統中拷貝一個客戶時,將檢查轉換表,檢查該客戶是否已經存在于數據倉庫中。如果否,就產生一個新的關鍵字。然后將這個關鍵字和銷售業務系統中的Custom~ID和地區ID插入轉換表中。如果該客戶和位置已經存在于轉換表,就根據表中的關鍵字決定數據倉庫中要更新的記錄源表名稱超市銷售業務系統中的Customer表加載規則每天拷貝每個Customer表中的行。對于已存在的客戶,進行更新。對于新客戶,確定其所在地理位置之后,產生一個關鍵字,然后插入一行新記錄。在更新/插入操作之前,需要檢查是否有重復的客戶名。如果有,則在客戶名后增加一個順序號,直到名字以及名字和順序號的組合都沒有重復為止。加載規則只選擇新的和發生變化的行源表名稱Customer_Location表轉換規則每天拷貝一次Customer_Location表。對于已存在的客戶,更新其送貨地址;對于新的客戶,則產生一個鍵,并插入一行。維元數據產生關鍵字的方法從銷售業務系統中拷貝一個客戶時,將104數據成員元數據名稱客戶關鍵字(Customer_ID)定義用以唯一標識客戶和位置的值更新規則一旦分配,就不改變數據類型數值型值域1—999,999,999產生規則由系統自動產生,將當前最大值增l來源系統自動生成數據成員元數據名稱客戶關鍵字(Customer_ID)定義105數據成員元數據名稱客戶名稱(Customer_Name)定義客戶的名稱更新規則客戶名稱發生改變時,就在原來的記錄上更新數據類型Char(30)值域保證能區分不同客戶的名稱。對不同而具有相同名稱的客戶,可在名稱后依次加1來區分相同名稱來源超市銷售業務系統中Customer表中的Name產生規則對于零售客戶,其名稱由姓和名組成。對于公司,則將公司名作為客戶名稱數據成員元數據名稱客戶名稱(Customer_Name)定1069.2商務智能開發工具簡介9.2.1數據倉庫開發工具目前已有許多數據倉庫開發工具供應商,可以提供各種構建數據倉庫的工具。但有些數據倉庫開發工具還要結合第三方供應商工具才能完成整個數據倉庫的構建。1.Oracle商務智能開發工具Oracle數據庫10g是一個基于標準的獨立平臺,可滿足服務器一側商務智能和數據倉庫的各種要求,包括提取、轉換和裝載(ETL),在線分析處理(OLAP)和數據挖掘。Oracle還推出了針對中小型企業的需求打包和配置的、完全集成的BI系統——OracleBusinessIntelligenceStandardEditionOne。9.2商務智能開發工具簡介9.2.1數據倉庫開發工具1072.IBM商務智能開發工具一整套面向商業智能應用的軟件產品包——IBMDB2DWE(DataWarehouseEdition),包含十多個工具,給商業智能提供了全面、堅實的支持,DB2Alphablox是新版的DWE,是一套基于Java開發的分析組件DB2CubeViews是DB2通用數據庫的附加功能部件DB2UDBDataWarehouseEdition(WDE)是一個用于靈活、可伸縮和集成的數據倉庫和分析應用程序的業務智能平臺。2.IBM商務智能開發工具一整套面向商業智能應用的軟件產品包1083.Sybase數據倉庫開發工具數據倉庫解決方案為WarehouseStudio,包括數據倉庫的建模、數據抽取與轉換、數據存儲與管理、元數據管理以及可視化數據分析等工具。其中,WarehouseArchitect是PowerDesigner中的一個設計模塊,它支持星形模型、雪花模型和ER模型;數據抽取與轉換工具包括PowerStage、ReplicationServer、CarletonPASSPORT

AdaptiveServerEnterprise是Sybase企業級關系數據庫,AdaptiveServerIQ是Sybase公司專為數據倉庫設計的關系數據庫SybaseIQ支持各種流行的前端展現工具,如CognosImpromptu、BusinessObjects、BrioQuery等。數據分析與展現工具包括PowerDimensions、EnglishWizard、InfoMaker、PowerDynamo等,PowerDimensions是圖形化的OLAP分析工具,支持SMP和多維緩存技術,能夠集成異構的關系型數據倉庫和分布式數據集市。數據倉庫的維護與管理工具包括WarehouseControlCenter、SybaseCentral、DistributionDirector,其中WarehouseControlCenter是為數據倉庫開發人員提供的元數據管理工具。

3.Sybase數據倉庫開發工具數據倉庫解決方案為Wareh1094.NCR商務智能開發工具2006年9月宣布推出全新TeradataWarehouse8.2版,這是一套包括硬件、軟件以及專業咨詢服務的全面套件,為前端操作、客戶服務和策略計劃提供實時商業智能,以支持策略決策和數以萬計的日常運營事務。Teradata數據挖掘器(TeradataWarehouseMiner)專為分析大規模數據而設計,工作在Teradata數據庫中Teradata數據加載工具允許從任何平臺的任何數據源中導入或導出數據TeradataParallelTransporter允許并行多功能裝載環境TeradataFastLoad用來將從通道或聯網客戶機的數據源上收集到的大量數據裝入到Teradata數據庫中的空表中TeradataFastExport可以快速地將數據從Teradata數據庫中的表或視圖導出到客戶機系統TeradataTpump用來連續地將數據從數據源導入Teradata表中,4.NCR商務智能開發工具2006年9月宣布推出全新Tera1105.SAS商務智能開發工具SAS提供的工具包括30多個專用模塊。其中:SAS/WA(WarehouseAdministrator)是建立數據倉庫的集成管理工具;SAS/MDDB是SAS用于在線分析的多維數據庫服務器;SAS/AF提供了屏幕設計功能和用于開發的SCL(屏幕控制語言)。SAS公司的增強數據挖掘軟件EnterpriseMiner集成了一套豐富的數據挖掘工具SASTextMiner擴展了數據挖掘功能,包括文本數據的大規模存儲。SAS借助于100多個native訪問引擎,涵蓋所有數據庫、操作系統、外部數據源、電子數據源等,。SAS是唯一在數據質量和ETL方面提供全面集成的供應商,稱之為ETLtothePowerofQ(ETLQ)。倉庫數據還可以存儲到第三方層次和關系數據庫中。SAS/ACCESS接口提供了工具,可以快速、有效地進行數據加載。5.SAS商務智能開發工具SAS提供的工具包括30多個專用模1116.BusinessObjects商務智能開發工具BusinessObjects的商務智能平臺提供了一組公共服務包含有合作伙伴集成工具包,使用戶能夠直接從企業應用程序中訪問BI信息。BusinessObjec

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論