1、BI/DW IntroductionJames ChenPSO Sr. Consultant程序=算法+數(shù)據(jù)結(jié)構(gòu)-Niklaus Wirth 數(shù)據(jù)結(jié)構(gòu) 離散結(jié)構(gòu) 線形結(jié)構(gòu) - 數(shù)組鏈表棧隊列 樹 圖算法 空間復(fù)雜度 時間復(fù)雜度用戶內(nèi)存中數(shù)據(jù)結(jié)構(gòu)物理數(shù)據(jù)結(jié)構(gòu)E-R業(yè)務(wù)流程二者相輔相成，不同應(yīng)用側(cè)重不同經(jīng)典業(yè)務(wù)系統(tǒng)模型Skill set數(shù)據(jù)庫C+/J2EE/.netPowerDesignerER_WINOOUML面向過程OO Design WorkflowDevelop Business Type ModelIdentify Business InterfacesIdentify System I

2、nterfaces & OpsCreate Initial Comp Specs & ArchitectureDiscover Business OperationsRefine Interfaces & OpsRefine Component Specs & ArchitectureDefine Interface Information ModelsSpecify Operation Pre/PostconditionsSpecify Component Interface ConstraintsBusiness Concept ModelUse Case ModelBusiness In

3、terfacesSystem InterfacesInterfacesInterfacesComponent Specs & ArchitectureComponent Specs & ArchitectureComponent Specs & ArchitectureBusiness Type ModelArchitecture PatternsExisting InterfacesExisting AssetsComponent Identification Component InteractionComponent Specification笑一笑數(shù)據(jù)倉庫初學(xué)者：數(shù)據(jù)倉庫與數(shù)據(jù)庫有什么

4、區(qū)別？某專家：一個有倉一個沒倉！BI/DW的引出統(tǒng)計報表需求數(shù)字越來越重要報表越來越多效率越來越差數(shù)據(jù)倉庫的定義“數(shù)據(jù)倉庫是在企業(yè)管理和決策中面向主題的, 集成的, 與時間相關(guān)的和不可修改的數(shù)據(jù)集合” Bill Inmon數(shù)據(jù)倉庫(Data Warehouse)是一種專為聯(lián)機(jī)分析應(yīng)用和決策支持系統(tǒng)提供數(shù)據(jù)源的結(jié)構(gòu)化的數(shù)據(jù)環(huán)境數(shù)據(jù)倉庫要解決的問題是從數(shù)據(jù)庫中獲取信息的問題。數(shù)據(jù)信息INFORMATIONINFORMATIONINFORMATIONINFORMATION影響數(shù)據(jù)倉庫的幾個人物Bill Inmon - 數(shù)據(jù)倉庫Ralph Kimball - 數(shù)據(jù)倉庫工具箱 Bernard Liaut

5、aud - 商業(yè)智能OLTP與數(shù)據(jù)倉庫系統(tǒng)RDBMS關(guān)系數(shù)據(jù)庫SAP/ERPVSAM主機(jī)系統(tǒng)EXCELWeb/XMLOLTP業(yè)務(wù)系統(tǒng)數(shù)據(jù)倉庫系統(tǒng) 數(shù)據(jù)是當(dāng)前的數(shù)據(jù)總在實時變化中存儲明細(xì)數(shù)據(jù)優(yōu)化是針對即時更新的事務(wù)處理支持日常的業(yè)務(wù)支持辦事人員或行政人員 數(shù)據(jù)是歷史的數(shù)據(jù)是靜態(tài)的，除數(shù)據(jù)刷新外數(shù)據(jù)是匯總的優(yōu)化是針對大批量查詢而不是更新支持長遠(yuǎn)的業(yè)務(wù)戰(zhàn)略決策支持決策人員和管理人員面向事務(wù)面向決策5-10 年數(shù)據(jù)集市分析型CRM業(yè)務(wù)指標(biāo)分析數(shù)據(jù)倉庫BI系統(tǒng)建設(shè)方法 （1）直接建立BI應(yīng)用OLTP數(shù)據(jù)源 各種前端應(yīng)用KPI指標(biāo)報表多維分析即席查詢數(shù)據(jù)挖掘數(shù)據(jù)倉庫環(huán)境 業(yè)務(wù)智能層中央數(shù)據(jù)倉庫數(shù)據(jù)倉庫數(shù)據(jù)

6、集結(jié)數(shù)據(jù)源 公司數(shù)據(jù)源外部數(shù)據(jù)源BIW數(shù)據(jù)集市數(shù)據(jù)倉庫管理子系統(tǒng) 數(shù)據(jù)倉庫元數(shù)據(jù)目錄信息訪問和 引用部件 BI系統(tǒng)建設(shè)方法 （2）企業(yè)數(shù)據(jù)倉庫體系架構(gòu)RelationalPackageLegacyExternalsourceDataCleanToolSource DataDataStagingWareHouseAdmin. ToolsEnterprise DataWarehouse Data Extraction,Transformationand loadDatamartDatamartEnterprise/Central DataWarehouseRDBMSROLAPRDBMSRDBMSA

7、rchitectedDatamartsCentralMetadata Data Modeling ToolEnd-UserToolEnd-UserToolMDBEnd-UserToolEnd-UserToolLocal MetadataLocal Metadata典型物理架構(gòu)ETL_DM1ETL_DM2BAS_DW1BAS_DW2BAS_OP1BAS_OP2Bas_sw01Bas_sw02Dx_sp01Dx_sp02Dx_sp03元數(shù)據(jù)管理服務(wù)器BAS_SM1BAS_SM270T!企業(yè)數(shù)據(jù)倉庫的目的數(shù)據(jù)整合-建立一個企業(yè)統(tǒng)一的信息平臺建立統(tǒng)一的業(yè)務(wù)數(shù)據(jù)定義建立唯一的統(tǒng)計分析數(shù)據(jù)源快速訪問采用適

8、合企業(yè)BI應(yīng)用的數(shù)據(jù)組織方式新需求的開發(fā)快數(shù)據(jù)獲取的效率快業(yè)務(wù)管理層業(yè)務(wù)操作層戰(zhàn)略層底層數(shù)據(jù)低粒度匯總高粒度匯總建設(shè)數(shù)據(jù)倉庫的主要任務(wù)數(shù)據(jù)倉庫建模ETL前端展現(xiàn)組數(shù)據(jù)挖掘元數(shù)據(jù)數(shù)據(jù)倉庫引擎NCR TeredataORACLE 9以上DB2 EEESybase IQMS SQL Server維模型的設(shè)計每個維可以由一個或多個維層次或聚合路徑組成Dimension 1事實Dimension 2Dimension 4measure 1measure 2.supportive attributes.Dimension 3aggregation path or dimension hierarchydi

9、mension key 1dimension key 2.aggregation levelsIWS模型的特點簡單視圖實例倉庫底層設(shè)計考量（一）慢速變化維問題快速變化和慢速變化倉庫底層設(shè)計考量（二）粒度問題一天變化多次入庫時間倉庫中間層設(shè)計考量基于用戶標(biāo)識多個粒度匯總綜合各個數(shù)據(jù)集市效率考慮倉庫集市層設(shè)計考量面向應(yīng)用報表集市挖掘集市主題集市KPI集市維模型以最細(xì)粒度數(shù)據(jù)為主表加物化視圖數(shù)據(jù)倉庫與數(shù)據(jù)集市數(shù)據(jù)源CUBE報表事實表維表維表維表維表數(shù)據(jù)倉庫事實視圖維視圖維視圖維視圖維視圖業(yè)務(wù)驅(qū)動數(shù)據(jù)驅(qū)動數(shù)據(jù)集市設(shè)計技巧星型還是雪花？組合代理鍵慢速變化維維度的不同層次處理聚合表的設(shè)計.ETL過程源表結(jié)

10、構(gòu) - 目標(biāo)結(jié)構(gòu)工具？自己編碼？-業(yè)務(wù)邏輯的任務(wù)已經(jīng)很大實時任務(wù)和批量任務(wù)CDC的處理ODS的處理？BO Date IntegratorInformatica PowerCenterDatastageSagent數(shù)據(jù)源大數(shù)據(jù)量變化數(shù)據(jù)關(guān)聯(lián)數(shù)據(jù)手工數(shù)據(jù)抽取時機(jī)和最遲到達(dá)時間！數(shù)據(jù)源考量-大數(shù)據(jù)量二十余種清單上萬個文件，大小不一一天幾十GB的數(shù)據(jù)數(shù)據(jù)源考量-變化數(shù)據(jù)實時變化未存歷史數(shù)據(jù)源考量-關(guān)聯(lián)數(shù)據(jù)沒有transaction幾個文件不一致怎么辦？數(shù)據(jù)源考量-手工數(shù)據(jù)外部錄入？OLTP系統(tǒng)？天氣社會指標(biāo)集團(tuán)客戶信息操作型CRM數(shù)據(jù)源考量-歷史數(shù)據(jù)更新修改昨日數(shù)據(jù)批錯價/延遲話單等ETL抽取/轉(zhuǎn)換/

11、加載源數(shù)據(jù)的理解加載時間4小時ETL實現(xiàn)工具Loader匯總（數(shù)據(jù)庫匯總還是文件匯總）調(diào)度ETL-調(diào)度一天幾十GB的數(shù)據(jù)并行度/任務(wù)大小/資源/優(yōu)先級調(diào)度清單類（大數(shù)據(jù)量）-文件的拆分和合并/實時處理業(yè)務(wù)類（實體之間的關(guān)系復(fù)雜）-稽合帳務(wù)類（數(shù)據(jù)準(zhǔn)確）-驗證參數(shù)類（變化影響其他實體）-告警/事先處理其他任務(wù)月末處理前端展現(xiàn)固定報表多維分析即席查詢儀表盤數(shù)據(jù)挖據(jù)BO(CR)Hyperion(Brio)CognosMicrostrategy儀表盤OLAP分析報表，即席查詢固定報表格式靈活多變Crystal ReportMSTRBrioReportNet多維分析MOLAP - Cognos Powe

12、rPlay,Hyperion EssbaseROLAP - BOE, MSTRHOLAP - BO - MS OLAP切片旋轉(zhuǎn)切塊鉆取OLAP分析多角度、多層次對同一主題進(jìn)行分析通過旋轉(zhuǎn)、鉆取、切片等技術(shù)探察數(shù)據(jù)旋轉(zhuǎn)：按不同順序組織各個維，對結(jié)果進(jìn)行考察鉆取：在一個維內(nèi)部沿著從高到低或從低到高的方向考察數(shù)據(jù)(有上鉆和下鉆兩種)切片：在確定某些維數(shù)據(jù)的情況下對其他維進(jìn)行觀察有MOLAP、ROLAP、HOLAP三種實現(xiàn)方式OLAP設(shè)計-指標(biāo)還是維度性別年齡長途類型通話時段客戶數(shù)通話時長性別年齡客戶數(shù)通話時長 長途類型通話時長 通話時段通話時長 1-2點通話時長即席查詢語義層效率很關(guān)鍵BO語義層儀表

13、盤儀表盤、KPI-EPM整合了企業(yè)的整個績效、把告警、報表、分析穿在了一起B(yǎng)O EPMHyperion BPM數(shù)據(jù)挖掘機(jī)器學(xué)習(xí)數(shù)理統(tǒng)計數(shù)據(jù)庫預(yù)測、特征分析、客戶分類SASSPSS數(shù)據(jù)挖掘?qū)嵤┑捏w系結(jié)構(gòu)數(shù)據(jù)倉庫數(shù)據(jù)挖掘引擎算法數(shù)據(jù)選擇知識庫評價修改知識建模分析員領(lǐng)域知識元數(shù)據(jù)元數(shù)據(jù)管理什么是元數(shù)據(jù)？元數(shù)據(jù)和開發(fā)文檔有何區(qū)別？為什么單單在數(shù)據(jù)倉庫中如此重視元數(shù)據(jù)？文檔語音計費(fèi)GPRS計費(fèi)文檔帳務(wù)文檔結(jié)算營業(yè)文檔文檔客服文檔MIS網(wǎng)管HR文檔文檔文檔元數(shù)據(jù)管理(續(xù))業(yè)務(wù)元數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)用業(yè)務(wù)名稱、定義、描述和別名來表示數(shù)據(jù)倉庫和業(yè)務(wù)系統(tǒng)中的各種屬性，直接供業(yè)務(wù)分析人員使用。技術(shù)元數(shù)據(jù)技術(shù)元數(shù)據(jù)描述了

14、數(shù)據(jù)源、數(shù)據(jù)轉(zhuǎn)換、抽取過程、加載策略以及目標(biāo)數(shù)據(jù)庫的定義等。 元數(shù)據(jù)管理(續(xù))CWM 1.0數(shù)據(jù)源ETL數(shù)據(jù)倉庫數(shù)據(jù)集市OLAP CUBE元數(shù)據(jù)管理(續(xù))能分析什么？Where UsedDepends On事先還是事后？自動化修改？典型的項目組織架構(gòu) 項目經(jīng)理 首席業(yè)務(wù)分析師ETL組組長；設(shè)計師、軟件工程師項目管理組開發(fā)組首席架構(gòu)設(shè)計師 項目經(jīng)理助理 項目管理數(shù)據(jù)倉庫組組長；設(shè)計師、軟件工程師數(shù)據(jù)展現(xiàn)組組長；設(shè)計師、軟件工程師數(shù)據(jù)挖掘庫組組長；設(shè)計師、軟件工程師項目領(lǐng)導(dǎo)小組客戶代表 公司領(lǐng)導(dǎo) 質(zhì)量經(jīng)理 支持組系統(tǒng)組培訓(xùn)組客戶代表 測試組組長；測試工程師項目組織架構(gòu)配置管理組謝謝5、世上最美好的

15、事是：我已經(jīng)長大，父母還未老;我有能力報答，父母仍然健康。6、沒什么可怕的，大家都一樣，在試探中不斷前行。7、時間就像一張網(wǎng)，你撒在哪里，你的收獲就在哪里。紐扣第一顆就扣錯了，可你扣到最后一顆才發(fā)現(xiàn)。有些事一開始就是錯的，可只有到最后才不得不承認(rèn)。8、世上的事，只要肯用心去學(xué)，沒有一件是太晚的。要始終保持敬畏之心，對陽光，對美，對痛楚。9、別再去抱怨身邊人善變，多懂一些道理，明白一些事理，畢竟每個人都是越活越現(xiàn)實。10、山有封頂，還有彼岸，慢慢長途，終有回轉(zhuǎn)，余味苦澀，終有回甘。11、人生就像是一個馬爾可夫鏈，你的未來取決于你當(dāng)下正在做的事，而無關(guān)于過去做完的事。12、女人，要么有美貌，要么有

16、智慧，如果兩者你都不占絕對優(yōu)勢，那你就選擇善良。13、時間，抓住了就是黃金，虛度了就是流水。理想，努力了才叫夢想，放棄了那只是妄想。努力，雖然未必會收獲，但放棄，就一定一無所獲。14、一個人的知識，通過學(xué)習(xí)可以得到;一個人的成長，就必須通過磨練。若是自己沒有盡力，就沒有資格批評別人不用心。開口抱怨很容易，但是閉嘴努力的人更加值得尊敬。15、如果沒有人為你遮風(fēng)擋雨，那就學(xué)會自己披荊斬棘，面對一切，用倔強(qiáng)的驕傲，活出無人能及的精彩。5、人生每天都要笑，生活的下一秒發(fā)生什么，我們誰也不知道。所以，放下心里的糾結(jié)，放下腦中的煩惱，放下生活的不愉快，活在當(dāng)下。人生喜怒哀樂，百般形態(tài)，不如在心里全部淡然處

17、之，輕輕一笑，讓心更自在，生命更恒久。積極者相信只有推動自己才能推動世界，只要推動自己就能推動世界。6、人性本善，純?nèi)缜逑魉冬摖q。欲望與情緒如風(fēng)沙襲擾，把原本如天空曠蔚藍(lán)的心蒙蔽。但我知道，每個人的心靈深處，不管烏云密布還是陰淤蒼茫，但依然有一道彩虹，亮麗于心中某處。7、每個人的心里，都藏著一個了不起的自己，只要你不頹廢，不消極，一直悄悄醞釀著樂觀，培養(yǎng)著豁達(dá)，堅持著善良，只要在路上，就沒有到達(dá)不了的遠(yuǎn)方！8、不要活在別人眼中，更不要活在別人嘴中。世界不會因為你的抱怨不滿而為你改變，你能做到的只有改變你自己！9、欲戴王冠，必承其重。哪有什么好命天賜，不都是一路披荊斬棘才換來的。10、放手

18、如拔牙。牙被拔掉的那一刻，你會覺得解脫。但舌頭總會不由自主地往那個空空的牙洞里舔，一天數(shù)次。不痛了不代表你能完全無視，留下的那個空缺永遠(yuǎn)都在，偶爾甚至?xí)惓炷睢＿m應(yīng)是需要時間的，但牙總是要拔，因為太痛，所以終歸還是要放手，隨它去。11、這個世界其實很公平，你想要比別人強(qiáng)，你就必須去做別人不想做的事，你想要過更好的生活，你就必須去承受更多的困難，承受別人不能承受的壓力。12、逆境給人寶貴的磨煉機(jī)會。只有經(jīng)得起環(huán)境考驗的人，才能算是真正的強(qiáng)者。自古以來的偉人，大多是抱著不屈不撓的精神，從逆境中掙扎奮斗過來的。13、不同的人生，有不同的幸福。去發(fā)現(xiàn)你所擁有幸運(yùn)，少抱怨上蒼的不公，把握屬于自己的幸福。你，我，我們大家都可以經(jīng)歷幸福的人生。14、給自己一份堅強(qiáng)，擦干眼淚；給自己一份自信，不卑不亢；給自己一份灑脫，悠然前行。輕輕品，靜靜藏。為了看陽光，我來到這世上；為了與陽光同行，我笑對憂傷。15、總不能流血就喊痛，怕黑就開燈，想念就聯(lián)系，疲憊就放空，被孤立就討好，脆弱就想家，不要被現(xiàn)在而蒙蔽雙眼，終究是要長大，最漆黑的那段路終要自己走完。5、從來不跌倒不算光彩，每次跌倒后能再站起來，才是最大的榮耀。6、這個世界到處充滿著不公平，我們能做的不僅僅是接受，