數據倉庫與數據挖掘楊春博士講師Email:171165@

Tel據倉庫與數據挖掘楊春博士講師平時成績（30-40%）考勤、課堂回答問題、討論：期末成績（60-70%）考核方式：閉卷考試，16或17周。

平時成績（30-40%）數據倉庫與數據挖掘技術(第2版)作者:陳京民

出版社：電子工業出版社

出版日期：2007年11月

ISBN：9787121053054

數據倉庫與數據挖掘技術(第2版)參考書參考書第一章商務智能基本概念

第一章商務智能基本概念1.1商務智能的基本概念1.1商務智能的基本概念信息：有用的數據SenderReceiver處理數據信息知識一個人的垃圾（數據）是另一個人的財富（信息）Dataendowedwithrelevanceandpurpose信息是經過某種加工處理后的數據，是反映客觀事物規律的一些數據。數據是信息的載體,信息是對數據的解釋。

信息：有用的數據SenderReceiver處理數據信息知識第一章商務智能基本概念課件IBM商務智能產品IBM商務智能產品第一章商務智能基本概念課件第一章商務智能基本概念課件第一章商務智能基本概念課件第一章商務智能基本概念課件第一章商務智能基本概念課件SAP

BusinessObjects智能平臺SAPBusinessObjects智能平臺企業數據倉庫ETL(抽取、轉換、加載)即席查詢、預定義報表、自定義報表、OLAP、數據挖掘、專題分析模型元數據管理Web服務器客戶端客戶端客戶端客戶端客戶端大客戶分析數據集市財務分析數據集市客戶分析數據集市...模型庫業務數據庫業務數據庫業務數據庫業務數據庫業務數據庫業務發展分析客戶分析大客戶分析用戶發展分析收益情況分析服務質量分析營銷管理分析財務分析渠道分析反欺詐專題分析客戶流失專題分析...企業數據倉庫ETL(抽取、轉換、加載)即席查詢、預定義報表、商務智能供應商商務智能供應商

商務智能（BI，BusinessIntelligence）的定義

IBM:利用已有的數據資源作出更好的商業決策，它包括數據訪問、數據和業務分析，以及發現新的商業的機會。這說明商務智能的實質是從數據中有效地提取信息，從信息中發現知識，為商務決策和戰略發展。

Microsoft認為商務智能是任何嘗試獲取、分析企業數據以更清楚地了解市場和客戶、改進企業流程、更有效地參與競爭的努力，以便在正確的時間向正確的決策者提供正確的信息。商務智能使企業能夠做出比以前更好的決策。此外，IDC,Business,Objectes,Teradata,MicroStrategy公司也都有對商務智能不同的解釋。

商務智能（BI，BusinessIntellige總而言之，商務智能是由數據倉庫、聯機分析處理和數據挖掘三種信息技術應用于商務活動后所形成的一組信息技術的應用技術。

總而言之，商務智能是由數據倉庫、聯機分析處理和數據挖掘三種信業務數據分析的類型Increasing#ofusersOLAPStatisticalAnalysisStandardQueryReportingDMIncreasingComplexity數據分析技術的發展可分成報表查詢、在線分析處理（OLAP）和數據挖掘3個階段。

業務數據分析的類型IncreasingOLAPStatist數據倉庫是基礎，它提供了商務智能所需要的各種信息；聯機分析處理是商務智能應用之利器，管理決策者使用聯機分析工具對反映企業商務活動的數據倉庫進行智能分析，可以提高企業的市場競爭力；數據挖掘是商務智能的形成之源，利用數據挖掘可以從數據倉庫中尋找企業的商務智能模式，從數據倉庫的海量數據中歸納出商務知識。實例數據倉庫是基礎，它提供了商務智能所需要的各種信息；聯機分析處銷售分析儀表盤銷售分析儀表盤客戶流失分析客戶流失分析目標顧客群目標顧客群信息流暢通了還需要？ERP企業資源規劃系統SCM供應鏈管理商務智能BI（businessintelligence）B2B、B2CCRMInternet等基礎設施數據信息流暢通了還需要？ERPSCM商務智能新一代決策支持系統交易處理系統DSS軟件系統模式OLAP工具資料挖掘工具外部資料使用者使用者界面DSS資料庫數據導向型決策支持系統：事務處理系統等搜集的大量數據，隱藏對決策有用的模式和規則，可以用統計方法、OLAP和數據挖掘等分析得到，以輔助決策分析用。新一代決策支持系統交易處外部資料使用者使用者界面DSS數據導1.1.2商務智能的發展與應用商務智能的發展與應用：電子數據處理系統-〉管理信息系統-〉決策支持系統商務智能的作用：理解、改善、衡量、創造商務智能的作用域：戰略管理、營銷管理、市場管理、客戶關系管理和風險管理

1.1.2商務智能的發展與應用商務智能的發展與應用：電子商務分析：商務風險分析、數據庫營銷分析、智能型客戶關系管理、供應鏈管理OLAP、數據挖掘數據倉庫圖1.1商務智能體系結構1.1.3商務智能的體系結構商務分析：商務風險分析、數據庫營銷分析、智能型客戶關系管理、BusinessIntelligenceArchitectureOperationalandExternalDataWarehousemodelingandConstructionTools(ETL)BusinessIntelligenceApplicationsDecisionSupportToolsQueryandReporting

OLAPInformationMiningAccessenablersApplicationInterfacesMiddlewareServicesDepartmentalwarehouses(datamarts)AdministrationGlobalWarehouseOtherInformationStoresOperationalandExternalDataDataManagementMetadataManagementBusinessIntelligenceArchitec第一章商務智能基本概念課件1.2數據倉庫的發展與展望管理人員常常希望能夠通過對組織中的大量數據進行分析，了解業務的發展趨勢，而傳統的數據庫只保留了當前的業務處理信息，缺乏決策分析所需要的大量歷史信息，為滿足管理人員的決策分析需要，在數據庫的基礎上就產生了適應決策分析的數據環境-數據倉庫（DW，DataWarehouse）1.2數據倉庫的發展與展望管理人員常常希望能夠通過對組織1.2.1從數據庫到數據倉庫

傳統數據庫在聯機事物處理中取得了較大的成功,但在基于事物處理的數據庫幫助決策分析時卻產生了很大的困難。主要原因是傳統數據庫的處理方式和決策分析中的數據需求不相稱，導致傳統數據庫無法支持決策分析活動。這些不相稱主要體現在如下幾個方面：1.2.1從數據庫到數據倉庫傳統數據庫在聯機事物處理中(1)決策處理的系統響應問題：傳統數據庫數據存取頻率高、操作時間快，有較高的響應時間。而在決策分析處理中，有些決策處理請求問題則可能需要系統長達數小時的運行，耗費大量的系統資源，而使事務聯機系統無法忍受。(2)決策數據需求的問題：決策分析需要全面、正確的集成數據，這些數據不僅包括企業內部各部門的數據而且包括企業外部的、甚至競爭對手的相關數據。在決策數據的集成中還需要解決數據混亂的問題（0和1，M&F）。決策分析需要從數據庫中抽取數據，查找有用的數據。(1)決策處理的系統響應問題：傳統數據庫數據存取頻率高、操作數據的集成還涉及外部數據與非結構化數據的應用問題。決策數據一般涉及到長期的大量歷史數據。在決策分析過程中，往往需要經過匯總、概括的數據。(3)決策數據操作的問題：在對數據的操作方式上，事務處理系統往往不能滿足決策人員的需要（訪問權限、用戶身份、報表表現形式）。同時，由于系統響應、決策數據需求和決策數據操作等影響，使企業無法使用現有的事務處理系統去解決決策分析的需要。(4)數據倉庫與傳統數據庫的比較數據的集成還涉及外部數據與非結構化數據的應用問題。決策數據一表1-1數據倉庫與數據庫的對比

對比內容

數據庫

數據倉庫數據內容當前值歷史的、存檔的、歸納的、計算的數據數據目標面向業務操作程序，重復處理面向主題域，分析應用數據特性動態變化，按字段更新靜態、不能直接更新，只能定時添加、刷新數據結構高度結構化、復雜，適合操作計算簡單、適合分析使用頻率高中到低數據訪問量每個事物只訪問少量記錄有的事物可能需要訪問大量記錄對響應時間的要求以秒為單位時間長表1-1數據倉庫與數據庫的對比對比內容數據庫數據倉庫的定義：數據倉庫就是一個面向主題的、集成的、不可更新的、隨時間不斷變化的數據集合，它用以支持企業或組織的決策分析處理。

1.2.2數據倉庫的基本特性數據倉庫的定義：數據倉庫就是一個面向主題的、集成的、不可更新數據倉庫的基本特征(1)數據倉庫的數據是面向主題的：數據倉庫中所有的數據都是圍繞著某一主題組織展開的。例如企業中的客戶、產品、供應商等都可以作為主題看待。(2)數據倉庫的數據是集成的：根據決策分析的要求，將分散于各處的源數據進行抽取、篩選、清理、綜合等工作，最終集成到數據倉庫中。（業務處理系統：在線事務處理系統OLTP、企業資源計劃ERP、企業業務流程重組BPR、電子商務EC）數據倉庫的基本特征(3)數據倉庫是隨時間變化的：數據應該隨著時間的推移而變化；數據的追加和刪除都是時變的；同時，概括數據也是時變的。(4)數據的非易失性：數據倉庫中的數據不進行更新處理，而是一旦數據進入數據倉庫以后，就會保持一個相當長的時間，而且數據主要是用于查詢、分析。(3)數據倉庫是隨時間變化的：數據應該隨著時間的推移而變化；(5)數據的集合性：數據倉庫必須按照主題，以某種數據集合的形式存儲起來。(6)支持決策作用：高層的企業決策者、中層的管理者和基層的業務處理者等不同層次的管理人員均利用數據倉庫進行決策分析，提高管理決策質量。第一章商務智能基本概念課件1.2.3數據倉庫的發展1.基于關系對象數據庫的數據倉庫：將多媒體數據、復雜的數據類型和其他各種類型的數據引入數據倉庫。2.網絡的影響：數據倉庫越來越依賴于網絡進行數據的傳輸、數據的請求處理。3.操作型動態數據倉庫：重在戰術性決策支持，為執行工資的戰略員工提供支持。（EMS-ESB（企業服務總線）追蹤包裹）4.Web應用中的多智能體技術：利用合作伙伴的數據倉庫或Internet系統中的多為數據集進行決策分析活動。1.2.3數據倉庫的發展1.基于關系對象數據庫的數據倉庫1.3數據倉庫的體系結構數據倉庫體系結構建立在其概念基礎之上，并根據商務智能的不同應用情況可以選擇虛擬數據倉庫結構、數據集市結構、單一數據倉庫結構和分布式數據倉庫結構。1.3數據倉庫的體系結構圖1.2數據倉庫的概念結構

業務系統外部數據源數據準備區數據集市/知識挖掘庫數據倉庫數據庫數據集市/知識挖掘庫應用工具應用工具用戶用戶管理工具數據源1.3.1數據倉庫的概念結構圖1.2數據倉庫的概念結構業務系統外部數數

從數據倉庫的概念結構看，應該包含數據源、數據準備區、數據倉庫數據庫、數據集市/知識挖掘庫以及各種管理工具和應用工具。數據倉庫的創建、應用可以利用各種數據倉庫管理工具輔助完成。第一章商務智能基本概念課件業務系統數據庫數據倉庫查詢管理服務器用戶圖1.3虛擬數據倉庫結構問題：這種數據庫由于主要依靠原系統的運行，使原系統的運行效率大幅度下降；系統在操作過程中可能會涉及許多原系統，這些系統中的同一數據缺乏相同字段結構、編碼和關鍵字，而且不同系統中數據的更新不一致，必然會產生在不同時間對同一查詢結果的不同結果。

業務系統數據庫數據倉庫查詢用戶圖1.3虛擬數據倉庫結構問業務系統數據庫數據倉庫查詢管理服務器用戶1圖1.4數據集市結構問題：數據集市的結構往往只能對某一主題進行操作，如果用戶希望對兩個以上主題操作，就要求用戶對這兩個主題的數據結構都了解，否則無法實現多主題的操作；在多主題數據倉庫結構中往往產生大量的數據冗余。

主題1主題2用戶2業務系統數據庫數據倉庫查詢用戶1圖1.4數據集市結構問題業務系統數據庫數據倉庫查詢管理服務器用戶1圖1.5單一數據倉庫結構問題：這種體系結構需要構建一個統一的企業體系結構，而且數據存儲過程中需要高昂的存儲費用和維護費用。從數據倉庫的應用情況看，許多企業大多采用單一的數據倉庫，因為數據倉庫中集成了企業的所有數據，使企業能夠使用企業總體視圖對企業總體決策提供幫助。

主題1主題2用戶2數據倉庫業務系統數據庫數據倉庫查詢用戶1圖1.5單一數據倉庫結構局部數據倉庫局部數據倉庫全局數據倉庫局部數據倉庫局部數據倉庫站點A站點C總部站點B站點D圖1.6分布式數據倉庫結構問題：隨著服務器的增加，最后可能會使網絡中的數據傳輸不堪重負。此外，全局數據倉庫與局部數據倉庫中的數據冗余是分布式數據倉庫的又一缺陷。局部數局部數全局數局部數局部數站點A站點C總部站點B站點D圖1.4數據倉庫的參照結構基本功能層：數據抽取，數據篩選、清洗，清洗后的數據加載，設立數據集市，完成數據倉庫的查詢、決策分析和知識的挖掘等操作。數據倉庫的管理層分成數據管理與元數據管理兩部分，主要負責對數據倉庫中的數據抽取、清理、加載、更新等操作進行管理。數據倉庫環境支持層包含數據傳輸和數據倉庫基礎兩部分。數據倉庫的基本功能層數據倉庫的管理層數據倉庫的環境支持層圖1.7數據倉庫總體框架結構1.4數據倉庫的參照結構基本功能層：數據抽取，數據篩選1.4.1數據倉庫基本功能層1.數據倉庫的數據源數據源數據準備區數據倉庫數據集市/知識挖掘庫數據倉庫的數據存取與使用圖1.8數據倉庫功能結構業務數據歷史數據辦公數據Web數據外部數據數據源元數據圖1.9數據源功能結構1.4.1數據倉庫基本功能層1.數據倉庫的數據源數據源業務數據：從組織目前正在運行的業務處理系統那里收集到，并保存在業務處理系統數據庫中的數據。往往由關系型數據庫、非關系型數據庫或文件系統所構成。歷史數據：長期的信息處理過程中所積累下來的數據，一般進行了脫機處理，以磁帶或者其他脫機存儲設施保存，對業務系統的當前運行不起作用。辦公數據：組織內部的辦公系統數據，這些數據分電子數據和非電子數據。電子數據方式保存的數據，主要指電子表格、數據庫或業務數據：從組織目前正在運行的業務處理系統那里收集到，并保存文字處理文檔等形式保存的數據。非電子數據主要是指那些文件、通知、會議紀要等文件。（OCR，文字識別軟件）Web數據：企業通過Internet所獲取的數據，可以通過企業的電子商務系統獲取，也可以通過網絡調查獲取。外部數據：不為企業所操作、所擁有、所控制的數據。這些數據可以以電子形式或者非電子形式保存。數據源數據：屬于元數據管理范圍，在數據倉庫中的所有數據都需要通過元數據管理層來進行管理、控制。文字處理文檔等形式保存的數據。非電子數據主要是指那些文件、通2.數據準備區數據的標準化處理元數據抽取與創建數據的過濾與匹配數據的凈化處理標明數據的時間戳確認數據質量圖1.10數據準備區功能結構圖2.數據準備區數據的標準化處理元數據抽取與創建數據的過濾與匹3.數據倉庫功能結構數據集成與分解數據倉庫的建模元數據瀏覽與導航數據概括與聚集數據的概括數據預算與推導數據的聚集元數據的創建數據翻譯與格式化數據的調整與確認數據轉換與映射建立結構化查詢創建詞匯表圖1.11數據倉庫的功能結構數據重整數據倉庫創建元數據管理3.數據倉庫功能結構數據集成與分解數據倉庫的建模元數據瀏覽與4.數據集市/知識挖掘庫過濾與匹配建立模型元數據瀏覽與導航集成與分割概括概括與聚集聚集元數據的抽取與創建預測與推導調整與確認標明時間維的數據源建立結構化查詢創建詞匯表圖1.12數據集市的結構求精與重整數據集市/知識挖掘庫創建元數據管理4.數據集市/知識挖掘庫過濾與匹配建立模型元數據瀏覽與導航集數據集市/知識挖掘庫的功能結構與數據倉庫的結構極為相似，只是數據集市設立的目的在于為某一部門或某一領域的用戶提供服務，而設立數據倉庫的目的則在于為企業全體用戶提供服務。因此，可將數據集市/知識挖掘庫看成是數據倉庫的一個邏輯上或物理上的子集，數據集市/知識挖掘庫也包含了用戶所需要查詢的詳細數據和概括性數據。從數據集市/知識挖掘庫所包含的主題與數據量看，都比數據倉庫少。數據集市/知識挖掘庫的功能結構與數據倉庫的結構極為相似，只是5.數據倉庫的數據存取與使用數據倉庫直接存取報表處理工具元數據管理與報表數據集市存取分析與決策支持工具數據集市重整業務建模與分析處理工具元數據的抽取與創建轉換為多維結構數據挖掘工具創建局部存儲圖形工具圖1.13數據倉庫存取與使用結構數據倉庫存取與檢索數據倉庫分析與報告元數據管理5.數據倉庫的數據存取與使用數據倉庫直接存取報表處理工具元數1.4.2.數據倉庫的管理層1.數據倉庫的數據管理層圖1.14數據倉庫的數據管理層數據抽取與新數據需求與查詢管理數據加載、存儲、刷新和更新系統安全性與用戶授權管理數據歸檔、恢復及凈化處理圖1.14數據倉庫的數據管理層1.4.2.數據倉庫的管理層1.數據倉庫的數據管理層圖1.12.數據倉庫的元數據管理層圖1.15數據倉庫的元數據管理層數據倉庫、數據集市/知識挖掘庫和詞匯表管理元數據抽取、創建、存儲和更新管理預定義的查詢、報表和索引管理刷新與復制管理登錄、歸檔、恢復與凈化管理圖1.15數據倉庫的元數據管理層2.數據倉庫的元數據管理層圖1.15數據倉庫的元數據管理1.4.3.數據倉庫的環境支持層1.數據倉庫的數據傳輸層圖1.16數據倉庫的數據傳輸曾數據傳輸和傳送網絡客戶-服務器代理和中間件數據復制系統數據傳輸的安全和保障系統圖1.16數據倉庫的數據傳輸層1.4.3.數據倉庫的環境支持層1.數據倉庫的數據傳輸層圖12.數據倉庫的基礎層系統管理工作流程管理存儲系統處理系統圖1.17數據倉庫的基礎層2.數據倉庫的基礎層系統管理工作流程管理存儲系統處理系統圖11.5數據挖掘技術概述1.5.1數據挖掘的發展1.超大規模數據庫的出現2.先進的計算機技術3.經營管理的實際需要4.對數據挖掘的精深計算能力1.5數據挖掘技術概述1.5.1數據挖掘的發展1.超大規模數決策需要信息與知識情報階段：確定問題設計階段：找出解決方案選擇階段：選出解決方案實施階段：實施方案返回情報階段返回設計階段返回選擇階段決策過程的四個階段決策的過程發現那些需要引起注意的征兆并加以解釋,如

銷售滑坡、生產成本猛漲、老顧客對新產品的需求、新競爭對手帶來的威脅等。最優方案由多種因素決定，如成本、實施的難易程度、對員工的要求、方案實施的時間順序等。執行選中的方案，檢測實施的結果，并作出必要的調整。決策需要信息與知識情報階段：確定問題設計階段：找出解決方案選

高效消費者響應(ECR)

及時、準確和無紙的信息流通

流暢，不間斷的產品流通，滿足消費者的需求

供應商零售商商店

消費者

ERP/CM企業資源計劃管理品類管理

SCM供應鏈管理CRM客戶關系管理POS銷售時點系統

商業企業信息系統高效消費者響應(ECR)及時、準確和無紙的數據爆炸，知識貧乏

苦惱:淹沒在數據中，不能制定合適的決策!數據知識決策模式趨勢事實關系模型關聯規則序列目標市場資金分配貿易選擇在哪兒做廣告銷售的地理位置金融經濟POS人口統計生命周期數據爆炸，知識貧乏苦惱:淹沒在數據中，不能制定合適的決策1.5.2數據挖掘的定義各行業電子商務網站算法層商業邏輯層行業應用層商業應用商業模型挖掘算法CRM產品推薦客戶細分客戶流失客戶利潤客戶響應關聯規則、序列模式、分類、聚集、神經元網絡、偏差分析…WEB挖掘網站結構優化網頁推薦商品推薦。。。基因挖掘基因表達路徑分析基因表達相似性分析基因表達共發生分析。。。銀行電信零售保險制藥生物信息科學研究。。。相關行業1.5.2數據挖掘的定義各行業電子商務網站算商行商業應用商業數據挖掘數據庫技術統計分析機器學習模式識別算法其它。。。可視化技術數據挖掘數據庫技術統計分析機器學習模式識別算法其它。。。可視11December2022DataMining:ConceptsandTechniques67數據挖掘與商務智能IncreasingpotentialtosupportbusinessdecisionsEndUserBusinessAnalyst

DataAnalystDBADecision

MakingDataPresentationVisualizationTechniquesDataMiningInformationDiscoveryDataExplorationStatisticalSummary,Querying,andReportingDataPreprocessing/Integration,DataWarehousesDataSourcesPaper,Files,Webdocuments,Scientificexperiments,DatabaseSystems08December2022DataMining:C

從技術角度看，數據挖掘是從大量的、不完全的、有噪聲的、模糊的、隨機的實際數據中，提取隱含在其中的、人們所不知道的、但又是潛在有用的信息和知識的過程。

從商業應用角度看，數據挖掘是一種嶄新的商業信息處理技術、主要特點是對商業數據庫中的大量業務數據進行抽取、轉化、分析和模式化處理，從中提取輔助商業決策的關鍵知識，即從一個數據庫中自動發現相關商業模式。因此數據挖掘可以描述成：按企業既定目標，對大量的企業數據進行探索和分析，揭示隱藏的、未知的或驗證已知的商業規律，并進一步模式化的處理方法。從技術角度看，數據挖掘是從大量的、不完全的、有噪表1-2數據挖掘工具與傳統數據分析工具的比較傳統數據分析工具(DSS/EIS)數據挖掘工具工具特點回顧型的，驗證型的預測型的、發現型的分析重點已經發生了什么預測未來的情況、解釋發生的原因分析目的從過去的事實中列出了管理人員感興趣的事實鎖定未來的可能客戶，以減少未來的銷售成本數據集大小數據維、維中屬性值、維中數據均是少量的數據維、維中屬性值、維中數據均是龐大的啟動方式企業管理人員、系統分析員、管理顧問啟動與控制數據與系統啟動，少量的人員指導技術狀況成熟統計分析工具已成熟，其他工具正在發展中表1-2數據挖掘工具與傳統數據分析工具的比較傳統數據分析1.6數據挖掘技術與工具1.6.1常用數據挖掘技術傳統分析類：常用的數據挖掘模型主要有線性分析和非線性分析、回歸分析、邏輯回歸分析、單變量分析、時間序列數據、最近鄰算法和聚類分析等技術。知識發現類：包含人工神經網絡、決策樹、遺傳算法、粗糙集（RoughSet，RS）和關聯規則等。最新發展的數據挖掘技術：包含文本數據挖掘、Web數據挖掘、可視化系統、空間數據挖掘和分布式數據挖掘技術等。1.6數據挖掘技術與工具1.6.1常用數據挖掘技術傳統分析類1.6.2常用數據挖掘工具按使用方式分類的數據挖掘工具：決策方案生成工具、商業分析工具和研究分析工具。按照數據挖掘技術分類的數據挖掘工具：基于規則和決策樹的工具，基于模糊邏輯的工具和綜合性數據挖掘工具等。按應用范圍分類的數據挖掘工具：專用型數據挖掘工具（SKICAT空間數據挖掘，TASA網絡通信故障）和通用型數據挖掘工具（IM、SPSS和RedBrisk等）。1.6.2常用數據挖掘工具按使用方式分類的數據挖掘工具：決策1.6.3數據挖掘工具的評價標準模式種類的數量解決復雜問題的能力操作能力數據獲取能力數據結果的輸出噪聲數據的處理及挖掘工具的魯棒性1.6.3數據挖掘工具的評價標準模式種類的數量1.6.4常用數據挖掘工具的選擇工具的實用性工具的技術型1.6.4常用數據挖掘工具的選擇工具的實用性1.7數據挖掘的應用1.7.1數據挖掘與數據倉庫

傳統數據庫在聯機事物處理中取得了較大的成功,但在基于事物處理的數據庫幫助決策分析時卻產生了很大的困難。主要原因是傳統數據庫的處理方式和決策分析中的數據需求不相稱，導致傳統數據庫無法支持決策分析活動。1.7數據挖掘的應用1.7.1數據挖掘與數據倉庫1.7.2數據挖掘與數據倉庫業務對象知識應用方案源數據集成數據目標數據預處理數據商業模式業務分析人員數據管理人員數據分析人員業務分析人員確定挖掘對象準備數據建立模型數據挖掘結果分析知識應用1.7.2數據挖掘與數據倉庫業務對象知識應用方案源數據集成數商務智能流程1

Identifybusinessissue2Formulatebusinessquestion3WhatinformationdoIneed4WheredoIfindtheinformation5Retrieveinformation6

Analyse

Information7

Report

answers8

Take

actions商務智能流程1

Identifybusinessissu1.7.3數據挖掘的用戶數據分析人員或稱其為企業管理顧問。要求這些人精通業務，能夠解釋業務對象，并能夠根據具體業務對象要求確定用于數據定義和挖掘的算法。數據分析人員。要求這些人員精通數據挖掘分析技術，并較熟練地掌握統計學，有能力把業務需求轉化為數據挖掘的各步進行操作，并能為每步操作合適的技術。數據管理人員。這些人員需要精通數據管理技術，能夠從數據庫或數據倉庫中收集數據挖掘所需要的數據。1.7.3數據挖掘的用戶數據分析人員或稱其為企業管理顧問。要78知識發現過程(KDD)數據清洗數據集成數據庫數據倉庫知識任務（主題）相關數據數據選擇數據挖掘評估與表示78知識發現過程(KDD)數據清洗數據集成數據庫數據倉庫知識11December2022經典數據挖掘系統的結構數據清洗、集成和選擇數據庫或數據倉庫服務器數據挖掘引擎模式評估用戶界面知識庫數據庫數據倉庫World-WideWeb其它信息存儲庫08December2022經典數據挖掘系統的結構數據清商務智能動態

實時標準化嵌入式商務智能移動商務智能大眾化趨勢供應商的動向易用性商務智能動態實時數據倉庫與數據挖掘楊春博士講師Email:171165@

Tel據倉庫與數據挖掘楊春博士講師平時成績（30-40%）考勤、課堂回答問題、討論：期末成績（60-70%）考核方式：閉卷考試，16或17周。

平時成績（30-40%）數據倉庫與數據挖掘技術(第2版)作者:陳京民

出版社：電子工業出版社

出版日期：2007年11月

ISBN：9787121053054

數據倉庫與數據挖掘技術(第2版)參考書參考書第一章商務智能基本概念

第一章商務智能基本概念1.1商務智能的基本概念1.1商務智能的基本概念信息：有用的數據SenderReceiver處理數據信息知識一個人的垃圾（數據）是另一個人的財富（信息）Dataendowedwithrelevanceandpurpose信息是經過某種加工處理后的數據，是反映客觀事物規律的一些數據。數據是信息的載體,信息是對數據的解釋。

信息：有用的數據SenderReceiver處理數據信息知識第一章商務智能基本概念課件IBM商務智能產品IBM商務智能產品第一章商務智能基本概念課件第一章商務智能基本概念課件第一章商務智能基本概念課件第一章商務智能基本概念課件第一章商務智能基本概念課件SAP

BusinessObjects智能平臺SAPBusinessObjects智能平臺企業數據倉庫ETL(抽取、轉換、加載)即席查詢、預定義報表、自定義報表、OLAP、數據挖掘、專題分析模型元數據管理Web服務器客戶端客戶端客戶端客戶端客戶端大客戶分析數據集市財務分析數據集市客戶分析數據集市...模型庫業務數據庫業務數據庫業務數據庫業務數據庫業務數據庫業務發展分析客戶分析大客戶分析用戶發展分析收益情況分析服務質量分析營銷管理分析財務分析渠道分析反欺詐專題分析客戶流失專題分析...企業數據倉庫ETL(抽取、轉換、加載)即席查詢、預定義報表、商務智能供應商商務智能供應商

商務智能（BI，BusinessIntelligence）的定義

IBM:利用已有的數據資源作出更好的商業決策，它包括數據訪問、數據和業務分析，以及發現新的商業的機會。這說明商務智能的實質是從數據中有效地提取信息，從信息中發現知識，為商務決策和戰略發展。

Microsoft認為商務智能是任何嘗試獲取、分析企業數據以更清楚地了解市場和客戶、改進企業流程、更有效地參與競爭的努力，以便在正確的時間向正確的決策者提供正確的信息。商務智能使企業能夠做出比以前更好的決策。此外，IDC,Business,Objectes,Teradata,MicroStrategy公司也都有對商務智能不同的解釋。

商務智能（BI，BusinessIntellige總而言之，商務智能是由數據倉庫、聯機分析處理和數據挖掘三種信息技術應用于商務活動后所形成的一組信息技術的應用技術。

總而言之，商務智能是由數據倉庫、聯機分析處理和數據挖掘三種信業務數據分析的類型Increasing#ofusersOLAPStatisticalAnalysisStandardQueryReportingDMIncreasingComplexity數據分析技術的發展可分成報表查詢、在線分析處理（OLAP）和數據挖掘3個階段。

業務數據分析的類型IncreasingOLAPStatist數據倉庫是基礎，它提供了商務智能所需要的各種信息；聯機分析處理是商務智能應用之利器，管理決策者使用聯機分析工具對反映企業商務活動的數據倉庫進行智能分析，可以提高企業的市場競爭力；數據挖掘是商務智能的形成之源，利用數據挖掘可以從數據倉庫中尋找企業的商務智能模式，從數據倉庫的海量數據中歸納出商務知識。實例數據倉庫是基礎，它提供了商務智能所需要的各種信息；聯機分析處銷售分析儀表盤銷售分析儀表盤客戶流失分析客戶流失分析目標顧客群目標顧客群信息流暢通了還需要？ERP企業資源規劃系統SCM供應鏈管理商務智能BI（businessintelligence）B2B、B2CCRMInternet等基礎設施數據信息流暢通了還需要？ERPSCM商務智能新一代決策支持系統交易處理系統DSS軟件系統模式OLAP工具資料挖掘工具外部資料使用者使用者界面DSS資料庫數據導向型決策支持系統：事務處理系統等搜集的大量數據，隱藏對決策有用的模式和規則，可以用統計方法、OLAP和數據挖掘等分析得到，以輔助決策分析用。新一代決策支持系統交易處外部資料使用者使用者界面DSS數據導1.1.2商務智能的發展與應用商務智能的發展與應用：電子數據處理系統-〉管理信息系統-〉決策支持系統商務智能的作用：理解、改善、衡量、創造商務智能的作用域：戰略管理、營銷管理、市場管理、客戶關系管理和風險管理

1.1.2商務智能的發展與應用商務智能的發展與應用：電子商務分析：商務風險分析、數據庫營銷分析、智能型客戶關系管理、供應鏈管理OLAP、數據挖掘數據倉庫圖1.1商務智能體系結構1.1.3商務智能的體系結構商務分析：商務風險分析、數據庫營銷分析、智能型客戶關系管理、BusinessIntelligenceArchitectureOperationalandExternalDataWarehousemodelingandConstructionTools(ETL)BusinessIntelligenceApplicationsDecisionSupportToolsQueryandReporting

OLAPInformationMiningAccessenablersApplicationInterfacesMiddlewareServicesDepartmentalwarehouses(datamarts)AdministrationGlobalWarehouseOtherInformationStoresOperationalandExternalDataDataManagementMetadataManagementBusinessIntelligenceArchitec第一章商務智能基本概念課件1.2數據倉庫的發展與展望管理人員常常希望能夠通過對組織中的大量數據進行分析，了解業務的發展趨勢，而傳統的數據庫只保留了當前的業務處理信息，缺乏決策分析所需要的大量歷史信息，為滿足管理人員的決策分析需要，在數據庫的基礎上就產生了適應決策分析的數據環境-數據倉庫（DW，DataWarehouse）1.2數據倉庫的發展與展望管理人員常常希望能夠通過對組織1.2.1從數據庫到數據倉庫

傳統數據庫在聯機事物處理中取得了較大的成功,但在基于事物處理的數據庫幫助決策分析時卻產生了很大的困難。主要原因是傳統數據庫的處理方式和決策分析中的數據需求不相稱，導致傳統數據庫無法支持決策分析活動。這些不相稱主要體現在如下幾個方面：1.2.1從數據庫到數據倉庫傳統數據庫在聯機事物處理中(1)決策處理的系統響應問題：傳統數據庫數據存取頻率高、操作時間快，有較高的響應時間。而在決策分析處理中，有些決策處理請求問題則可能需要系統長達數小時的運行，耗費大量的系統資源，而使事務聯機系統無法忍受。(2)決策數據需求的問題：決策分析需要全面、正確的集成數據，這些數據不僅包括企業內部各部門的數據而且包括企業外部的、甚至競爭對手的相關數據。在決策數據的集成中還需要解決數據混亂的問題（0和1，M&F）。決策分析需要從數據庫中抽取數據，查找有用的數據。(1)決策處理的系統響應問題：傳統數據庫數據存取頻率高、操作數據的集成還涉及外部數據與非結構化數據的應用問題。決策數據一般涉及到長期的大量歷史數據。在決策分析過程中，往往需要經過匯總、概括的數據。(3)決策數據操作的問題：在對數據的操作方式上，事務處理系統往往不能滿足決策人員的需要（訪問權限、用戶身份、報表表現形式）。同時，由于系統響應、決策數據需求和決策數據操作等影響，使企業無法使用現有的事務處理系統去解決決策分析的需要。(4)數據倉庫與傳統數據庫的比較數據的集成還涉及外部數據與非結構化數據的應用問題。決策數據一表1-1數據倉庫與數據庫的對比

對比內容

數據庫

數據倉庫數據內容當前值歷史的、存檔的、歸納的、計算的數據數據目標面向業務操作程序，重復處理面向主題域，分析應用數據特性動態變化，按字段更新靜態、不能直接更新，只能定時添加、刷新數據結構高度結構化、復雜，適合操作計算簡單、適合分析使用頻率高中到低數據訪問量每個事物只訪問少量記錄有的事物可能需要訪問大量記錄對響應時間的要求以秒為單位時間長表1-1數據倉庫與數據庫的對比對比內容數據庫數據倉庫的定義：數據倉庫就是一個面向主題的、集成的、不可更新的、隨時間不斷變化的數據集合，它用以支持企業或組織的決策分析處理。

1.2.2數據倉庫的基本特性數據倉庫的定義：數據倉庫就是一個面向主題的、集成的、不可更新數據倉庫的基本特征(1)數據倉庫的數據是面向主題的：數據倉庫中所有的數據都是圍繞著某一主題組織展開的。例如企業中的客戶、產品、供應商等都可以作為主題看待。(2)數據倉庫的數據是集成的：根據決策分析的要求，將分散于各處的源數據進行抽取、篩選、清理、綜合等工作，最終集成到數據倉庫中。（業務處理系統：在線事務處理系統OLTP、企業資源計劃ERP、企業業務流程重組BPR、電子商務EC）數據倉庫的基本特征(3)數據倉庫是隨時間變化的：數據應該隨著時間的推移而變化；數據的追加和刪除都是時變的；同時，概括數據也是時變的。(4)數據的非易失性：數據倉庫中的數據不進行更新處理，而是一旦數據進入數據倉庫以后，就會保持一個相當長的時間，而且數據主要是用于查詢、分析。(3)數據倉庫是隨時間變化的：數據應該隨著時間的推移而變化；(5)數據的集合性：數據倉庫必須按照主題，以某種數據集合的形式存儲起來。(6)支持決策作用：高層的企業決策者、中層的管理者和基層的業務處理者等不同層次的管理人員均利用數據倉庫進行決策分析，提高管理決策質量。第一章商務智能基本概念課件1.2.3數據倉庫的發展1.基于關系對象數據庫的數據倉庫：將多媒體數據、復雜的數據類型和其他各種類型的數據引入數據倉庫。2.網絡的影響：數據倉庫越來越依賴于網絡進行數據的傳輸、數據的請求處理。3.操作型動態數據倉庫：重在戰術性決策支持，為執行工資的戰略員工提供支持。（EMS-ESB（企業服務總線）追蹤包裹）4.Web應用中的多智能體技術：利用合作伙伴的數據倉庫或Internet系統中的多為數據集進行決策分析活動。1.2.3數據倉庫的發展1.基于關系對象數據庫的數據倉庫1.3數據倉庫的體系結構數據倉庫體系結構建立在其概念基礎之上，并根據商務智能的不同應用情況可以選擇虛擬數據倉庫結構、數據集市結構、單一數據倉庫結構和分布式數據倉庫結構。1.3數據倉庫的體系結構圖1.2數據倉庫的概念結構

業務系統外部數據源數據準備區數據集市/知識挖掘庫數據倉庫數據庫數據集市/知識挖掘庫應用工具應用工具用戶用戶管理工具數據源1.3.1數據倉庫的概念結構圖1.2數據倉庫的概念結構業務系統外部數數

從數據倉庫的概念結構看，應該包含數據源、數據準備區、數據倉庫數據庫、數據集市/知識挖掘庫以及各種管理工具和應用工具。數據倉庫的創建、應用可以利用各種數據倉庫管理工具輔助完成。第一章商務智能基本概念課件業務系統數據庫數據倉庫查詢管理服務器用戶圖1.3虛擬數據倉庫結構問題：這種數據庫由于主要依靠原系統的運行，使原系統的運行效率大幅度下降；系統在操作過程中可能會涉及許多原系統，這些系統中的同一數據缺乏相同字段結構、編碼和關鍵字，而且不同系統中數據的更新不一致，必然會產生在不同時間對同一查詢結果的不同結果。

業務系統數據庫數據倉庫查詢用戶圖1.3虛擬數據倉庫結構問業務系統數據庫數據倉庫查詢管理服務器用戶1圖1.4數據集市結構問題：數據集市的結構往往只能對某一主題進行操作，如果用戶希望對兩個以上主題操作，就要求用戶對這兩個主題的數據結構都了解，否則無法實現多主題的操作；在多主題數據倉庫結構中往往產生大量的數據冗余。

主題1主題2用戶2業務系統數據庫數據倉庫查詢用戶1圖1.4數據集市結構問題業務系統數據庫數據倉庫查詢管理服務器用戶1圖1.5單一數據倉庫結構問題：這種體系結構需要構建一個統一的企業體系結構，而且數據存儲過程中需要高昂的存儲費用和維護費用。從數據倉庫的應用情況看，許多企業大多采用單一的數據倉庫，因為數據倉庫中集成了企業的所有數據，使企業能夠使用企業總體視圖對企業總體決策提供幫助。

主題1主題2用戶2數據倉庫業務系統數據庫數據倉庫查詢用戶1圖1.5單一數據倉庫結構局部數據倉庫局部數據倉庫全局數據倉庫局部數據倉庫局部數據倉庫站點A站點C總部站點B站點D圖1.6分布式數據倉庫結構問題：隨著服務器的增加，最后可能會使網絡中的數據傳輸不堪重負。此外，全局數據倉庫與局部數據倉庫中的數據冗余是分布式數據倉庫的又一缺陷。局部數局部數全局數局部數局部數站點A站點C總部站點B站點D圖1.4數據倉庫的參照結構基本功能層：數據抽取，數據篩選、清洗，清洗后的數據加載，設立數據集市，完成數據倉庫的查詢、決策分析和知識的挖掘等操作。數據倉庫的管理層分成數據管理與元數據管理兩部分，主要負責對數據倉庫中的數據抽取、清理、加載、更新等操作進行管理。數據倉庫環境支持層包含數據傳輸和數據倉庫基礎兩部分。數據倉庫的基本功能層數據倉庫的管理層數據倉庫的環境支持層圖1.7數據倉庫總體框架結構1.4數據倉庫的參照結構基本功能層：數據抽取，數據篩選1.4.1數據倉庫基本功能層1.數據倉庫的數據源數據源數據準備區數據倉庫數據集市/知識挖掘庫數據倉庫的數據存取與使用圖1.8數據倉庫功能結構業務數據歷史數據辦公數據Web數據外部數據數據源元數據圖1.9數據源功能結構1.4.1數據倉庫基本功能層1.數據倉庫的數據源數據源業務數據：從組織目前正在運行的業務處理系統那里收集到，并保存在業務處理系統數據庫中的數據。往往由關系型數據庫、非關系型數據庫或文件系統所構成。歷史數據：長期的信息處理過程中所積累下來的數據，一般進行了脫機處理，以磁帶或者其他脫機存儲設施保存，對業務系統的當前運行不起作用。辦公數據：組織內部的辦公系統數據，這些數據分電子數據和非電子數據。電子數據方式保存的數據，主要指電子表格、數據庫或業務數據：從組織目前正在運行的業務處理系統那里收集到，并保存文字處理文檔等形式保存的數據。非電子數據主要是指那些文件、通知、會議紀要等文件。（OCR，文字識別軟件）Web數據：企業通過Internet所獲取的數據，可以通過企業的電子商務系統獲取，也可以通過網絡調查獲取。外部數據：不為企業所操作、所擁有、所控制的數據。這些數據可以以電子形式或者非電子形式保存。數據源數據：屬于元數據管理范圍，在數據倉庫中的所有數據都需要通過元數據管理層來進行管理、控制。文字處理文檔等形式保存的數據。非電子數據主要是指那些文件、通2.數據準備區數據的標準化處理元數據抽取與創建數據的過濾與匹配數據的凈化處理標明數據的時間戳確認數據質量圖1.10數據準備區功能結構圖2.數據準備區數據的標準化處理元數據抽取與創建數據的過濾與匹3.數據倉庫功能結構數據集成與分解數據倉庫的建模元數據瀏覽與導航數據概括與聚集數據的概括數據預算與推導數據的聚集元數據的創建數據翻譯與格式化數據的調整與確認數據轉換與映射建立結構化查詢創建詞匯表圖1.11數據倉庫的功能結構數據重整數據倉庫創建元數據管理3.數據倉庫功能結構數據集成與分解數據倉庫的建模元數據瀏覽與4.數據集市/知識挖掘庫過濾與匹配建立模型元數據瀏覽與導航集成與分割概括概括與聚集聚集元數據的抽取與創建預測與推導調整與確認標明時間維的數據源建立結構化查詢創建詞匯表圖1.12數據集市的結構求精與重整數據集市/知識挖掘庫創建元數據管理4.數據集市/知識挖掘庫過濾與匹配建立模型元數據瀏覽與導航集數據集市/知識挖掘庫的功能結構與數據倉庫的結構極為相似，只是數據集市設立的目的在于為某一部門或某一領域的用戶提供服務，而設立數據倉庫的目的則在于為企業全體用戶提供服務。因此，可將數據集市/知識挖掘庫看成是數據倉庫的一個邏輯上或物理上的子集，數據集市/知識挖掘庫也包含了用戶所需要查詢的詳細數據和概括性數據。從數據集市/知識挖掘庫所包含的主題與數據量看，都比數據倉庫少。數據集市/知識挖掘庫的功能結構與數據倉庫的結構極為相似，只是5.數據倉庫的數據存取與使用數據倉庫直接存取報表處理工具元數據管理與報表數據集市存取分析與決策支持工具數據集市重整業務建模與分析處理工具元數據的抽取與創建轉換為多維結構數據挖掘工具創建局部存儲圖形工具圖1.13數據倉庫存取與使用結構數據倉庫存取與檢索數據倉庫分析與報告元數據管理5.數據倉庫的數據存取與使用數據倉庫直接存取報表處理工具元數1.4.2.數據倉庫的管理層1.數據倉庫的數據管理層圖1.14數據倉庫的數據管理層數據抽取與新數據需求與查詢管理數據加載、存儲、刷新和更新系統安全性與用戶授權管理數據歸檔、恢復及凈化處理圖1.14數據倉庫的數據管理層1.4.2.數據倉庫的管理層1.數據倉庫的數據管理層圖1.12.數據倉庫的元數據管理層圖1.15數據倉庫的元數據管理層數據倉庫、數據集市/知識挖掘庫和詞匯表管理元數據抽取、創建、存儲和更新管理預定義的查詢、報表和索引管理刷新與復制管理登錄、歸檔、恢復與凈化管理圖1.15數據倉庫的元數據管理層2.數據倉庫的元數據管理層圖1.15數據倉庫的元數據管理1.4.3.數據倉庫的環境支持層1.數據倉庫的數據傳輸層圖1.16數據倉庫的數據傳輸曾數據傳輸和傳送網絡客戶-服務器代理和中間件數據復制系統數據傳輸的安全和保障系統圖1.16數據倉庫的數據傳輸層1.4.3.數據倉庫的環境支持層1.數據倉庫的數據傳輸層圖12.數據倉庫的基礎層系統管理工作流程管理存儲系統處理系統圖1.17數據倉庫的基礎層2.數據倉庫的基礎層系統管理工作流程管理存儲系統處理系統圖11.5數據挖掘技術概述1.5.1數據挖掘的發展1.超大規模數據庫的出現2.先進的計算機技術3.經營管理的實際需要4.對數據挖掘的精深計算能力1.5數據挖掘技術概述1.5.1數據挖掘的發展1.超大規模數決策需要信息與知識情報階段：確定問題設計階段：找出解決方案選擇階段：選出解決方案實施階段：實施方案返回情報階段返回設計階段返回選擇階段決策過程的四個階段決策的過程發現那些需要引起注意的征兆并加以解釋,如

銷售滑坡、生產成本猛漲、老顧客對新產品的需求、新競爭對手帶來的威脅等。最優方案由多種因素決定，如成本、實施的難易程度、對員工的要求、方案實施的時間順序等。執行選中的方案，檢測實施的結果，并作出必要的調整。決策需要信息與知識情報階段：確定問題設計階段：找出解決方案選

高效消費者響應(ECR)

及時、準確和無紙的信息流通

流暢，不間斷的產品流通，滿足消費者的需求

供應商零售商商店

消費者

ERP/CM企業資源計劃管理品類管理

SCM供應鏈管理CRM客戶關系管理POS銷售時點系統

商業企業信息系統高效消費者響應(ECR)及時、準確和無紙的數據爆炸，知識貧乏

苦惱:淹沒在數據中，不能制定合適的決策!數據知識決策模式趨勢事實關系模型關聯規則序列目標市場資金分配貿易選擇在哪兒做廣告銷售的地理位置金融經濟POS人口統計生命周期數據爆炸，知識貧乏苦惱:淹沒在數據中，不能制定合適的決策1.5.2數據挖掘的定義各行業電子商務網站算法層商業邏輯層行業應用層商業應用商業模型挖掘算法CRM產品推薦客戶細分客戶流失客戶利潤客戶響應關聯規則、序列模式、分類、聚集、神經元網絡、偏差分析…WEB挖掘網站結構優化網頁推薦商品推薦。。。基因挖掘基因表達路徑分析基因表達相似性分析基因表達共發生分析。。。銀行電信零售保險制藥生物信息科學研究。。。相關行業1.5.2數據挖掘的定義各行業電子商務網站算商行商業應用商業數據挖掘數據庫技術統計分析機器學習模式識別算法其它。。。可視化技術數據挖掘數據庫技術統計分析機器學習模式識別算法其它。。。可視11December2022DataMining:ConceptsandTechniques147數據挖掘與商務智能IncreasingpotentialtosupportbusinessdecisionsEndUserBusinessAnalyst

DataAnalystDBADecision

MakingDataPresentationVisualizationTechniquesDataMiningInformationDiscoveryDataExplorationStatisticalSumma