1、11大數據時代的數據挖掘與商務智能2第四部分數據管理與數據挖掘概論3數據挖掘概況從20世紀80年代中后期，知識發現的方法、技術和系統，從不同角度、不同領域和不同學科進行了研究和實踐，主要的學科有數據庫、統計學和機器學習。1989年 在底特律第11屆IJCAI會議上的KDD研討會。 1991年MIT 出版社出版了一本書 “Knowledge Discovery in Databases”。1994年召開了一個國際會議(KDD94), 并于1996年由 MIT出版社又出版了一本書 “Advances in Knowledge Discovery and Data Mining”。4數據挖掘概況19

2、95年在加拿大的蒙特利爾召開KDD95，作為第一屆國際KDD會議，以后每年一次，原為AAAI組織，1999年由ACM組織，改為SIGKDD。2006年、第12屆在美國費城（Philadelphia）。2007年在美國加州圣何塞（SIGKDD07) 2008年在美國LAS VEGAS(SIGKDD08)。 “Data Mining and Knowledge Discovery ” 1997年創刊。(Springer，1997，2006）。國外相應的研究小組的建立，接著數據挖掘公司風起云涌。一些大公司建立數據挖掘小組和開發各種產品。國內研究小組的建立，一些公司也開始了數據挖掘項目。5數據挖掘概況

3、數據挖掘是20世紀80年代后期發展起來的一種新興技術。它是商業、企業競爭和技術發展的需求的結果，數據挖掘技術是多種學科的交叉的產物。數據挖掘6數據挖掘任務數據挖掘任務技術分類預測（Predication）：用歷史預測未來描述（Description）：了解數據中潛在的規律數據挖掘的具體任務關聯分析序列模式分類（預測）聚集異常檢測7數據挖掘任務描述性分析聚類分析關聯分析異常點分析、可視化預測性分析分類（離散）回歸分析（連續）時間序列分析8數據挖掘概況數據挖掘技術基本內容框架數據預處理 （1）數據清理 （2） 數據變換 （3）數據集成 （4）數據歸約 （5）數據離散化數據挖掘基本方法 （1）關聯規

4、則（2）分類與預測（3）聚類數據挖掘的深入內容 （1）時間序列和序列（2）空間數據挖掘 （3）文本挖掘 （4）Web挖掘 （5）多媒體挖掘 （6）可視化9數據挖掘概況由于任務不同，要求不同，數據不同，沒有單一的數據挖掘軟件可適用所有的情形。造成了各種方法都在快速發展，各種數據挖掘軟件不斷增多。但商家近年來有逐漸減少的趨勢，大公司的介入，一些大的有實力的公司開始更多占領市場。基本方法如上所述。軟件功能和性能有很大差異。選軟件應考慮的因素很多。10數據挖掘概況 從問題回答的角度：有些問題可明確和準確回答（要求這樣）有些問題是給出可能的回答有些問題可能給出不太明確的回答有些問題可能給出可能錯誤的回答

5、。這些回答從數據的角度：有些是查詢，有些是統計，有些是歸納，有些是推斷，有些預測，有些是分析。數據挖掘要回答那些不是簡單查詢和統計回答問題。11數據挖掘概況無法準確回答的問題信貸中信用評估，信用卡評級，信用卡欺詐銷售一個產品 廣告 材料 郵寄給誰保留客戶, 爭取客戶交叉銷售違規操作，欺詐行為發現，異常發現 貨架貨物的擺放國民經濟各指標間的關系疾病, 癥狀, 藥物, 療效之間的關系DNA序列的相似分析導致各種疾病的特定基因序列模式憑理論，經驗，群體分析，憑數據分析，挖掘12數據挖掘概況各種部門都面臨不同的挑戰一些面臨競爭的部門與企業： 銀行，電信，保險，證券，商場，各種企業。這些企業關心的問題：

6、爭取客戶，增大銷售，提高利潤。一些壟斷部門與企業： 電力，稅務，社保。面對抱怨，面對抗爭，面對欺詐。政府和企業面臨科學決策13數據挖掘概況數據倉庫和數據挖掘項目提到日程數據分析、決策支持系統、商業智能（BI）、 知識管理、客戶關系管理(CRM)、物流與供應鏈管理(SCM)、企業資源計劃(ERP)、各種預測。政府、科技部門、大型企業（工廠，公司，商場），經濟部門、金融機構（銀行、證券、保險）、電子商務、電子政務、各種“金” 工程。14數據挖掘概況數據倉庫 將不同數據源、多年的數據經“整合” 成一個有組織的便于分析的結構化的數據環境。 組織數據方法。數據挖掘： 從數據中找出（推出，歸納出，預測、挖

7、掘）有用的信息，規律，知識。 分析數據方法。15數據庫集成：數據倉庫技術所有的數據在物理上集中在一起 虛擬數據庫技術數據表面上或者在邏輯上是集成在一起，然而它們的物理存貯則是分散在Internet不同的數據服務器上 數據挖掘概況16從兩種數據庫集成技術來看：數據倉庫技術實用于數據庫變動不太頻繁、數據庫中數據類型和使用方法比較接近的情況。虛擬數據庫技術實用于數據更新速度快、數據類型和使用方法完全不一樣的情況。 數據挖掘概況17聯機分析處理60年代，關系數據庫之父E.F.Codd提出了關系模型，促進了聯機事務處理(OLTP)的發展(數據以表格的形式而非文件方式存儲)。1993年，E.F.Codd提

8、出了OLAP概念，認為OLTP已不能滿足終端用戶對數據庫查詢分析的需要，SQL對大型數據庫進行的簡單查詢也不能滿足終端用戶分析的要求。用戶的決策分析需要對關系數據庫進行大量計算才能得到結果，而查詢的結果并不能滿足決策者提出的需求。因此，E.F.Codd提出了多維數據庫和多維分析的概念，即OLAP。 OLTP數據 OLAP數據 原始數據 導出數據 細節性數據 綜合性和提煉性數據 當前值數據 歷史數據 可更新 不可更新，但周期性刷新 一次處理的數據量小 一次處理的數據量大面向應用，事務驅動 面向分析，分析驅動面向操作人員，支持日常操作 面向決策人員，支持管理需要18OLAP定義OLAP(聯機分析處

9、理) 是使分析人員、管理人員或執行人員能夠從多種角度對從原始數據中轉化出來的、能夠真正為用戶所理解的、并真實反映企業維特性的信息進行快速、一致、交互地存取，從而獲得對數據的更深入了解的一類軟件技術。(OLAP委員會的定義)OLAP的目標是滿足決策支持或多維環境特定的查詢和報表需求，它的技術核心是“維”這個概念，因此OLAP也可以說是多維數據分析工具的集合。19數據倉庫與數據挖掘所處地位決策支持系統OLAP數據挖掘數 據 倉 庫數 據 庫各種信息系統各種管理系統搜索、抽取過濾萬維網信息發布信息檢索ACRMCRM20數據挖掘發現知識類型 廣義型知識：反映同類事物共同性質的知識 特征型知識：反映事物

10、各方面特征的的知識 差異型知識：反映不同事物之間屬性差別的知識 關聯型知識：反映事物之間依賴和關聯的知識 偏差型知識：揭示事物偏離常規的異常現象的知識 預測型知識：根據歷史與當前數據推測未來數據21(B) DataInformation(A) Knowledge(Arrangement)(Transmit)Knowledge transmitted by character, sign, voice, etc.(B) Data arranged to be useful for decision makingINFORMATION(Recognition)(C) Knowledge(C) Re

11、cognition memorized personally or socially(D) Judgment or a system of judgment which has objective validityKNOWLEDGE(D) Knowledge(Judgment)(D) Knowledge(Judgment)What is the energy to bring such transformation?(E) Computers ability to judge things automatically (F) Peoples ability to understand and

12、learn thingsINTELLIGENCEInformation ScienceManagement ScienceKnowledge Science+Information, Knowledge, and Intelligence22A theory of organizational knowledge creation, which suggests that new knowledge is created by the interaction between explicit and tacit knowledge through the spiral of Socializa

13、tion, Externalization, Combination, and Internalization. Shared mental modelsor technical skills1Metaphors, analogies, concepts, hypotheses, or models2Linkingexplicitknowledge3Learning by doing4I. Nonaka and H. Takeuchi The Knowledge-Creating Company. How Japanese Companies Create the Dynamics of In

14、novation. Oxford University Press, 1995.GroupexplicitknowledgeIndividual explicitknowledgeIndividualtacitknowledgeGrouptacitknowledgeCombinationInternalizationSocializationExternalizationKey Factor in Establishing the SchoolProf. Nonaka23應 用市場分析、預測和管理行銷策略, 客戶關系管理(CRM), 購貨籃分析, 市場分割風險分析、預測和管理風險預警, 客戶挽

15、留, 改進的保險業, 質量控制, 競爭分析欺詐檢測和管理證券違規操作，稅務偷漏，瞞報，信用卡欺詐行為判斷信用評估銀行信貸評估，信用卡評估24應 用宏觀經濟(指標之間關聯,經濟指標的預測,預警)電信（客戶細分，客戶流失，客戶挽留）金融（信用評估，洗錢，欺詐)情報（文本挖掘，新聞組, 電子郵件, 文檔)Web 挖掘（信息過濾,個性化服務，異常行為，)DNA 數據分析（一些引起疾病的DNA序列，)人力資源配置（如何有效進行人力分配）醫療診斷中藥配伍規律零售業科學（天氣預報，災難預測25KDnuggets對數據挖掘各種情況進行了調查從應用領域使用工具使用方法數據挖掘組的地位數據庫的大小（10G以上，1

16、00-1000G)數據格式（文本和工具特定格式居多）26銀行 17%生物/基因 8%E商務/Web 15%欺詐檢測 8%保險 6%投資/股票 4%藥品 5%零售業 6%科學數據 8%電信 11%其他 11%應用領域情況（2001）27應用領域情況 2 0 0 628應用領域情況（2008）170 voters29數據挖掘軟件 (May 2008) 347 voters30數據挖掘軟件 (May 2008) 2012年 R以30.7%的得票率榮登榜首3132從技術看數據挖掘使用技術情況784 votes total (Feb 2005) Decision Trees/Rules (107)決策樹

17、 14%Clustering (101)聚類 13%Regression (90)回歸 11%Statistics (80)統計 10%Visualization (63)可視化 8%Neural Nets (61)神經網絡 8%Association rules (54)關聯規則 7%Nearest Neighbor (34)最近鄰 4%SVM (Support vector machine) (31)支持向量機 4%Bayesian (30)貝葉斯 4%Sequence/Time series analysis (26)序列/時間序列分析 3%Boosting (25) 增強 3%Hybr

18、id methods (23) 混合方法 3%Bagging (20) 袋裝 3%Genetic algorithms (19)遺傳算法 2%Other (20) 其他 3%33數據挖掘任務類型 ( Dec 2007) 170 voters34數據類型 ( Sep 2008) 35數據挖掘系統的典型架構數據倉庫 數據清理與數據集成過濾 數據庫數據庫、數據倉庫管理系統數據挖掘引擎模型、模式評價可視化用戶界面數據挖掘方法庫其它數據源用戶知識庫World-WideWebOther InfoRepositories36各行業電子商務網站算法層商業邏輯層行業應用層商業應用商業模型挖掘算法CRM產品推薦客

19、戶細分客戶流失客戶利潤客戶響應關聯規則、序列模式、分類、聚集、神經元網絡、偏差分析WEB挖掘網站結構優化網頁推薦商品推薦。基因挖掘基因表達路徑分析基因表達相似性分析基因表達共發生分析。銀行電信零售保險制藥生物信息科學研究。相關行業綜合的數據挖掘解決方案（復旦）371. 業務分析Data SourceData Source 2. 數據收集與整理3 數據分析與處理4. 財務指標展示6.數據挖掘結果的解釋和展示7. 系統建設8. 嘗試應用5. 數據挖掘建模商業銀行客戶違約模型建立38數據挖掘在我國的前景國外數據挖掘已相當普遍，各大數據庫公司與典型產品（IBM, Oracle, Microsoft)

20、SPSS, SAS, BO國內情況如何：應用普遍性？對其相信程度？制約的因素？（市場規范程度？ 消費者成熟程度？ 人為因素程度？ ）國內尚處發展階段，（周期長，效益不明顯，數據積累不夠，人的認識程度，）39為什么沒有廣泛使用？數據挖掘正在快速的發展技術的研究和開發已經走在很前沿的地方數據挖掘應用面已經擴充了很多但是仍然沒有希望的高，為什么？希望在多少年內達到數十億元的盈利？是一種增值服務（Not bread-and-butter）不能認為高不可攀，所以不去過問是一門年輕的技術，需要和實際結合，解決現實問題40數據挖掘國內應用存在的問題數據積累不充分、不全面業務模型構建困難缺少有經驗的實施者41

21、數據挖掘的方法論42知識發現（KDD）的過程431.數據的選擇與抽樣 根據用戶的需要從數據庫中選擇或抽樣一部分數據。2.數據預處理（1）數據的過濾：除噪聲去冗余 （2）數據的添補（3）數據歸約與約簡3.數據轉換： 數據轉換的主要目的是消減數據維數或維數縮減4.數據挖掘：挖掘方法的使用5.結果的評價 （1）可視化表示（2）解釋（3）知識的使用6.循環44KDD過程數據挖掘: KDD過程的核心。Data CleaningData IntegrationDatabasesData WarehouseKnowledgeTask-relevant DataSelectionData MiningPatt

22、ern Evaluation45數據挖掘的方法論有許多數據挖掘的方法論，比較典型有CRISP-DM （Cross Industry Standard Process for Data Mining） SAS 提出的數據挖掘方法論SEMMA (Sample,Explore,Modify,Model Access)IBM 提出的通用數據挖掘方法（The generic data mining method)46數據挖掘的方法論KDnugets 調查情況：各組織機構、公司、個人進行數據挖掘時使用的方法論(Aug 2007) 47CRISP-DM NCR SPSS等公司提供CRISP-DM（跨行業數據

23、挖掘標準）數據挖掘方法論實現。主要包括以下六個主要環節： 問題（業務）理解(Business Understanding)數據理解(Data Understanding) 數據準備(Data Preparation)建立模型(Modeling )模型評估(Evaluation) 方案實施(Deployment)48CRISP-DM1.業務問題理解（Business Understanding）要解決哪類問題：在數據挖掘之前，收集與該項目有關的信息，確定數據挖掘要解決哪類問題。并把要解決的問題轉化為數據挖掘問題。資源的評估： 硬件資源，軟件資源，數據資源， 人力資源（管理人員，業務人員，技術人員

24、）數據評估：數據數量，數據質量評估。項目成功估計：成功后的效益，相應人員（分 析、維護）的增加。49如：一個電信領域的數據挖掘項目問題可為： 一些優質客戶有什么特征？ 哪些是不良客戶，他們有什么特征？ 在欠費客戶中，哪些是惡意的欠費， 哪些是善意的欠費。 哪些客戶可能會有最好的潛力？ 通過什么樣的標準來細分客戶？ 如何來衡量客戶帶來的價值？ 哪些是高價值客戶？如何去保住他們。50CRISP-DM2. 理解數據（ Data Understanding ）從哪里進行數據的收集數據來源有那些各數據源數據描述：格式，含義數據質量外來數據有那些對數據的含義一定要有深刻的理解才有可能從中找出（挖掘）規律和

25、知識。51CRISP-DM3. 準備數據（Data Preparation）數據選擇數據清理數據重構數據整合規格化：定出范圍標準化：解決不一致數據準備會占用整個項目50%以上時間52CRISP-DM4. 建立模型（Modeling）數據匯總概念描述關聯規則相關分析分類與預測聚類53CRISP-DM5. 方案評估（Evaluation）挖掘結果（獲得知識的）評估挖掘過程的評估來決定是否要反復，KDD是迭代過程54迭代過程55CRISP-DM6. 方案實施(Deployment)發布挖掘結果（獲得知識的）評估決定實施計劃Crisp-DM 1.0CRISP-DM 2.0 SIG WORKSHOP A

26、NNOUNCEDCHICAGO, SEPTEMBER 26, 2006 56CRISP-DM各階段占用時間和重要性1%10%方案實施5%10-20%建立模型和模型評估 15%50%數據準備5%10-20%數據理解70%10%問題理解占項目成功的重要性花費時間57數據挖掘需要的人員 業務分析人員：要求精通業務，能夠解釋業務對象，并根據各業務對象確定出用于數據定義和挖掘算法的業務需求。數據分析人員：精通數據分析技術，并對統計學有較熟練的掌握，有能力把業務需求轉化為數據挖掘的各步操作，并為每步操作選擇合適的技術。數據管理人員：精通數據管理技術，并從數據庫或數據倉庫中收集數據。 58數據挖掘軟件59數

27、據挖掘軟件的現狀（國外）Data Mining / Analytic Software Tools 534 voters (May 2007) 60數據挖掘軟件的現狀（國內）大部分處于科研階段各大學和科研機構從事數據挖掘算法的研究有一些公司在國外產品基礎上開發的特定的應用IBM Intelligent MinerSAS Enterprise Miner自主知識產權的數據挖掘軟件61數據挖掘軟件的發展代特征數據挖掘算法集成分布計算模型數據模型第一代作為一個獨立的應用支持一個或者多個算法 獨立的系統單個機器向量數據第二代和數據庫以及數據倉庫集成多個算法：能夠挖掘一次不能放進內存的數據數據管理系統，

28、包括數據庫和數據倉庫同質、局部區域的計算機群集有些系統支持對象,文本和連續的媒體數據第三代和預測模型系統集成 多個算法數據管理和預測模型系統intranet/extranet網絡計算支持半結構化數據和web數據第四代和移動數據/各種計算設備的數據聯合 多個算法數據管理、預測模型、移動系統移動和各種計算設備普遍存在的計算模型 Robert Grossman的觀點 (National Center for Data Mining, University of Illinois at Chicago)62數據挖掘軟件的發展第一代數據挖掘軟件特點支持一個或少數幾個數據挖掘算法 挖掘向量數據（vecto

29、r-valued data） 數據一般一次性調進內存進行處理 典型的系統如Salford Systems公司早期的CART系統() 缺陷如果數據足夠大，并且頻繁的變化，這就需要利用數據庫或者數據倉庫技術進行管理，第一代系統顯然不能滿足需求。63第一代數據挖掘軟件 CBA新加坡國立大學基于關聯規則的分類算法，能從關系數據或者交易數據挖掘關聯規則，使用關聯規則進行分類和預測64數據挖掘軟件的發展第二代數據挖掘軟件特點與數據庫管理系統（DBMS）集成 支持數據庫和數據倉庫，和它們具有高性能的接口，具有高的可擴展性 能夠挖掘大數據集、以及更復雜的數據集 通過支持數據挖掘模式（data mining s

30、chema）和數據挖掘查詢語言增加系統的靈活性 典型的系統如DBMiner，能通過DMQL挖掘語言進行挖掘操作缺陷只注重模型的生成，如何和預言模型系統集成導致了第三代數據挖掘系統的開發65數據挖掘軟件的發展第二代數據挖掘軟件 DBMiner66數據挖掘軟件的發展第二代軟件 SAS Enterprise Miner67數據挖掘軟件的發展第三代數據挖掘軟件特點和預言模型系統之間能夠無縫的集成，使得由數據挖掘軟件產生的模型的變化能夠及時反映到預言模型系統中 由數據挖掘軟件產生的預言模型能夠自動地被操作型系統吸收，從而與操作型系統中的預言模型相聯合提供決策支持的功能 能夠挖掘網絡環境下（Interne

31、t/Extranet）的分布式和高度異質的數據，并且能夠有效地和操作型系統集成 缺陷不能支持移動環境68數據挖掘軟件的發展第三代軟件 SPSS Clementine以PMML的格式提供與預言模型系統的接口69數據挖掘軟件的發展第四代數據挖掘軟件特點目前移動計算越發顯得重要，將數據挖掘和移動計算相結合是當前的一個研究領域。 第四代軟件能夠挖掘嵌入式系統、移動系統、和普遍存在（ubiquitous）計算設備產生的各種類型的數據 第四代數據挖掘原型或商業系統剛剛起步，PKDD2001上Kargupta發表了一篇在移動環境下挖掘決策樹的論文，Kargupta是馬里蘭巴爾的摩州立大學（Universit

32、y of Maryland Baltimore County）正在研制的CAREER數據挖掘項目的負責人，該項目研究期限是2001年4月到2006年4月，目的是開發挖掘分布式和異質數據（Ubiquitous設備）的第四代數據挖掘系統。 70數據挖掘軟件的發展第一代系統與第二代相比因為不具有和數據管理系統之間有效的接口，所以在數據預處理方面有一定缺陷 第三、四代系統強調預言模型的使用和在操作型環境的部署 第二代系統提供數據管理系統和數據挖掘系統之間的有效接口 第三代系統另外還提供數據挖掘系統和預言模型系統之間的有效的接口 目前，隨著新的挖掘算法的研究和開發，第一代數據挖掘系統仍然會出現，第二代系

33、統是商業軟件的主流，部分第二代系統開發商開始研制相應的第三代數據挖掘系統，比如 IBM Intelligent Score Service。第四代數據挖掘原型或商業系統剛剛起步。71數據挖掘軟件的發展數據挖掘軟件發展的三個階段獨立的數據挖掘軟件橫向的數據挖掘工具集縱向的數據挖掘解決方案Gregory Piatetsky-Shapiro的觀點（the President of KDnuggets ）72數據挖掘軟件的發展獨立的數據挖掘軟件（95年以前）特點獨立的數據挖掘軟件對應第一代系統，出現在數據挖掘技術發展早期，研究人員開發出一種新型的數據挖掘算法，就形成一個軟件。這類軟件要求用戶對具體的算

34、法和數據挖掘技術有相當的了解，還要負責大量的數據預處理工作。比如C4.5決策樹，平行坐標可視化（parallel-coordinate visualization）。 73橫向的數據挖掘工具集（95年開始）發展原因隨著數據挖掘應用的發展，人們逐漸認識到數據挖掘軟件需要和以下三個方面緊密結合：1）數據庫和數據倉庫；2）多種類型的數據挖掘算法；3）數據清洗、轉換等預處理工作。隨著數據量的增加，需要利用數據庫或者數據倉庫技術進行管理，所以數據挖掘系統與數據庫和數據倉庫結合是自然的發展。 現實領域的問題是多種多樣的，一種或少數數據挖掘算法難以解決 挖掘的數據通常不符合算法的要求，需要有數據清洗、轉換等

35、數據預處理的配合，才能得出有價值的模型 74橫向的數據挖掘工具集（95年開始）發展過程隨著這些需求的出現，1995年左右軟件開發商開始提供稱之為“工具集”的數據挖掘軟件特點此類工具集的特點是提供多種數據挖掘算法 包括數據的轉換和可視化 由于此類工具并非面向特定的應用，是通用的算法集合，可以稱之為橫向的數據挖掘工具（Horizontal Data Mining Tools） 由于此類工具并非面向特定的應用，是通用的算法集合，所以稱之為橫向的數據挖掘工具典型的橫向工具有IBM Intelligent Miner、SPSS的Clementine、SAS的Enterprise Miner、SGI的Mi

36、neSet、Oracle Darwin等 75橫向的數據挖掘工具集（95年開始）IBM Intelligent MinerSPSS的ClementineSAS的Enterprise MinerSGI的MineSetOracle Darwin76縱向的數據挖掘解決方案（99年開始）發展原因隨著橫向的數據挖掘工具的使用日漸廣泛，人們也發現這類工具只有精通數數據挖掘算法的專家才能熟練使用，如果對算法不了解，難以得出好的模型 從1999年開始，大量的數據挖掘工具研制者開始提供縱向的數據挖掘解決方案（Vertical Solution），即針對特定的應用提供完整的數據挖掘方案 對于縱向的解決方案，數據挖掘技術的應用多數還是為了解決某些特定的難題，而嵌入在應用系統中77縱向的數據挖掘解決方案（99年開始）在證券系統中嵌入神經網絡預測功能在欺詐檢測系統中嵌入欺詐行為的分類/識別模型在客戶關系管理系統中嵌入客戶成簇/分類功能或客戶行為分析功能在機器維護系統中嵌入監/檢測或識別難以定性的設備故障功能在數據庫營銷中嵌入選擇最可能購買產品的客戶功能在機場管理系統中嵌入旅客人數預測、貨運優化功能在基因分析系統中嵌入DNA識別功能在制造/生產系統