1、定義：數據挖掘(Data Mining,或稱DM)又稱為數據庫中的知識發現(Knowledge Discovery from Database，簡稱KDD)數據挖掘是一個從不完整的、不明確的、 大量的并且包含噪聲，具有隨機性的實際應用數據中，提取出隱含其中潛在有用 的知識或模式的過程。基本概念：文獻：數據挖掘算法及其應用研究數據挖掘中聚類分析算法的研究與應用近十多年來，數據挖掘在全世界信息產業界受到了極大的關注，并飛速發展， 究其原因，在于全球信息技術的迅速發展和互聯網的快速普及造成了數據過量和 信息爆炸，人們迫切需要有這樣一種技術可以幫助他們從浩如煙海的信息中找出 他們真正需要的、有價值的那

2、一部分信息和知識。而數據挖掘正是解決以上問題 的有效手段。關于數據挖掘，最簡單明確的表述是從海量、混雜的數據里挖掘或 者提取有用模式或知識的一個過程。數據挖掘可以說是一門跨多個學科和知識領 域的新興課題，它將人們應用數據的方式從原本簡單的查詢提升至在數據里挖掘 與發現知識以對決策行為提供支持。而為了能滿足人們從數據里發現知識的需 求，來自不同領域，如數據庫領域、模式識別領域、機器學習領域、人工智能領 域、統計學領域、可視化領域和并行計算領域等的諸多優秀的研究者和技術專家 都致力于研究這個新興的課題一一數據挖掘，不斷研究和創造出優秀的研究成 果，也使得數據挖掘成為了新的技術熱點。通過數據挖掘可得

3、到多種知識，而這 些知識最終可以應用到多個方面，包括給相關組織和個人提供決策支持。在一般 情況下用戶并不了解大量的數據中蘊藏了哪些有意義有價值的信息，所以，對數 據挖掘系統來說，應該同時能夠搜索發現多種形式的信息知識，進而滿足用戶的 實際要求和期望。其主要有三個特點：（1）海量數據。（2）未知的有價值的規律。數據挖掘所發現的規律，應該是有用的并且不應該 是顯而易見的，應該是對不同的任務來說有意義的、隱藏的規律。（3）數據挖掘是一個過程。他需要數據理解、業務理解、數據準備、評估、建 模、部署等一系列步驟，數據挖掘人員的業務能力和分析能力對成功有重要的影 響。數據挖掘的主要有任務有兩點：描述型和分

4、類預測型的任務。描述型的任務是指 通過數據庫數據的自身內部聯系，從而得到數據庫中數據關系或者數據庫的概要 描述。分類預測型的任務是指通過現有的已經知道的分類的數據學習模型以及類 的標簽的區別，稱作為預測型和分類型。數據挖掘的由來：上世紀九十年代，隨著數據庫系統的廣泛應用和網絡技術的高速發展，數據庫技 術也進入一個全新的階段，即從過去僅管理一些簡單數據發展到管理由各種計 算機所產生的圖形、圖像、音頻、視頻、電子檔案、Web頁面等多種類型的復雜 數據，并且數據量也越來越大。在給我們提供豐富信息的同時，也體現出明顯的 海量信息特征。信息爆炸時代，海量信息給人們帶來許多負面影響，最主要的就 是有效信息

5、難以提煉。過多無用的信息必然會產生信息距離（信息狀態轉移距離, 是對一個事物信息狀態轉移所遇到障礙的測度，簡稱DIST或DIT ）和有用知識的 丟失。這也就是約翰內斯伯糧John Naisbert)稱為的“信息豐富而知識貧乏” 窘境。因此，人們迫切希望能對海量數據進行深入分析，發現并提取隱藏在其中 的信息，以更好地利用這些數據。但僅以數據庫系統的錄入、查詢、統計等功能, 無法發現數據中存在的關系和規則，無法根據現有的數據預測未來的發展趨勢, 更缺乏挖掘數據背后隱藏知識的手段。正是在這樣的條件下，數據挖掘技術應運 而生。數據挖掘的研究及其應用現狀：文獻：數據挖掘研究現狀及發展趨勢數據挖掘研究現狀

6、綜述數據挖 掘綜述每年有KDD、PAKDD和ECML&PKDD三大學術會議KDD( Knowledge Discovery in Databases)國際學術大會數據挖掘技術出現于 20世紀80年代末，它促成了數據庫中的知識發現(KDD)產生。在1989年美國 底特律召開的第十一屆國際聯合人工智能學術會議上首次提到知識發現這一概 念，到1993年，美國電氣電子工程師學會(IEEE)的知識與數據工程(Knowledge and Data Engineering)會刊出版了 KDD技術專刊，發表的論文和摘要體現了當 時KDD的最新研究成果和動態。據統計顯示，從1995年至2007年召開的13次 K

7、DD國際學術大會中，9次都在美國主要城市(如紐約、芝加哥、華盛頓等)舉 辦，其余4次均在加拿大舉辦，從未在北美以外地區舉辦過。表 1 KDD (Krukdge Discoveiy and Ehta Nfining) Xfeetings 問InreimtiaiiaJCflaference m KDDDateCity13*August 2007San Jose. CA. USAIFAiigii&t 2006Philadelphia. FA, USAll1Aiigii&t 2005Chicago, USA郵August 2004Seattle, WA. USAgnAiigii&t 2003Washi

8、ntnL DC. USAAugust 2002EdmcDttBJ, Alberta. Canada7*August 2001San FiBnciaca, CA. USAAl倒st 2000Easton. MA. USA并AiigiEt 1999San Di 漁 CA. USA41Ali號iEt 1998New York: NY: USAAli號iEt 1997Nirapcrt Beach. CAAAli號iEt 1996Parti and, ORI1August 1995XfcmreM CanadaPAKDD( Pacific- Asia Conference on KDD)學術會議1997年

9、，也就是首屆蒙特利爾KDD國際學術大會召開之后的兩年，PAKDD學術會議在亞太地區順利召開，這標志著亞太地區數據挖掘研究進入發展時期。PAKDD會議每年召開一次，從1997年至2007年的11年中，亞洲和 大洋洲的主要國家都成功舉辦過該項會議。表2 Pacific- Asia Conference on KDD( PAKDD)45PAKDDDateCity11世May 2007Nanjing. China10*April 2006Singapore9血May 2005Hanoi, Vietnam8*May 2004Sydney, AustraUa7血April 2003Seoul, Koiea

10、6血May 2002Taipei, Taiwan5血April 2001Houg Koug, China鏟April 2000Kyoto, Japan3血April 1999Beijing, China勺血April 1998Melbomne, Australia1血1997SingaporeECML/PKDD 學術會議(European Conference on Machine Learning&European Conference on Principles and Practice of Knowledge Discovery inDatabases)是主要由歐洲大陸范圍內的一項關于

11、機器學習、數據庫中知識發現的 原理與實踐歐洲會議的國際會議。數據挖掘主要應用領域市場分析和預測:大型超市銷售分析與預測、銷售渠道與價格分析等；金融、銀行；如自動投資系統、可預測最佳投資時機；工業生產：主要用于發現最佳生產過程；科學研究:天文定理的發現、用于分析地殼的構造活動等；Web數據挖掘；站點訪問模式分析、網頁內容自動分類;表1.數據挖掘應用比重表2.數據挖掘不同領域增長率liidustnes/fieldsPr叩 cation (%) 2003-2005Propoi1ian(%)June 2006Proportion%)June 2007CRM34.9038.7426.10Banking3

12、4.230.9023.90Direct MarketingFundraising22.8219.8220.30Science11 4110.8118.S0Fraud Detection20.8121.6218.80Telecom15 4412.6115.20Credit Scoraig23 4913.9213.80Othed7.3813.5113.00Biotech Genoniics73815.3211.60Web usage mining10.8110.10Retail16.789.9110.10liidustnes/fieldsProportion of growth fioin 200

13、6 to 2007Banking3200%Eutertaininent Music200%Science117%Health care,-HR100%Medical. Pharnia63%Jutik email Anti- spam50%Telecom50%Government Military43%E- commerce33%Manufectiiriiig29%數據挖掘的算法平臺發展第一代數據挖掘軟件，支持一個或少數幾個數據挖掘算法，這些算法設計用于數 據向量挖掘，多用于商業系統。Salford Systems公司早期的CART系統就屬于這 種系統。新加坡國立大學研制的CBA,其基于關聯規則

14、的分類算法，能從關系數 據或者交易數據中挖掘關聯規則，利用關聯規則進行分類和預測。第二代數據挖掘軟件系統與數據庫管理系統(DBMS)集成，支持數據庫和數據 倉庫，具有高性能的接口，具有較高的可擴展性。能夠挖掘大數據集以及更復雜 的數據集和高維數據，但這一代的數據挖掘軟件只注重模型的生成，典型代表有DB Miner 和 SAS Enterprise Miner o第三代數據挖掘系統的特點是和預言模型系統之間能夠實現無縫的集成，使得由數據挖掘軟件產生的模型的變化能夠及時反映到語言模型系統中，由數據挖 掘軟件產生的預言模型能夠自動地被操作系統吸收，從而與操作型系統中的語 言模型相聯合提供決策支持的功

15、能。它能夠挖掘網絡環境下(Internet/Intranet/Extranet)的分布式和高度異質的數據，并且能夠有效地和操作 型系統集成。其缺點是不能支持移動環境。這一代數據挖掘系統關鍵的技術之一 是提供對建立在異質系統上的多個預言模型以及管理這些預言模型的元數據提供第一級別的支持。SPSS Clementine就是屬于這一代的產品。第四代軟件能夠挖掘嵌入式系統、移動系統和普遍存在的計算設備產生的各種類 型的數據。目前國外技術成熟、有較強產業化能力的數據挖掘軟件，其中主要的有:SAS Enterprise Miner: SAS 系統全稱為 Statistics Analysis System

16、,是美國使用 最為廣泛的三大著名統計分析軟件(SAS, SPSS和SYSTAT)之一，被譽為統計分 析的標準軟件。1997年SAS發布了 SAS Enterprise Miner,這個工具為用戶提供 了用于建模的一個圖形化流程處理環境，并且它有一組常用的數據挖掘算法，包 括決策樹、神經網絡、回歸、關聯等，還支持文本挖掘。SAS主頁地址： HYPERLINK / /SPSS Clementine: SPSS是世界上最早的統計分析軟件之一。1998年末SPSS收購了英國ISL公司，通過繼承獲得了這家公司的Clementine數據挖 掘包。Clementine是首次引入數據挖掘流概念的產品之一。它允

17、許用戶在同一個工作流環境中清理數據、轉換數據和構建模型。 HYPERLINK /software/analytics/spss/ /software/analytics/spss/IBM Intelligent Miner:包括分析軟件工具 Intelligent Miner for Data和 IntelligentMiner for Text,不僅可以尋找包含于傳統文件、數據庫、數據倉庫和數據中心中的隱含信息，更允許企業從文本信息中獲取有價值的客戶信息。Intelligent Miner使用預測模型標記語言(Predictive Modeling Markup Language, PMML

18、)來導出 挖掘模型，這種語言由數據挖掘協會(Data Mining Group, DMG)定義。Insightful Miner( I-Miner):由美國Insightful公司開發的具有高度可擴展性的數據分析和數據挖掘軟件。目前在金融、生物科技、政府機構等企事業單位應用非常廣泛。此外，還有Oracle公司從Thinking Machines公司取得的Darwin; Unica公司開發 的 Affinium Model; Angoss Software所開發的 Knowledge SEEKER;加拿大 Simon Fraser大學開發的DBMiner;SGI公司和美國Standford大學聯

19、合開發的Minset;HNC公司開發的用于信用卡詐騙分析的Database Mining Workstation;IBM公司 Almaden 研究中心開發的 Quest; Neo Vista 開發的 Decision Series;以及 KEFIR 系 統、SKICAT系統等。國內也有不少新興的數據挖掘軟件，如:D Miner , iD Miner , Ms Miner , AR Miner, Scope Miner ,Open Miner 等相關的一些企業、機構主要有：復旦德門，數海時代，華院數據，海爾青大， 宇動源，亦策，中科院計算技術所，東北大學等等。夕德黯 冬數據挖掘平臺軟件份額200

20、7截止排名前10位中沒有國內研發的數據挖掘軟件;我國研發的DM平臺尚未被國際市場認可，國內DM軟件產業還不夠成熟5.數據挖掘常用建模算法文獻：數據挖掘算法及其應用研究數據挖掘中聚類分析算法的研究與應用數據挖掘中的聚類方法及其應用聚類算法研究(1)決策樹方法(Decision Tree)定義：決策樹是一個利用像樹一樣的圖形或決策模型的決策支持工具，包括隨機事件結果，資源代價和實用性。決策樹方法主要用于數據分類，一般分成兩個階段:樹的構造和樹的修剪。首先利用訓練數據生成目標 問題 選擇方案 效果 概率重要性 權衡 決定一個測試函數，根據不同取值建立樹的分支;在每個分支子集中重復建立下層結點和分支，

21、從而生成一棵決策樹。然后對決策樹進行剪枝處理,最后把決策樹轉化為規則，利用這些規則可以對新事例進行分類。基于決策樹的分類方法與其它分類 方法比較起來，具有速度較快!較易轉化成簡單且容易理解的分類規則。較易轉換 成數據庫查詢語句等優點，尤其在問題維數高的領域可以得到很好的分類結果。特點在于簡單易于理解且應用廣泛，是一種分類函數逼近手段。缺點在于每個分 支的判定條件過于嚴格，實際應用中可能會帶來麻煩。(2)遺傳算法(Genetic Algorithm)遺傳算法是一種優化技術，它利用生物進化的一系列概念進行問題的搜索，最終達 到優化的目的。在遺傳算法的實施中，首先要對求解的問題進行編碼（稱為染色體）

22、, 產生初始群體，然后計算個體的適應度,再進行染色體的復制、交換、突變等操作, 產生新個體。重復這個操作，直到求得最佳或較佳個體。在數據挖掘中，往往把數 據挖掘任務表達為一種搜索問題，使用遺傳算法強大的搜索能力，找到最優解。遺 傳算法廣泛地應用于組合優化、機器學習、信號處理、自適應控制等領域。算法主要步驟：把問題的解表示成“染色體”，在算法中以二進制編碼成串。在執行遺傳算法之前，給出一群“染色體”，也即是假設解。把這些假設解置于問題的“環境”中。按適者生存的原則，從中選擇出較適應環境的“染色體”進行復制，再通過交 叉，變異過程產生更適應環境的新一代“染色體”群。最后進化到最適應環境的一個“染色

23、體”上，它就是問題的最優解。關聯挖掘數據中迅速找出各個數據對象之間潛在的有價值有意義聯系，也就是在大型的數 據庫中，快速找到各種事物之前潛在的有價值有意義的聯系，并且用一定的規則 表現出來，通過推理、積累形成知識之后，得出非常重要的相關聯的結論，進而 給當前的市場管理者提供決策依據。例如：沃爾瑪進行的有關“牛奶與尿不濕” 的關聯結果。因為在實際生活應用中有很多關聯挖掘成功的范例，以及關聯挖掘 非常好的實用性，使得目前有關關聯挖掘的應用和研究成為一個研究非常深入和 十分活躍的研究領域，目前，已經研究出了很多關聯挖掘的算法并且新的算法也 在不斷的出現，并且實際應用的領域也在不斷擴大。關聯規則挖掘技

24、術已經被廣 泛應用在商業金融行業中，一些知名的電子商務站點也從強大的關聯規則挖掘中 的受益。神經網絡法(Neural Networks )神經網絡來源于神經生物學和生理學中有關神經細胞計算本質的研究工作。有很 多種不同的神經網絡，可以給不同的學習目的提供應用。前饋神經網絡是一種常 見的用于分類的算法。神經網絡有很好的抗噪音的能力，并且針對未知數據也一 樣有很好的預測分類能力，有很高的分類精準度。不過，訓練過程一般比較長是神經網絡的一大缺點。另外，神經網絡算法所得到的結果可解釋性很差，差不多相當于黑盒。已有近40種神經網絡模型，包含反傳網絡、感知器、自組織映射、Hopfield網絡、波耳茲曼機、

25、適應諧振理論等等。BP(Back Propagation)網絡，又名誤差 反向傳播算法，是其中最為成熟的神經 網絡算法，由Rumelhart等人于1985 年提出，它是一種通過誤差反向傳播算 法訓練數據的多層前饋神經網絡，同樣 也是人們當前最廣泛運用的神經網絡模 型。BP神經網絡可以學習和存儲大量的輸入-輸出模式映射關系，而不需要預先 揭示表現此種映射關系的數學模型。其學習規則為最速下降法，利用反向傳播來 不斷修正網絡的閾值和權值，使建立的神經網絡誤差的平方和最小。BP神經網 絡的誤差反向傳播算法的學習過程包括信息的正向傳播過程與誤差的反向傳播 過程。輸入層的各個神經元接受外界的輸入信息，再將

26、其傳送到隱含層各個神經 元。中間的隱含層是內部信息轉換層，對信息進行處理。依據對信息變化能力的 需要可以將中間層設計為單個隱含層或者多個隱含層的結構；最后的隱含層將信 息通過進一步處理之后傳送給輸出層各神經元，這樣就完成了一次學習的正向傳 播過程，最后輸出層對外界輸出信息處理后的結果。若實際的輸出結果與預期不 同，則進行誤差反向傳播過程。誤差首先通過輸出層，再根據誤差梯度下降的方 法調整各層神經元的權值，依次向隱含層和輸入層逐層反向執行。反復進行信息 正向傳播與誤差反向傳播是各層神經元不斷修正權值的過程，也同樣是神經網絡 進行學習訓練的過程，這個過程會不斷執行到該網絡的輸出數據的誤差減小至滿

27、足需求的程度，或學習次數達到事先定義的值為止。只要給定足夠多的隱含單元， BP神經網絡可以逼近任何多元非線性連續函數。反向傳播算法通過不斷處理一 個訓練樣本集，將每次的處理結果與該樣本已知類別進行比較，用所得的誤差幫助 完成學習。對于每個訓練樣本，反向修改其權值，即從輸出層開始，通過之后的 隱含層，直到最前面的隱含層，通過迭代修改，當權值收斂時學習過程終止，因 此它可以得出誤差值非常小的輸出結果，將其用于分類、預測等往往會達到非常 好的效果。聚類規則聚類分析是數據挖掘技術中非常重要的一個部分，而它的實現通常和最近鄰技術 緊密相關。聚類分析指將物理或者抽象數據對象集合分組成由相似的數據對象組 成

28、的多個類的分析過程，它的目的就是在相似的基礎上收集數據來進行分類。聚 類分析就是依據數據彼此之間的相似性將其分類到不同的類或簇（Cluster）這樣 的一個過程，在同一個類中的對象彼此之間非常相似，而不同類間的對象之間具 有較高的相異性。聚類是一個與分類不同的無監督的學習過程，并且與分類不同， 分類學習必須事先對數據進行類別標記，而聚類的無監督學習則不需要預先對訓 練數據進行預處理，如事先定義類以及對訓練實例做類標記，它能夠在聚類算法 執行過程中自動對數據進行標記。聚類不是示例型學習，是觀察型學習。聚類分 析是一個不斷探索的分析過程，分類時根據數據本身進行分類而無需預先確定分 類標準。采用不同

29、的方法進行聚類分析得到的結果往往不盡相同。從現實應用角 度分析，聚類無疑為數據挖掘的重要任務之一。它不僅可以作為一個單獨的工具， 有效獲取數據的分布狀況，觀察每個類中數據的特征，從而進一步分析所研究的 特定的聚類集合，也能夠作為分類和相關性分析等其他算法的預處理步驟。聚類能夠發現數據之間的潛在關系，從而進一步得到數據的分布模式，因此在數據分 析、圖像處理、模式識別、市場分析等領域中它已被廣泛應用。聚類分析所涉及 的領域包括：統計學、機器學習、市場學、生物學、空間數據技術和數據挖掘等。 因為聚類可以在多個領域廣泛應用，至今相關研究者已提出了大量的、各不相同 的聚類算法，可以將其概括為五大類：劃分

30、法、層次法、基于密度的方法、基于 網格的方法與基于模型的方法等。1）劃分法（partitioning methods）給定一個數據集，共包含N條記錄，劃分法把它劃分成K個分組，一個分組 即為一個聚類，K忍N。并且這K個分組滿足以下條件：每個分組包含數據記錄數目必須大于等于一；每條數據記錄僅能屬于一個分組。需要注意的是，部分模糊聚類算法可以不滿足條件。預先設定K之后算法會 進行初始分組，然后反復迭代改變分組以使得每次改進的分組方法表現更好。標 準為：每個分組內的數據記錄之間的距離越小越好，不同分組之間的數據記錄的 距離越大越好。使用此基本思想的算法主要有K-MEANS 算法、CLARANS 算法

31、、K-MEDOIDS算法，由于K-MEANS算法是其中最著名也是最常用的，所以在此以K-MEANS算法為例進行分析。以數據點到所在類中心的某種距離（坐標中的歐氏 距離）作為優化的目標函數，并利用求函數極值的方 法得到迭代運算的調整規則。1）從N個數據對象中隨機選取K個對象作為初始聚類的中心點（KN）2）根據每個聚類對象的中心點，計算每個類中對象與各自中心點的距離； 并根據最小距離重新對相應對象進行劃分；3）重新計算已經得到的各個類的中心4）迭代循環23步直至每個聚類中心不再發生明顯變化為止。此類算法的優點是可伸縮和效率高，并且在數據分布平均的情況下聚類效果良 好。但是它需要人工預先設定要得到的

32、類的數目k,在用于發現大小差別很大的 類、或者類呈現非凸面形狀的情況下效果很不理想，而且它對于噪聲和離群數據 敏感，即使只存在較少的該類數據也會對聚類效果產生很大的影響。2）層次法（hierarchical methods）層次法是將給定的數據集層次似的分解，直至滿足某種條件為止。它可以分成“自 底向上”（合并）和“自頂向下（分裂）”兩類方案。在“自底向上”方案中，初 始時每條數據記錄都組成一個單獨的組，在之后的迭代過程中，它將那些距離相 近的組合并為一個組，直至全部的記錄組成一個分組或滿足某個條件為止。而“自 頂向下”方案，初始時把全部數據對象放入一個組，在每一步迭代中將一個組分 裂成更小的

33、組，直至每條數據記錄在單獨的一個分組或滿足某個條件為止。代表 算法有：BIRCH算法、CURE算法、CHAMELEON算法等，其中CURE算 法最具代表性。CURE算法是基于代表對象方法和基于質心方法中間的策略， 它選擇數據空間中具有代表性的固定數目的點，而非單個對象或質心來代表一個 類。類的代表點產生方式：首先選擇類中分散的數據對象，之后按照收縮因子（通 常取值為某個特定分數）向類的中心進行收縮。算法進行的每一步中有最小距離 的代表點對的兩個類合并，其中每對點彼此來自不同的類。算法核心步驟如下：（1）從原始數據對象集中抽取部分數據對象作為一個隨機樣本S；（2）對樣本S進行劃分；（3）將每個劃

34、分進行局部的聚類；（4）使用隨機取樣方法排除離群點。若某個類增長速度過慢，則刪除它；（5）對局部的類再進行聚類。落在每個新形成的類中的代表點按照用戶設定的 收縮因子a進行收縮即向類的中心移動；（6）使用對應的類標簽標記數據。算法優點在于復雜度不高、高效；對離群點 的處理更為健壯；能夠識別大小變化較大及數據分布呈非球形的類；對大型數據 庫同樣具有較好的伸縮性；支持不同大小及復雜形狀的聚類；敏感度低。缺點為 不能處理分類屬性。3）基于密度的方法（density-based methods）基于密度的方法和其它方法相比，最根本區別在于：它對數據對象聚類的依據是 基于密度，而并非基于各種各樣的距離。因此，它可以解決基于距離一類的算法 僅能夠發現接近圓形的凸面形聚類的問題。它的指導思想為只要某個區域內數據 點的密度大于某個設定閾值則該數據點就可以被添入與它相近的聚類中。代表算 法有：DBSCAN 算法、DENCLUE算法、OPTICS算法等，其中DBSCAN算 法是最具代表性和最被廣泛應用的。4）基于網格的方法（grid-based methods）基于網格的方法把數據空間分割為具有有限個單元（cell）的網格結構，處理對象都 為單個單元