金融行業數據挖掘技術一、 一、簡介“金融行業數據挖掘技術應用論壇”由中國電子信息產業發展研究院(CCID)和其旗下賽迪集團戰略數據資源管理中心主辦，北京賽迪數據有限公司負責具體承辦，2002年11月25日在北京新世紀飯店召開。二、 二、 會議紀要1.會議內容1)數據挖掘技術與金融分析內容■數據倉庫結構與技術■數據挖掘技術■評分系統在金融決策中的應用■ ■數據挖掘用于評分系統主要觀點：(1) 數據倉庫是適合知識發現的過程的結構。數據倉庫的處理過程是從“數據清理/整合——＞數據倉庫——＞數據選擇——＞數據挖掘——＞模式評價——＞知識”不斷循環的過程(注：類似Fayyad96年提出的數據挖掘過程模型。(2) 將數據倉庫和挖掘的結構劃分為四個層次：第一層是數據層，第二層是多維數據庫層MDDB，第三層是OLAP和OLAM，第四層是用戶界面(注：類似HanJiawei的OLAM體系結構)(3) 數據挖掘過程包括：數據選擇，數據轉換，數據挖掘，數據解釋。(4) 數據挖掘的方法：聯想，劃分，聚類，預測，順序模式，相似時間序列。(5) 數據挖掘的科學方法數學工具：統計學，決策樹，神經網絡，模糊邏輯，線性規劃。(6) 個人信用評分系統是將個人信用的歷史(六個月以上)經過45至65個因素的刻劃后表述的決策模型。通常個人信用評分為350至850之間。每人從850分起，有壞帳記錄，即扣去不同比例的分數。經過評分模型的分析，最后得到決策評分。(850為最好)(7) 評分因素：過去的付帳歷史、信用欠帳量、信用卡使用時間、新信用卡的申請、信用卡的類、信用卡交易情況、現金提取情況(8) 應用前景：銀行各類信貸風險分析，企業和個人信用風險分析2） 2）如何利用數據挖掘工具協助進行市場營銷內容■數據挖掘的定義■IBM數據挖掘的解決方案■ 在金融行業的應用主要觀點：（1） （1） 強調了數據挖掘過程，首先必須明確需要解決的商業問題。（2） （2） IBM有從數據庫到最上層的挖掘工具的一整套商業智能解決方案。（3） （3） 在銀行應用的層次：信用評分，購物籃分析，區隔分析，交叉營銷/向上營銷，客戶流失，客戶價值。（4） （4） 講解了LiftChart圖的含義3） 3）數據挖掘在金融行業的應用趨勢分析內容■數據管理技術的挑戰■結構化數據挖掘應用■非結構化數據挖掘應用■金融行業數據挖掘應用趨勢主要觀點：（1） （1） 八十年代初，銀行自動化建設，九十年代初銀行網絡化建設階段，九五末期，數據大集中。（2） （2） 2002年上半年金融行業IT應用特點：數據大集中平穩進行，“銀聯”改善信用卡環境，電視會議擴大應用，個人理財系統成為新焦點，農信社信息化市場升溫，無線局域網開始應用。（3） （3） 結構化挖掘原理：從現有業務系統中抽取數據（業務數據、客戶數據），建立深層次的分析體系（數據倉庫、數據集市、業務分析模型），以信息驅動業務的管理、新一代電子商務企業（市場觸覺敏感、以客戶為中心、以信息驅動）。（4） （4） 一個比喻：數據倉庫和數據挖掘好比一個大的廚師燒菜，開始需要選擇（5）（6（5）（6）（5）結構化數據挖掘內容:（6） 非結構化數據挖掘的意義：企業戰略規劃的制定和戰術方案的實施離不開對于海量非結構化數據的挖掘和現有知識的管理！（7） （7）非結構化數據挖掘在企業競爭情報系統的應用，企業競爭情報系統將成為下一個數據挖掘應用的熱點。(8) 金融行業數據挖掘應用趨勢，在數據集中的平臺上，結合結構化和非結構化數據挖掘技術，部署企業的商業智能、客戶關系管理、市場銷售分析、競爭對手分析、市場需求動向等。4)用友金融行業財務管理解決方案黃偉先生一上來演示了一個FLASH游戲，在多張不同花色的牌中，讓觀眾記住一張牌，說明他能夠知道所有人記住的是什么牌。然后，他抽去一張牌，再打開其他的牌，觀眾所記住的牌已經都不在了。原因很簡單，他換去了所有牌的花色，造成一種錯覺。黃偉先生用這個游戲說明，錯覺往往帶來錯誤的決策，引申開來，數據挖掘需要有正確的數據，才能進行深入的挖掘。介紹了用友集中式的財務管理解決方案，說明必須先收集這些重要的財務數據，才能進行更深入的挖掘。5)CA數據管理技術行業應用解決方案講解了CA公司的情況，以及CA的商業智能解決方案，特出了CA自己研制的一種預測技術。6)透過數據挖掘改善客戶服務中心的管理講解了一些數據挖掘概念性的東西，并舉出了那個經典的“啤酒-尿布”的案例。7）7）金融信用決策的技術突破——數據挖掘的應用■ 引言■ 信用周期一般介紹■ 信用決策的簡化流程■ 信用決策技術解析■ 信用決策技術的幾個例子■ 信用決策技術帶來的利益■ 中國運用信用技術的可行方案主要觀點：（1） （1） 抵押貸款有很多缺點，信用貸款都能彌補，所以信用貸款是好的，是趨勢。(2) (2) 信用周期(CreditLifeCycle):(3) (3)信用決策簡化流程(4) 傳統的決策制定中心是主觀制定決策(JUDGEMENT)，主觀決策存在一些不足，數據挖掘給決策技術帶來了突破。數據挖掘是從廣義的角度講的，包括統計、機器學習、神經網絡等等。(5) 預測解析(PredictiveAnalytics)：信用評分技術(CreditScoring)0■ 內在理解分析(ExploratoryAnalysis/KDD):模塊識別和相關性分析。■ 決策建模(DecisionModeling):通過圖論方法建立模型，對于給定的一個或多個決策建立數學關系。■策略優化(StrategyOptimization):在給定的一些限制條件下，尋找改進利潤的最優策略解。■ ■ 策略精調（StrategyRefinement）：精調最優策略解，使其穩定可靠，易理解、易執行。（6） （6）預測解析：針對不同的信用周期階段和不同的商業目標，建立模型■招商：依據風險的招商模型，申請模型，價值模型和響應模型。■立戶：風險（壞帳，破產等），離走和利潤定量等。■用戶管理：分檔系統，風險預測系統，壞帳、破產預警系統，債量預測模型，利潤預測模型，欺詐預測模型等。■收帳：前期收帳，后期收帳等。■總體：損失預測，營利預測，最優組合建立，階梯變壞率預測，等等。（7） （7） 內在理解分析■一般理解分析：變量的相互關系。工具 因子分析、主成分分析、聚類分析、關聯規則等。■特殊理解分析：對給定目標，尋找貢獻或影響的變量。工具一ISHER顯著性檢驗、參數估計、線性/非線性/LOGISTIC回歸、神經網絡、決策樹等。（8） （8）決策建模：對于1個或幾個決策建立圖論模型。從而建立起他們之間的數學關系。如下圖所示：假設，P、④、p分別記作利率、信用量、債務，則R（收入）=F（X1，…，Xn，p,e,p）L（損失）=F’（X1，…，Xn，p,。,p）c（費用）=f’’（X1，…，Xn，p,。,「）最大利潤=R（收入）5小）-L（損失）me,’）-C（費用）皿譙,小）(9) (9) 優化決策和決策精調:(10) (10) 信用評數技術：例子——對偶模型（11）（11）信用決策技術利益：減少壞帳；增加利潤；效率提升，開銷縮小；策略的公平性和一貫性得以保障。（12） （12） 中國的可行方案■ 逐步建立完整的數據庫■ 人員培訓（預測建模技術，決策建模技術，策略設計技術）■ 逐步建立決策系統這篇演講是非常有價值的，所以我將其詳細的整理出來。無論對于研究數據挖掘或金融模型的學者/學生，還是從事實際項目設計的工程人員，都有非常高的參考價值。三、 三、結語在短短的三個半小時內，能夠組織這樣一個規模大、內容豐富、偏重應用的論壇，賽迪是功不可沒的。一些可以探討的概念和思路：1.數據挖掘的定義在提到數據挖掘的時候，一些書或者文獻都要強調它與統計和OLAP的區別。我覺得應該從更廣義的概念上來理解數據挖掘，它是一門跨越多個學科的技術，只要能夠從數據發現有意義的模式，都可以稱為數據挖掘。2.數據倉庫和數據挖掘的關系很多人一講數據挖掘，首先必須講數據倉庫。數據挖掘是從大量的數據中發現有意義的模式。大量的數據并不一定是來源于數據倉庫。因為，這樣會造成一種誤解，進行數據挖掘項目，一定要先建立數據倉庫。另一方面，數據倉庫的結構，其實并適合進行數據挖掘分析，因為我們都看到，大部分數據倉庫的結構采用星型或雪花型數據模型，這些數據倉庫其實是為OLAP建立的，更適合進行OLAP的多維分析，而要從事數據挖掘項目還需要將數據轉換成數據挖掘算法能夠識別的數據結構。數據倉庫為數據挖掘所做的，應該從數據整合和清洗的角度來理解。也就是說，數據倉庫將不同操作源的數據存放到一個集中的環境中，并且進行適當的清洗和轉換。這點上面李峻博士所舉的廚房的例子是一個貼切的比喻。數據挖掘所需要的數據，能夠直接從數據倉庫獲得，但是獲得后還是需要進行轉換，如果沒有數據倉庫，就需要直接從操作型數據源中獲取，并且要進行ECTL（抽取、清洗、轉換、裝載）的操作。因此，沒有數據倉庫也是能夠進行數據挖掘項目，數據倉庫的結構不是為數據挖掘設計的，它更適合OLAP操作。3. 國內的數據挖掘項目現狀國內的金融行業真正從事數據挖掘項目的不多，這從論壇的國內報告能夠看出。報告的內容主要還是“看——想一一說”的步驟。也就是說，看一些資料/文獻/書，再從目前的情況中展開聯想，最后將這些整理的想法形成方案，并報告（說）出來。我們非常希望，在以后的應用論壇上，能夠象林博士舉國外的信用決策的例子一樣，來講國內的數據挖掘案例。從而作到“看——想一一做一一說”。4. 金融行業如何從事數據挖掘項目林博士的“中國信用決策的可行方案，，是比較貼切的，除了信用決策，對于其他已經積累了很多業務數據的系統，都可以參考。利用數據挖掘技術，構建決策系統，使得決策來源于數據，而不僅僅是主觀判斷（JUDGEMENT）。金融行業的數據挖掘研究，需要多方面的人員的共同參與，包括領域專家、數據管理員、數據分析人員、業務分析人員、數據挖掘專家，形成一個團隊，從某一個實際的問題出發，摸索適合自己企業的一套研究和開發方法，逐