1、上海證券交易所數(shù)據(jù)挖掘培訓(xùn) II概覽 議程業(yè)務(wù)系統(tǒng)和數(shù)據(jù)倉庫之間的關(guān)系數(shù)據(jù)挖掘的方法和應(yīng)用數(shù)據(jù)挖掘的具體過程數(shù)據(jù)挖掘項(xiàng)目成功的要素?cái)?shù)據(jù)挖掘舉例業(yè)務(wù)系統(tǒng)和數(shù)據(jù)倉庫之間的關(guān)系業(yè)務(wù)系統(tǒng)和數(shù)據(jù)倉庫業(yè)務(wù)系統(tǒng)的主要功能是日常運(yùn)作數(shù)據(jù)倉庫的目的是決策支持業(yè)務(wù)系統(tǒng)是數(shù)據(jù)倉庫的數(shù)據(jù)源數(shù)據(jù)倉庫系統(tǒng)不是也不可能替代業(yè)務(wù)系統(tǒng)業(yè)務(wù)人員和技術(shù)人員的角色與職責(zé) 數(shù)據(jù)倉庫是為了最終用戶的使用而由最終用戶和技術(shù)人員共同創(chuàng)建的數(shù)據(jù)倉庫不是一個(gè)技術(shù)項(xiàng)目數(shù)據(jù)倉庫必須由技術(shù)人員和最終用戶共同締造技術(shù)人員和最終用戶必須共同合作才能保證項(xiàng)目的成功最終用戶的職責(zé) 業(yè)務(wù)目的確定 (主導(dǎo))用戶需求 (主導(dǎo))設(shè)計(jì) 邏輯模型星形模型實(shí)施 測(cè)試培訓(xùn)技

2、術(shù)人員職責(zé)業(yè)務(wù)目的確定 (主導(dǎo))用戶需求 (主導(dǎo))設(shè)計(jì) 邏輯模型物理模型 星形模型實(shí)施 設(shè)計(jì)編程 測(cè)試 培訓(xùn) 數(shù)據(jù)挖掘的方法和應(yīng)用數(shù)據(jù)挖掘的方法及典型應(yīng)用時(shí)間序列預(yù)測(cè)交叉銷售相關(guān)分析購(gòu)物籃分析市場(chǎng)分割個(gè)性化服務(wù)欺詐行為檢測(cè)股價(jià)預(yù)測(cè)收入預(yù)測(cè)風(fēng)險(xiǎn)值預(yù)測(cè)風(fēng)險(xiǎn)評(píng)級(jí)信用評(píng)級(jí)客戶流失預(yù)測(cè)關(guān)聯(lián)分析相似時(shí)間序列分析聚類分析值預(yù)測(cè)分類分析相關(guān)分析因子分析數(shù)據(jù)挖掘功能、算法及典型應(yīng)用類別功能算法典型應(yīng)用預(yù)測(cè)模型分類決策樹，神經(jīng)網(wǎng)絡(luò)，差異分析 ，Logistic回歸， Probit 回歸目標(biāo)化市場(chǎng)營(yíng)銷，質(zhì)量控制，風(fēng)險(xiǎn)分析，客戶維持度分析，醫(yī)療診斷數(shù)值預(yù)測(cè)線性回歸，非線性回歸，徑向基函數(shù)盈利能力分析分割聚類分析K均值

3、，Demographic，神經(jīng)網(wǎng)絡(luò)市場(chǎng)分割 客戶分割鏈接分析關(guān)聯(lián)發(fā)現(xiàn)統(tǒng)計(jì)，集合論購(gòu)物籃分析、交叉銷售序列關(guān)聯(lián)發(fā)現(xiàn)統(tǒng)計(jì)，集合論時(shí)序購(gòu)物籃分析相似時(shí)間序列發(fā)現(xiàn)統(tǒng)計(jì)，集合論銷售流，股價(jià)波動(dòng)預(yù)測(cè)時(shí)間序列預(yù)測(cè)諸如ARIMA, Box-Jenkins, 神經(jīng)網(wǎng)絡(luò)等的統(tǒng)計(jì)時(shí)間序列模型銷售預(yù)測(cè)，利率預(yù)測(cè)，庫存控制，信用降低導(dǎo)致的公司損失預(yù)測(cè)數(shù)據(jù)挖掘的具體過程數(shù)據(jù)挖掘流程1.業(yè)務(wù)目的確定7.數(shù)據(jù)挖掘8.結(jié)果解釋3.數(shù)據(jù)收集Data SourceData Source2.數(shù)據(jù)源識(shí)別4.數(shù)據(jù)選擇9.應(yīng)用建議10.結(jié)果應(yīng)用實(shí)施5.數(shù)據(jù)質(zhì)量審核6.數(shù)據(jù)轉(zhuǎn)換業(yè)務(wù)目標(biāo)確定對(duì)于所有的數(shù)據(jù)挖掘項(xiàng)目，這并不是自動(dòng)獲得的。許多數(shù)據(jù)

4、挖掘項(xiàng)目的目標(biāo)通常是模糊和不清晰的。對(duì)于分析人員和決策制定者來說，在任何數(shù)據(jù)挖掘項(xiàng)目的開始階段，對(duì)業(yè)務(wù)問題、業(yè)務(wù)目標(biāo)以及數(shù)據(jù)挖掘目的有一個(gè)清晰而描述是至關(guān)重要的。涉及人員：高級(jí)管理人員，業(yè)務(wù)分析員和項(xiàng)目經(jīng)理 活動(dòng)：與業(yè)務(wù)用戶的會(huì)議和訪談數(shù)據(jù)源識(shí)別給定一個(gè)業(yè)務(wù)目標(biāo)，下一步就是找到可以回答和解決這一業(yè)務(wù)問題的數(shù)據(jù)。所需要的數(shù)據(jù)可以來自操作型數(shù)據(jù)或者是公司內(nèi)的數(shù)據(jù)庫/數(shù)據(jù)倉庫。涉及人員：業(yè)務(wù)分析員，數(shù)據(jù)挖掘分析員和IT人員活動(dòng)：與IT部門的會(huì)議和訪談 數(shù)據(jù)收集收集需要的數(shù)據(jù)有幾種方式，這取決于數(shù)據(jù)需求和經(jīng)濟(jì)因素的綜合考量。在公司內(nèi)部數(shù)據(jù)中提取向數(shù)據(jù)公司購(gòu)買進(jìn)行市場(chǎng)調(diào)研從公告或媒體中獲取涉及人員：數(shù)據(jù)

5、挖掘分析員和IT人員活動(dòng)：確定及收集可能用于挖掘的數(shù)據(jù) 數(shù)據(jù)選擇從數(shù)據(jù)源選擇將使用的數(shù)據(jù)類型數(shù)據(jù)量大，采集時(shí)間長(zhǎng) = 數(shù)據(jù)抽樣技術(shù)平衡減少數(shù)據(jù)量和采樣必須具有較全面的代表性根據(jù)統(tǒng)計(jì)方法來計(jì)算樣本的大小了解數(shù)據(jù)的定義數(shù)據(jù)的質(zhì)量和可靠性數(shù)據(jù)的準(zhǔn)確性數(shù)據(jù)的一致性數(shù)據(jù)的完整性數(shù)據(jù)的有效性數(shù)據(jù)的代表性數(shù)據(jù)的非冗余性 涉及人員：數(shù)據(jù)挖掘分析員、IT人員，有時(shí)還有業(yè)務(wù)分析員活動(dòng)：確定及選擇可能用于挖掘的數(shù)據(jù) 業(yè)務(wù)目標(biāo)確定數(shù)據(jù)質(zhì)量審核對(duì)選擇的數(shù)據(jù)進(jìn)行審核審核方法離散數(shù)據(jù)頻率分析定量數(shù)據(jù)的分位數(shù)分析圖形分析包括柱狀圖、餅圖、散點(diǎn)圖, boxplots, 和時(shí)間曲線。 涉及人員：數(shù)據(jù)挖掘分析員、IT人員，有時(shí)還有

6、業(yè)務(wù)分析員活動(dòng)：檢測(cè)抽取數(shù)據(jù)的質(zhì)量數(shù)據(jù)轉(zhuǎn)換在選擇并檢驗(yàn)了需要的數(shù)據(jù)（表、變量）之后，多數(shù)情況下需要進(jìn)行數(shù)據(jù)轉(zhuǎn)換。特定的轉(zhuǎn)換取決于數(shù)據(jù)挖掘類型和數(shù)據(jù)挖掘工具，比如計(jì)算機(jī)軟件和數(shù)據(jù)挖掘所使用的技術(shù)。典型的轉(zhuǎn)換轉(zhuǎn)換類別變量成數(shù)字變量數(shù)學(xué)轉(zhuǎn)換，如對(duì)數(shù)轉(zhuǎn)換、次方轉(zhuǎn)換數(shù)字定義新變量涉及人員：數(shù)據(jù)挖掘分析員活動(dòng)：抽取信息的轉(zhuǎn)換 數(shù)據(jù)挖掘數(shù)據(jù)挖掘項(xiàng)目的核心部分 嘗試多種不同的數(shù)據(jù)挖掘技術(shù)以發(fā)現(xiàn)最優(yōu)數(shù)據(jù)挖掘方法預(yù)測(cè)模型分類值預(yù)測(cè)分割鏈接分析時(shí)間序列預(yù)測(cè)涉及人員：數(shù)據(jù)挖掘分析員活動(dòng)：挖掘數(shù)據(jù)應(yīng)用建議把分析結(jié)果轉(zhuǎn)化為業(yè)務(wù)利潤(rùn)。基于數(shù)據(jù)挖掘的知識(shí)發(fā)現(xiàn)，對(duì)在業(yè)務(wù)中運(yùn)用數(shù)據(jù)挖掘結(jié)果，提出合理化建議涉及人員：數(shù)據(jù)挖掘分析員

7、和業(yè)務(wù)分析員活動(dòng)：分析挖掘結(jié)果并考慮如何在業(yè)務(wù)環(huán)境中應(yīng)用結(jié)果應(yīng)用數(shù)據(jù)挖掘結(jié)果應(yīng)用途徑將挖掘獲得的知識(shí)直接發(fā)送給用戶將結(jié)果加入ODS，DDS甚至源系統(tǒng)以便利用 。涉及人員：IT人員活動(dòng)：基于運(yùn)行系統(tǒng)的建議，IT人員實(shí)施應(yīng)用數(shù)據(jù)挖掘的結(jié)果數(shù)據(jù)挖掘項(xiàng)目成功的要素好的數(shù)據(jù)源數(shù)據(jù)要準(zhǔn)確數(shù)據(jù)要豐富數(shù)據(jù)要經(jīng)常更新好的方案方案必須緊密根據(jù)業(yè)務(wù)目的和數(shù)據(jù)挖掘目的來設(shè)計(jì)對(duì)數(shù)據(jù)挖掘技術(shù)要有全面而深刻的了解，從而保證方案制訂有較強(qiáng)的靈活性和先進(jìn)性對(duì)其它非數(shù)據(jù)挖掘方案來解決相同的課題也要有較強(qiáng)的認(rèn)識(shí)，以備在制訂數(shù)據(jù)挖掘方案時(shí)做參考。克服缺陷，發(fā)揚(yáng)優(yōu)點(diǎn)。好的算法好的算法能提高模型的準(zhǔn)確性好的算法能為模型的調(diào)整提供更好的靈

8、活性好的系統(tǒng)支持好的系統(tǒng)能夠?yàn)橹С帜承┧惴ǖ倪\(yùn)行提供可能內(nèi)存和硬盤空間不足會(huì)導(dǎo)致決策樹模型不能運(yùn)行好的系統(tǒng)能提高數(shù)據(jù)挖掘的效率好的系統(tǒng)增快數(shù)據(jù)挖掘的速度，從而減少等待時(shí)間好的團(tuán)隊(duì)合作數(shù)據(jù)挖掘是跨多部門(數(shù)據(jù)挖掘，IT，業(yè)務(wù)部門) 共同合作的項(xiàng)目，因此需要各個(gè)部門的精誠(chéng)合作業(yè)務(wù)部門提供詳細(xì)的業(yè)務(wù)需求，實(shí)時(shí)的業(yè)務(wù)知識(shí)指導(dǎo)，和專業(yè)化的數(shù)據(jù)挖掘結(jié)果審核IT部門提供數(shù)據(jù)源說明，數(shù)據(jù)提取和轉(zhuǎn)換的支持，數(shù)據(jù)挖掘結(jié)果應(yīng)用的實(shí)施數(shù)據(jù)挖掘部門提供數(shù)據(jù)整理的建議，制定優(yōu)秀的數(shù)據(jù)挖掘方案，靈活應(yīng)用數(shù)據(jù)挖掘的算法，解釋數(shù)據(jù)挖掘的結(jié)果，對(duì)結(jié)果的應(yīng)用提出合理化的建議數(shù)據(jù)挖掘舉例收集信用機(jī)構(gòu)的數(shù)據(jù)資產(chǎn)是開發(fā)新產(chǎn)品的催化劑獲取

9、和管理18個(gè)月的數(shù)據(jù)提供數(shù)據(jù)集市類的環(huán)境以用于支持構(gòu)想測(cè)試的查詢對(duì)時(shí)間分析和數(shù)據(jù)挖掘的分析可以導(dǎo)向用于開發(fā)新產(chǎn)品的見識(shí)識(shí)別有傾向使用新產(chǎn)品的客戶/消費(fèi)者這個(gè)項(xiàng)目的重點(diǎn)在信用卡客戶消費(fèi)模式分析.跟往常一樣, 我們發(fā)現(xiàn)很少的帳戶占了消費(fèi)量的很大一部分我們創(chuàng)造了9種250個(gè)變量，其中選用了36項(xiàng)去建造樹型，邏輯型和神經(jīng)型模型加速度行為拖欠劣跡歷史詢查限制分割利用性取得專利的破產(chǎn)模型方法用結(jié)合神經(jīng)網(wǎng)絡(luò)、邏輯回歸和決策圖表的新方法來開發(fā)破產(chǎn)/風(fēng)險(xiǎn)模型新開發(fā)的變量選擇過程破產(chǎn)模型大大超過了一般商業(yè)模型對(duì)于我們模型性能的測(cè)試結(jié)果明顯高于其他商用同類產(chǎn)品.預(yù)測(cè)股價(jià)的實(shí)例“上升股票模型1”可以用來預(yù)測(cè)哪些股票價(jià)

10、格會(huì)上升模型特征:利用1993-1999所有美國(guó)股票市場(chǎng)的交易數(shù)據(jù)來創(chuàng)建重要特征股票價(jià)格，股票價(jià)格浮動(dòng)，收益的季節(jié)性特征具體交易數(shù)據(jù)中的浮動(dòng)特征“上升股票”定義:10天內(nèi)至少上漲30%模型測(cè)試:從1993-1999數(shù)據(jù)中提取導(dǎo)致“上升股票”發(fā)生的特征庫采用時(shí)間窗口移動(dòng)的方式來建立模型模型的實(shí)際應(yīng)用是每天根據(jù)最新的交易數(shù)據(jù)對(duì)所有美國(guó)股市的股票進(jìn)行預(yù)測(cè)第二個(gè)“上升股票”模型已經(jīng)開發(fā)和實(shí)施了確定長(zhǎng)期購(gòu)買行為股票價(jià)格在未來6-12月里穩(wěn)步上升使用1993-1999每天的股票閉市價(jià)來構(gòu)造模型實(shí)施在一個(gè)包含最近12月所有美國(guó)股票價(jià)格數(shù)據(jù)的實(shí)時(shí)系統(tǒng)上數(shù)學(xué)模型可以成功地發(fā)現(xiàn)待漲的股票股票的歷史數(shù)據(jù)全面，包含不

11、同情況下的數(shù)據(jù)采用具體的交易數(shù)據(jù)更多的時(shí)間的股價(jià)，浮動(dòng)，收益，以及市場(chǎng)狀況特征人通過對(duì)其它交易者交易行為的模式總結(jié)來判定股市的走勢(shì)-計(jì)算機(jī)能發(fā)現(xiàn)同樣的這些模式并可以應(yīng)用在更多的股票上銀行活動(dòng)事例1998: 我們需要利用提供出眾的成員服務(wù)的名聲來增長(zhǎng)但必須是有益的增長(zhǎng)。我們需要維持成員滿意度在價(jià)格上有競(jìng)爭(zhēng)力的產(chǎn)品廣泛的產(chǎn)品和服務(wù) - 金融服務(wù)的中心我們希望增長(zhǎng)與同業(yè)大商家競(jìng)爭(zhēng)！擴(kuò)大市場(chǎng)份額擴(kuò)大現(xiàn)有成員資產(chǎn)共享 擴(kuò)大成員范圍給股東更高的回報(bào)快速，高效的操作定價(jià)須符合用戶價(jià)值及風(fēng)險(xiǎn)成為主要的金融服務(wù)提供商關(guān)鍵技術(shù)能力已開始顯現(xiàn)出客觀經(jīng)濟(jì)回報(bào)，他們也成為發(fā)展和創(chuàng)新的動(dòng)力!利潤(rùn)業(yè)績(jī)數(shù)據(jù)集市 - (199

12、9-2000)收益報(bào)表 客戶，家庭, 產(chǎn)品，渠道人口統(tǒng)計(jì)報(bào)告和分析連接Harland MaxSell, Acxiom數(shù)據(jù)市場(chǎng)營(yíng)銷排列市場(chǎng)分析 - (2000)地理（空間）分析數(shù)據(jù)挖掘模型下一步銷售，交叉銷售機(jī)會(huì)網(wǎng)上個(gè)人化的推銷 - (Initial study, March, 2001) 企業(yè)范圍的客戶分析個(gè)人化的推銷和短信統(tǒng)一用戶在分行，問訊中心，ATM和家里銀行的信息最大化市場(chǎng)營(yíng)銷投入的回報(bào)市場(chǎng)營(yíng)銷業(yè)務(wù) - (1-2Q2002)觸發(fā)器引擎, 喜好引擎, 概括器公司繼續(xù)平衡在收益數(shù)據(jù)集市的投資和更新先有商業(yè)操作上的投資.與CRM工具的連接 呼叫中心, ATM, 互聯(lián)網(wǎng)和分行系統(tǒng)聯(lián)系管理, 銷

13、售自動(dòng)化 (2Q2002, NSS)市場(chǎng)活動(dòng)管理系統(tǒng)市場(chǎng)活動(dòng)越來越受到重視加強(qiáng)和風(fēng)險(xiǎn)管理應(yīng)用的聯(lián)系風(fēng)險(xiǎn)定價(jià) (Dec, 2001)增強(qiáng)對(duì)人力資源的應(yīng)用 - (Sept, 2001)追蹤獎(jiǎng)勵(lì) 呼叫中心, 征收, 分行業(yè)務(wù), 等.平衡的商業(yè)評(píng)分卡 - (July, 2001)在Texas的CU范圍內(nèi)進(jìn)行高效的戰(zhàn)略主動(dòng)性溝通業(yè)務(wù)目標(biāo)報(bào)告匯報(bào)和控制CEO 戰(zhàn)略指揮臺(tái) - (July, 2001)減少操作風(fēng)險(xiǎn)，投資風(fēng)險(xiǎn)，提高ROA效益“sleep a little easier”CoreBankingSystem利潤(rùn)業(yè)績(jī)數(shù)據(jù)集市客戶簡(jiǎn)介行為分析目標(biāo)市場(chǎng)數(shù)據(jù)挖掘地理分析利潤(rùn)業(yè)績(jī)數(shù)據(jù)集市是確保CRM，報(bào)告和

14、計(jì)劃功能的信息引擎。監(jiān)管與操作報(bào)告接觸管理SFA網(wǎng)點(diǎn)家中銀行Web siteATM無線Best & consistentmessage1234收益率報(bào)表產(chǎn)品,客戶, 家庭,管道智能預(yù)測(cè)渠道優(yōu)化地區(qū)分析利潤(rùn)業(yè)績(jī)數(shù)據(jù)集市是確保CRM，報(bào)告和計(jì)劃功能的信息引擎。接觸管理市場(chǎng)活動(dòng)管理客戶喜好引擎金融、業(yè)務(wù)報(bào)告市場(chǎng)分析數(shù)據(jù)挖掘空間分析高級(jí)管理員的戰(zhàn)略指揮臺(tái)E-關(guān)系分析(ECA*)銷售自動(dòng)化利潤(rùn)業(yè)績(jī)數(shù)據(jù)集市平衡的商業(yè)平分卡顯示一個(gè)分行下所有客戶的居住地.最有價(jià)值客戶所在地?我們最佳的客戶離他們所屬網(wǎng)點(diǎn)的距離?去往所屬網(wǎng)點(diǎn)的驅(qū)車行駛時(shí)間是決定分行位置和競(jìng)爭(zhēng)境況的一個(gè)重要因素.65%增長(zhǎng)目標(biāo) (根據(jù)客戶分類/利潤(rùn)的排位)新客戶的增長(zhǎng)百分比 每個(gè)客戶的產(chǎn)品數(shù)量 利潤(rùn)借貸者滿意度指數(shù) 客戶投訴率變化。在呼叫中心，等候超過 SLA (1 分鐘) 的電話的等候時(shí)間客戶流失目標(biāo) (根據(jù)客戶分類/利潤(rùn)的排位)客戶流失率 直接存款的客戶百分比資產(chǎn)回報(bào)率收入增長(zhǎng)存款增長(zhǎng)效益率 (總收入/（費(fèi)用-投資成本)）利潤(rùn)收入 (資產(chǎn)收益 投資成本）逾期率 (逾期/總貸款額）客戶財(cái)政流程貸款的批準(zhǔn)周轉(zhuǎn)時(shí)間FTE/資產(chǎn)總收入流程balanced scorecardCUTX選擇使用關(guān)鍵性能指標(biāo)來開始