1、作者簡介:1牛承珍,女,1968年11月出生,太原理工大學計算機與軟件學院在讀研究生,030024,山西省太原市收稿日期:2008-03-17信息技術淺談數據挖掘應用牛承珍1馬季蘭2(太原理工大學計算機與軟件學院摘要:數據挖掘,作為一種新穎的數據分析手段,在學校、銀行、電信、股市、保險、交通、零售等領域已得到廣泛的應用。文章從高校、金融企業和零售企業入手,分析數據挖掘技術在其中的應用,以及存在的問題和前景展望。關鍵詞:數據挖掘;高校;金融;超市中圖分類號:TP311文獻標識碼文章編號:1004-6429(200803-0031-021數據挖掘概述1.1數據挖掘的定義數據挖掘(Data M in

2、ing 就是從大量的、不完全的、有噪聲的、模糊的、隨機的實際應用數據中,提取隱含在其中的、人們事先不知道的,但又是潛在有用的信息和知識的過程。即通過預測未來趨勢及行為,做出前瞻性的、基于知識的決策,目標是從數據庫中發現隱含的、有意義的知識,為人們的正確決策提供幫助。1.2數據挖掘的功能1自動預測趨勢和行為:數據挖掘自動在大型數據庫中尋找預測性信息。以往需要進行大量手工分析的問題,如今可以迅速直接由數據本身得出結論。2關聯分析:目的是找出數據庫中隱藏的關聯網,生成的規則帶有可信度。3聚類:數據庫中的記錄可被化分為一系列有意義的子集,即聚類。聚類增強了人們對客觀現實的認識,是概念描述和偏差分析的先

3、決條件。4概念描述:對某類對象的內涵進行描述,并概括這類對象的有關特征。概念描述分為特征性描述和區別性描述,前者描述某類對象的共同特征,后者描述不同類對象之間的區別。5偏差檢測:數據庫中的數據常有一些異常記錄,從數據庫中檢測這些偏差很有意義。偏差包括很多潛在的知識,如分類中的反常實例、不滿足規則的特例、觀測結果與模型預測值的偏差、量值隨時間的變化等。2數據挖掘的應用數據挖掘技術已應用于許多領域,如在學校、銀行、電信、股市、保險、交通、零售等領域已得到廣泛的應用。2.1數據挖掘技術在高校中的應用隨著招生規模的擴大,高校的學生人數就達到上萬人,甚至幾萬人,考試成績達到幾十萬個數據,還有大量的學習成

4、績以外的影響因素,傳統的學習成績分析方法已不能完全滿足需要,對此引入數據挖掘技術以找到影響學生成績的真實原因,制定相應的措施,提高教育教學質量。1將關聯規則的方法運用到教學問題中,從教學評價數據中進行數據挖掘,找到課堂教學效果與教師狀態的關系問題,在班級排課時,注意一個教學班中配備教師的年齡、職稱、學歷等的合理分配。2把學生的學習特征存入模型庫,教師可以通過它及時地了解學生的需求、興趣愛好、個性差異等信息,并以此為依據對不同學生提供動態的學習內容、推薦個性化的學習材料等服務,真正實現個性化教學。3利用數據挖掘工具,對收集的信息進行如“去噪”等處理,對學生的學習成績數據庫、行為記錄數據庫、獎勵處

5、罰數據庫等進行分析處理,及時得到學生的評價結果,對學生出現的不良學習行為進行及時指正。4按照教學培養目標,利用粗糙集方法,對數據倉庫資料進行歸類。為了解學生的想象能力,可以把有關課程中的成績以及這些課程中有關想象能力的考核成績分離出來,單獨分析滲透在不同領域的學生想象能力,從而對學生的想象能力進行科學評價和分析,發現其潛力。2.2數據挖掘技術在金融企業中的應用1數據挖掘技術在證券行業中得到廣泛應用,數據挖掘技術作為分析與輔助決策工具已經越來越得到國內券商的重視。其典型應用包括:客戶分析:建立數據倉庫來存放對全體客戶、預定義客戶群、某個客戶的信息和交易數據,并通過對這些數據進行挖掘和關聯分析,實

6、現面向主題的信息抽取。咨詢服務:根據采集行情和交易數據,結合行情分析,預測未來大盤走勢,并發現交易情況隨著大盤變化的規律,并根據這些規律做出趨勢分析,對客戶針對性進行咨詢。風險防范:通過對資金數據的分析,可以控制營業風險,同時可以改變公司總部原來的資金控制模式,并通過橫向比較及時了解資金情況,起到風險預警的作用。經營狀況分析:通過數據挖掘,可以及時了解營業狀況、資金情況、利潤情況、客戶群分布等重要的信息,并結合大盤走勢,提供不同行情條件下的最大收益經營方式。同時,通過對各營業部經營情況的橫向比較,以及對本營業部歷史數據的縱向比較,對營業部的經營狀況作出分析,提出經營建議。2數據挖掘技術也應用于

7、銀行業,主要有以下幾個方面:對賬戶進行信用等級的評估:利用數據挖掘工具進行信用評估的最終目的是從已有的數據中分析得到信用評估的規則或13標準,并應用到對新的賬戶的信用評估。金融市場分析和預測:對龐大的數據進行主成分分析,剔除無關的,甚至是錯誤的、相互矛盾的數據“雜質”,以更有效地進行金融市場分析和預測。分析信用卡的使用模式:通過數據挖掘,可以得到這樣的規則,通過了解客戶使用信用卡的習慣性模式,一方面,可以監測到信用卡的惡性透支行為;另一方面,可以識別“合法”用戶。發現隱含在數據后面的不同的財政金融指數之間的聯系。探測金融政策與金融業行情的相互影響的關聯關系。數據挖掘可以從大量的歷史記錄中發現或

8、挖掘出這種關聯關系更深層次的、更詳盡的方面。3數據挖掘技術也應用于保險業:保險金的確定:對受險人員的分類有助于確定適當的保險金額度。通過數據挖掘可以得到對不同行業的人、不同年齡段的人、處于不同社會層次的人的保險金該如何確定。險種關聯分析:分析購買了某種保險的人是否同時購買另一種保險。預測什么樣的顧客會購買新險種。2.3數據挖掘技術在零售企業中的應用1客戶分片數據挖掘:通過分析客戶購買商品的行為,利用數據挖掘技術將這些客戶分成不同的類別,這個過程稱之為客戶分片(customer segmentation。客戶購買商品的行為可能是:購物時間是集中性購買,還是分散性購買;所購產品是趨向于物美,還是偏

9、好價廉;選擇產品的類型是多樣,還是單一等。針對不同類型的客戶,商家推出不同的策略,以迎合不同客戶的購物習慣,這樣,所推出的策略就更具有針對性,客戶也感到了更多的人文關懷。2購物籃分析:購物籃分析的主要目標是在顧客的購買交易中分析出能夠同時購買一類產品或一組產品的可能性(相互關聯。從超市銷售管理系統、客戶資料管理及其他運營數據中,可以收集到關于商品銷售、客戶信息、庫存及超市店面信息等的信息資料。數據從各種應用系統中采集,經按不同條件分類,存放到數據倉庫,允許管理人員、分析人員、采購人員、市場人員和客戶訪問,利用數據挖掘工具對這些數據進行分析,為管理者提供高效的科學決策工具。3數據挖掘應用的困境和

10、展望數據挖掘作為一種新穎的數據分析手段,在我國越來越多的企事業單位中得到應用,被廣泛應用于數據庫營銷、客戶關系管理、顧客行為預測、市場趨勢預測等。但是,隨著數據挖掘應用的深入,對該項技術的誤解也在增多,加上目前數據挖掘本身的局限和人為的局限,導致數據挖掘在應用過程中出現問題。3.1數據挖掘應用的困境1數據挖掘的內在局限性:對數據挖掘技術期望過高是數據挖掘應用過程中經常出現的一個問題。企業管理人員或者業務人員抱著美好的愿望,希望數據挖掘像“魔杖”一樣解決面臨的棘手問題,但是如果要求的結果與已有的數據沒有關聯(或者相關性太小,數據挖掘是無能為力的。2把數據挖掘當作一個IT項目來做:容易把數據挖掘理

11、解成一種管理工具,因此傾向于把數據挖掘建成類似一種MIS 的東西,希望有一個界面,登錄進去后,點幾個按鈕,神奇的預測結果就展現出來。這種僵硬的做法有可能窒息數據挖掘的強大威力。3技術采用的偏頗:對數據挖掘算法技術理解的不全面,也可能導致企業只愿意選擇那些外觀容易理解的技術,使得數據挖掘的功能得不到充分發揮。4數據挖掘工具的局限:數據挖掘的60%80%工作量花在數據準備階段。建模過程需要大量的手工勞動。目前的數據挖掘軟件工具中,各算法采用默認的參數設置并不總是最合理的,不能得到最佳的預測模型,對于每個業務新問題,都要重新探索數據的相關性,進行算法參數的重新調整和配置。但是,由于現實問題太復雜,已

12、有的原理并不能始終指導模型的調優方向,更多的時候還是依賴大量的數據試驗摸索前進,建模的過程也是漫長痛苦的。現有的很多數據挖掘工具并不支持復雜調優過程的自動化。3.2數據挖掘應用的展望計算機硬件性能的巨幅提升和數據庫技術的飛速發展,使得企業級大數據量的計算成為現實,挖掘工具越來越強大,匯合的算法越來越多,預測類算法將吸納頗具新意的算法,并將實現算法的自動選擇和參數自動調優。作為一種無法繞過去的必需的技術,數據挖掘的應用領域將越來越廣。參考文獻1Margaret HDunham.數據挖掘教程M.北京:清華大學出版社,2005.2David Hand Heikki Mannila Padhraic Smyth.數據挖掘原理M.北京:機械工業出版社,2003.3戴永群.數據挖掘在教學中的應用J.福建電腦,2005(9.Application of Data MiningNiu Chengzhen,Ma JilanABSTRACT:Data mining,as a novel means of data analysis in schools,banking,telecommunications,the stock market,insurance, transportation,retail,and other fields,has