大數據建模概述_第1頁
大數據建模概述_第2頁
大數據建模概述_第3頁
大數據建模概述_第4頁
大數據建模概述_第5頁
已閱讀5頁，還剩8頁未讀， 繼續免費閱讀

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內容提供方，若內容存在侵權，請進行舉報或認領

文檔簡介

大數據建模概述演講人：通用名大數據建模應遵循的規律以業務目標作為實現目標業務知識是每一步的核心做好數據預處理試驗對尋找解決方案是必要的數據中總含有模式數據挖掘增大對業務的認識與猜測提高了信息作用能力大數據建模的價值不在于預測的準確率模式因業務變化而變化大數據建模技術，是為了解決業務流程問題。數據建模的核心：業務目標。我們要什么樣的數據挖掘模型業務調研

問題定位

可解釋、有實際業務涵義、可使用的

制定目標

①以業務目標作為實現目標

→↓↓←②業務知識是每一步的核心

業務知識是理解問題的基礎。例如大數據分析“飲食與疾病的關系”“糖尿病與高血壓發病關系”，這些分析都需要對醫學相關知識有一定了解才能建模。數據分布數據質量指標選擇衍生指標→→→③做好數據預處理

數據預處理比數據挖掘其他任何一個過程都重要且費力，數據預處理的目的是把數據挖掘問題轉化為格式化的數據，使得分析技術更容易利用它。數據預處理兩種方法

第一種方法是將數據轉化為可以分析的完全格式化的數據，比如，大多數數據挖掘算法需要單一表格形式的數據，一個記錄就是一個樣例。數據挖掘者都知道什么樣的算法需要什么樣的數據形式，因此可以將數據轉化為一個合適的格式。第二種方法是使得數據能夠含有業務問題的更多的信息，通過這些領域的知識，數據挖掘者可能可以找到一個合適的技術解決方案。數據提取數據清洗數據審核數據集成→→→④試驗對尋找解決方案是必要的

挖掘過程中往往通過算法和業務知識結合進行多次試驗，才能揭示數據隱藏的規則。了解業務知識對模式有更好的理解，模式也對業務知識有貢獻。模型初步構建模型優化模型帶動業務業務帶動模型→→→⑤數據中總含有模式

在一個與業務相關的數據集中，即使一些期望的模式不能被發現，但其他的一些有用的東西可能會被發現。一些數據挖掘項目失敗是因為開始的數據采集存在問題。⑥數據挖掘增大對業務的認識

為什么數據挖掘必須是一個業務過程而不是一個技術過程？

業務問題是由人而非算法解決的。

數據挖掘算法揭示的模式通常不是人類以正常的方式所能認識到的，幫助業務專家解決他們不能單獨完成的業務問題。如：通過大數據分析幫學校找到學生學習困難的原因。⑦與猜測提高了信息作用能力

數據挖掘算法揭示的模式通常不是人類以正常的方式所能認識到的。聚類和關聯模型也有預測特征。聚類：預測一個個體屬于哪個群體。eg：預測個別交易是否為欺詐。關聯：基于已知基本屬性預測更多屬性。eg：預測客戶行為。⑧大數據建模的價值不在于預測的準確率

準確性和穩定性是預測模型常用的兩個度量。準確性是指正確的預測結果所占的比例；穩定性是指當創建模型的數據改變時，其預測結果變化有多大。一個好的大數據是為了改變企業的行為以及預測的結果來改善企業的行為，會不會適應業務發展需要才是它的衡量標準。⑨模式因業務變化而變化

模式的變化

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網頁內容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間，僅對用戶上傳內容的表現方式做保護處理，對用戶上傳分享的文檔內容本身不做任何修改或編輯，并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容，請與我們聯系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論